苏联在战前拥有约500万犹太人，数量居欧洲首位。而且在纳粹分子的话语体系中，经常把犹太人与布尔什维主义捆绑在一起，称犹太人是布尔什维主义的基础与后盾。因此，希特勒还在制订和落实入侵苏联的计划时，即把抓捕和屠杀苏联犹太人的事务提上日程。1941年3月3日，他向约德尔口授行将对苏作战的方针时，即提出让希姆莱负责实施灭绝犹-布尔什维克领导阶层的工作。他说：“犹太布尔什维克知识分子一向是人民的压迫者，必须加以清除。”同年5月，党卫队从各处抽调约3000人，分别组成四个特别行动队，预定在入侵苏联时随军队行动。海德里希在6月中旬举行的特别行动队行前训话中强调：“东方犹太人是布尔什维主义的后备军，因此根据元首的看法必须将其消灭。”在侵苏战争的进行过程中，特别行动队以积极和残忍的态度参与其中，往往军队正在围攻一座城市，特别行动队的先头部队已经开始动手杀人。各分队关于屠杀犹太人的汇报材料源源不断流向上级部门，每一份材料都使用了冰箱生产者或病虫害扑灭者的语言，冷峻地报告自己的“战绩”。截至1941年底至1942年初，各特别行动队消灭犹太人的汇总合计481887人。而到1943年9月，这一数字上升到90万。
德国原计划在3个月之内解决苏联问题，因而侵苏战争一爆发，各个部门即以德国占领整个欧洲大陆为基础，筹划下一步的行动计划。1941年7月31日，戈林给海德里希下达命令，要求其“就最后解决德国控制下欧洲的犹太人问题做好必要的组织、技术支持和经费支持等工作，并负责协调相关政府部门的工作”。在执行命令的过程中，当局同时把打击矛头指向国内残存的犹太人。1941年9月1日，海德里希颁布关于犹太人佩戴“大卫星”的法令，其中规定：6岁以上的犹太人在外出时必须佩戴犹太标志，该标志为手掌大小的黄布，缀以六角星黑框，中间书写Jude字样，缝制在外套的左胸部。从1941年10月起，大批在德犹太人被送往位于罗兹、华沙、明斯克和里加（Riga）的犹太人隔离区。
1942年1月20日，为协调实施“最后解决”的各项事务，海德里希召开了臭名昭彰的“万湖会议”。他在会上宣读了1941年7月31日戈林的命令信，并明确自己作为希姆莱的代表全权掌管“最后解决”事务的身份。会议决定从西向东对欧洲大陆作一次全面梳理，将全部犹太人送往东方占领区。会议决定，犹太人送到东方后，无劳动能力者和儿童直接处死，有劳动能力者组成劳动大队从事集体劳动，用道路建筑等繁重劳动让他们折磨致死。其中的幸存者作为生存竞争的最适者，已拥有强大的忍受能力，必将成为犹太种族复兴的核心，必须予以清除。但是，年龄在65岁以上者、一战中的致残者、获得过一级铁十字勋章的犹太人，以及犹太组织的代表人物或著名的艺术家和科学家等犹太社会名流，不应该简单地消失，而要暂时保留下来，以便在国内外公众面前掩盖“疏散”行动的真实特征。
由此德国的罪恶之剑转而向西。1942年5月起，荷兰犹太人被强令佩戴大卫星，一个月后，死亡的车轮滚滚东向，共有11万犹太人被押运出境，最后幸存者仅6000人。但在法国和比利时，由于德国驻军长官采取不同形式的阻挠行为，搜捕工作不太顺利。希腊拥有约7.5万名犹太人，其中1.3万名在意占区，5000名在保加利亚占领区，最后约有5.7万—6万名遭屠杀。在其他地方的具体实施过程中，波兰、匈牙利、南斯拉夫等国的犹太人大部分在毒气室遇害，奥地利、斯洛伐克的犹太人半数遭屠杀，丹麦和保加利亚的犹太人在当地民众的保护下大部分幸存。
欧洲各国犹太人遇害数量估算
屠杀犹太人的工具，最初主要使用枪械击杀，死后尸体埋在大土坑里。但是，大规模枪杀的血淋淋场面常常造成部分执行士兵精神崩溃，故而自1941年底起改用毒气车杀人。经过改装的闷罐子卡车名义上运送犹太人到淋浴场，中途通过暗装的管道输入毒气毒杀，最后尸体由其他犹太人加以处理。1942年初，开始使用伪装成“蒸汽浴室”的固定毒气室和焚尸炉，最初的毒气是由柴油发动机排出的废气，以后使用法本化学公司研制的高效杀菌杀虫剂氢氰酸“齐克隆—B”（Zyklon B）。以后，毒气室和焚尸炉成为绝大部分灭绝营的基本装备。
斯大林格勒会战结束后，德国劳动力紧缺的现象越来越严重，1942年4月30日，党卫队中央经济管理总处（WVHA）处长奥斯瓦德·波尔（Oswald Ludwig Pohl，1892—1951）写信给希姆莱，认为提高军备生产使“调动所有囚徒劳动力”势在必行，因此要求“采取措施，使集中营从它过去单一的政治形式逐渐过渡为适应经济任务的组织”。此后，对实施强制劳动者的挑选标准放宽，绝大部分犹太人都用于从事奴隶劳动。犹太人在营养不良的情况下，每天的劳动时间都超过11小时。德国的卫星国也逐步放弃反犹暴行：1942年秋，斯洛伐克政府停止押送任何犹太人去东方；同年12月，罗马尼亚政府指令停止向德国交送犹太人；1943年4月，保加利亚国王指示禁止所有押运犹太人的行动。