战役第二阶段持续一个月时间，八路军晋察冀军区、一二九师、一二零师除了以游击战术继续攻打华北各地的日军据点和破坏日军交通线外，还同时发动了涞灵战役、榆辽战役、破袭同蒲铁路三场大的战役。
在百团大战第二阶段，尽管我方在破袭同蒲铁路和拔除日军据点的作战中，仍旧取得了重大战果，但是由于八路军弹药紧缺更缺乏重武器，所以，在攻打县城以及日军坚固据点的作战中，逐渐显现出了比较吃力的状态，而且，日军的援军和战略调整也逐渐到位，从10月份起，已经能够调集重兵对我方进行针对性反击。
鉴于此情况，八路军总部在10月1日就向各军区和作战部队发出指示，让他们做好应对日军接下来报复性扫**的准备。
从10月上旬开始，日本第一集团军开始频繁组织数股数千乃至上万人的扫**部队，对我根据地开展大规模扫**。
百团大战由此进入第三阶段。
在百团大战第三阶段初期，日军仗凭着自己武器装备优良、弹药充足，表现的十分嚣张，他们竟然敢把一万人的扫**队伍化整为零，以五百人左右的大队为作战单位，大摇大摆的深入我方根据地腹地进行扫**，为了打击日军的这种嚣张气焰，彭德怀暗下决心要打几场歼灭战，遏制日军嚣张气焰。
恰在此时，日本独立混成第四旅团的冈崎大队，更是凭借隐蔽的行动，竟然一路插入到了八路军总部附近的黄崖洞兵工厂，幸亏我方兵工厂设备及时转移，才避免了更大损失。冈崎大队和铃木支队相隔不远，互为犄角之势对我根据地进行扫**，冈崎大队攻陷我方黄崖洞兵工厂第二天，嚣张的日军竟然还敢分兵行动，铃木支队向桐峪镇而去，冈崎大队向洪水镇深入。眼看冈崎大队被孤立出来，彭德怀立刻抓住战机，命令附近的一二九师各部迅速包围冈崎大队，务必将其全歼。
29日，八路军最先赶到的一支先头部队跟冈崎大队进行了一场小遭遇战，冈崎大队跟我方部队刚一接触，就立刻从火力上意识到这是我军的主力作战部队，于是不敢恋战，边打边退，在晚上撤到了关家垴村的一处有利地形。这时，八路军一二九师的其他几支作战部队也相继赶来，意识到自己已经陷入包围境地的冈崎大队，一边发电求援，一边在占据有利地形的关家垴构筑防御工事，准备固守待援。
几个小时后，我方已经完成对冈崎大队的包围，彭德怀立刻下令对冈崎大队发动总攻。关家垴村本就处于山头高地位置，村里有很多村民住的窑洞，冈崎大队只用挖出一些交通壕将这些窑洞串联起来，就形成了一个很好的立体防御工事。
由于我军武器装备落后，而日本冈崎大队在占据有利地形的 同时又有充足的武器弹药，战场战斗打了整整一天一夜，在几乎全歼冈崎大队的同时，我军也付出了重大伤亡。随着日军增援部队相继赶到，最终彭德怀只能下令各部队撤出战斗。
如果仅从单场战斗伤亡对比来看，这场关家垴战斗是整个百团大战过程中，我军最受争议的一场战斗。但是如果从全局和更广泛的维度来看，这场关家垴血战在战术上基本达成了全歼冈崎大队的目标，他们仅有六十多人侥幸逃走，而且也确实打击了日军敢用一个大队就敢深入我方根据地腹地的嚣张气焰。更重要的是，这场关家垴血战充分彰显了我军不惧牺牲、敢打硬仗、军纪严明的优良作风，对于我军的军魂淬炼具有一定的积极意义。