当华北方面军指挥第110师团、第41师团、独立混成第9旅团等部队，对冀中进行大规模扫荡时，日军驻山西省的第1军，按年度统一的“治安肃正”计划。为了策应冀中作战，击溃在山西省南部的八路军第129师主力，将抗日根据地变为其“治安区”，从4月初开始，分四个阶段对晋东南地区进行疯狂扫荡。
进攻前，日军第1军通过侦察，得知在晋东南地区抗日部队的情况为。
在长治以北的黎城、襄垣、武乡、辽县、榆社、涉县、武安等地，为八路军第129师兼太行军区部队的管辖区。新1旅位于襄垣、黎城地区，新11旅位于平顺附近。
在晋南的沁水、安泽、翼城、长子等地区，为八路军太岳军区部队的管辖区，第129师的新5旅、新6旅位于该地。
在长治以南、以东地区，驻有国民党军第一战区在黄河以北的庞炳勋第24集团军，该集团军所属3个军的布防地区为：刘进的第27军，位于凌川、附城、西河底一带；孙殿英的新编第5军，位于凌川以东的临淇地区（属河南省）；庞炳勋兼军长的第40军，位于林县的晋、豫交界地区。
随后驻山西第一军当即制定作战计划，并由华北方面军司令部指定，此次作战由敌第1军司令官岩松义雄中将指挥。
此次扫荡，其参加作战的部队计有：驻长治的井关仞中将第36师团；驻临汾的井上贞卫中将第69师团；驻运城的长野佑一郎中将第37师团；驻崞县的毛利未广少将独立混成第3旅团；驻阳泉的津田美武少将的独立混成第4旅团；驻邯郸的铃木贞次少将独立混成第1旅团；驻邢台的吉田峰太郎少将之独立混成第8旅团。
担负这次作战的主攻部队为第36师团，独立混成第3、第4旅团；担任西部助攻的为第69师团，第37师团；担任东面助攻的为第110师团的独立混成第1旅团、独立混成第8旅团。兵力共为19个步兵大队。
这次作战预计分三个阶段进行，第一阶段预计从4月15日开始，以一周时间，围攻、扫荡太岳军区在长予以西的横水、东峪、十里，在安泽（古县）东南的府城、冀氏、马壁村，在阳城以北的端氏镇、郑庄、王壁一带的沁河两岸地区的守军。
使用部队以第36师团主力，由长子城和以北的鲍店及高平城一线，分三路攻向以西的马壁村、横水村、端氏镇。
第36师团另一部，从阳城以东的润城、西北的芹池，分两路攻向以北的端氏镇、马壁村，与师团主力及西面的第69师团，合围在该地的太岳军区机关及部队。
第69师团由浮山以东、分三路攻向沁水两岸地区。北路经府城镇迂回攻向冀氏村；中路经店村攻向马壁村；南路由山交村、白土岭，攻向以东的王壁村。
第37师团一部，由运城经中条山向东进攻，以策应第36、第69师团在沁河两岸作战。
第二阶段预计从4月24日开始，作战时间为15天。从四面围攻八路军总部所在地的太行军区辽县以东、涉县以北一带地区。
在封锁区内，击溃八路军主力后，将部队分散配置，划区清剿，进行“宣抚”、“剔抉”，推行“治安”。
关于部队使用方面，日军决定以第37师团主力由辽县分三路向东进攻。北路由辽县、拐儿镇、天门村、大南庄攻向峻极关；中路由粟城攻向以东的郭家峪；南路由粟城、桐峪镇、麻田攻向以东的偏城。
第36师团另一部由黎城向北进攻，与师团主力合围在五军寺、麻田镇一带的八路军总部。
独立混成第3旅团，由邯郸及以南地区攻占涉县及以南的面新、武安及以南的磁山，构成东部封锁；一部由武安攻向以西的偏城，与西面、南面的第36师团、北面的独立混成第4旅团合围麻田镇、五军寺地区。
独立混成第4旅团，由石太铁路南进，到达和顺及以东的青城镇、将军墓、龙泉寺（邢台以西）一带地区，构成阻止线，以防涉县以北的八路军由该地区越出包围圈。
第三阶段预计从5月8日开始，作战时间为12天。从东西两面围歼在林县及以北的任村、姚村一带的八路军及国民党军新编第5军、第40军。
这次日军对晋东南的大扫荡，其重点一是攻击八路军的总部，一是攻击庞炳勋的第24集团军。
由于作战地带全为大山区，这些山区的小道大部队难以进行清剿活动，重武器携带亦受限制，因而敌军这次作战对部队编成、重武器使用、弹药携带数量等，都作了改变
