这支约千余人的小部队因西路偃师方向亦有清军，遂越巩县南山，转向东南密县方向，反旆南下。南归部队人数虽少，“余氛犹足蔽日”。7月8日，占密县。9日，抵新郑。10日，入长葛。11日，进逼许州。许州城“城坚濠深”，但太平军架起云梯攻城，又以火烧城门。陆应谷急调数千兵马驰救。13日，太平军乃拔营南走，一路过临颍、郾城，经西平、遂平、确山、罗山、大胜关，于7月30日入湖北境。又由湖北黄安、麻城经罗田，于8月10日入安徽境。中旬，自英山到达太湖。扫北军的这支南归部队，与三省官军周旋，历时1个多月，转战1500余里而不溃散，虽余众无多，但终得与西征的部队会合。
已渡河的扫北军主力从此走上了更为艰险的历程。7月2日，扫北军攻占温县，并分军至武陟。8日，开始进攻怀庆府城。此时，扫北军9个军的总兵力有3万余人，其中又以前一、前二两军实力为最强，共有1万余人，其余7个军共约2万人。
怀庆府城为河北镇总兵驻地。镇标兵经数次调拨，所余不过两三百人，但武器弹药仍多。其地势西高东低，沁河经城北流过，与丹河会合后注入黄河，交通便利。怀庆城周围9里，城高3.5丈，宽2丈，池深2.5丈，阔5丈，亦利于防守，知府余炳焘等率留守的清军及团练壮勇据守。扫北军攻击怀庆，据被清方盘获的太平军的供词说，其目的是“林凤祥志在破城固守，以待南援”。但初攻不克，遂将城之四关围困。7月15日起，扫北军数次用地雷轰塌城墙，均被城内守军截击抢堵，未能得手；挖掘地道20余处，亦遭城内守军破坏。怀庆守军的顽强抵抗和攻城屡遭挫折，无疑激发了扫北军继续围攻的斗志。扫北军屯扎怀庆城外，也吸引和调动了北方各路清军向这一带集结。