28日，胜保率兵一千九，至怀庆城东八里处扎营。

29日，胜保率军猛攻，托明阿等消极拖沓。胜保无权节制诸军，恼，奏曰：近日各路官兵虽厚，而实在与贼接仗者不多。即便接仗，不过于距贼二百步外以枪炮轰击。迨贼炮一发，贼旗一动，遂多不敢前冲。专恃枪炮安能破垒擒渠？故以之胜贼尚易，以之灭贼实难。至黑龙江马队之枪箭虽称劲旅，不如吉林兵鸟枪，于截剿追杀更为得力。臣观，北路距贼甚远，进战时隔河施放枪炮，贼亦不甚介意。西路现在无兵，托明阿等东路尚能为臣后援，而其官兵亦多不能前进。各路官兵虽多，皆有统带大员，事权不一，未能和衷共济。钦臣讷尔经额远在临洺关调度，实远水不解近渴。

林凤祥围攻两月，虽连败各路援军。但人疲马乏，战资耗尽，而始终不能破城。而清军援部，正源源不断，自东、南、北三方蜂拥抵近。林凤祥斟酌再三，决意撤围西进，摆脱追兵。

1853年9月3日，凤祥率军折入山西，连克垣曲、绛县，斩杀二知县，进逼平阳。

平阳得失关系晋省全局，咸丰帝严旨切责：前因贼扰怀庆，密迩山西，叠次谕令哈芬严密防堵。该抚前奏布置隘口情形，据称已属周密。乃贼匪突陷垣曲，扰及绛县、曲沃，直扑平阳。叠据藩司郭梦龄驰奏，而哈芬近在省南，奏报转迟，且由阳城亲带官兵进剿，自应迅赴平阳迎击，何以迁延旬日尚逗留潞郡？似此调度无方，畏葸无能，若仍令待罪封疆，必致更滋贻误。怀庆围解，胜保功大，加都统衔，赐黄马褂，特予节制各路人马，入晋杀贼。

1853年9月12日，林凤祥攻打平阳，架炮轰塌城垣，兵勇商民惊慌四散，平阳知府何维墀脱手钏激赏之，亦不能止。林军占得平阳，尤恨平民助妖，怒将武庙沿街民居焚烧殆尽。

胜保率军追至，密伏城北。

林凤祥不知，督兵继进，被西凌阿马队冲散。林凤祥慌不择路，督率后军，退守平阳；李开芳率前队，北进洪洞。

14日，榆林镇总兵郝光甲率部赶至。胜保令郝部牵制林军，自率大军，围攻洪洞，冀先北后南，各个击破。

林凤祥不知胜保撤围，兀自北门突围。郝光甲得悉，再伏城北。林凤祥猝不及防，折兵百余，复退城内。

春官正丞相吉文元道：“平阳之北，秋禾如云，高粱夹道，正宜妖伏。不如声北击东，趁夜而出。”

凤祥颔首，道：“大军入晋，晋人争送骡马米粮；晋人善，有愿附我者尽可纳之。”

16日夜，林军大张旗鼓，北门佯动，伪为将战势。甫一接战，诈败入城，洞开东门，扬长而去。兵至洪洞，接洽李开芳部，方知胜保早撤，而郝部兵不过两千。凤祥咬牙切齿，恼羞成怒，倾兵南下，圈围郝光甲部，一通厮砍，两千清兵，几近杀光。

胜保得悉，目瞪口呆，惶急疏曰：该逆始而穷窜，桀悍之徒不过四五千人，始堵御有兵，早已剿办得手，今沿路裹胁又已过万。拿获长发贼讯供，欲由山西乘虚直犯京师，是以所破城池不愿踞守。臣揆度情势，若不跟踪追缴，逆贼必更猖獗；若仅一味穷追，前途调兵拦阻不及，设其窜过韩侯岭，扰近畿疆，大局不堪设想。

咸丰帝惧林军自晋入京，谕令胜保飞至韩侯岭拦截，为事权专一，特授胜保钦差大臣衔。

恭亲王奕忻道：“昨接向荣奏报，言上海小刀会匪起势，连克我嘉定、上海、宝山、南汇、川沙、青浦等县。上海诸厅县，皆三吴菁华之地，不独海关税银赖充军饷，转眴筹办海运，尤为大局所关。”

咸丰帝道：“朕一再迁就，杨文定依旧碌碌，即刻逮治，坐论大辟。江苏巡抚许乃钊，疾驰上海戡乱，怡良、向荣务必分兵驰援。”