以抵挡的住金军的反击，换了张说来，只能白白葬送这十几万宋军。这十几万宋军都算是目前大宋最精锐的人马，一但葬送在这里，只怕这次大宋真的没有希望了。
当天夜晚，杨炎、赵倩如加上曹勋、高震、赖文政等人经过了一夜的商议，终于定下了这样一个办法，逼迫朝廷重新恢复杨炎的官职。
其实按杨炎最初的计划，也不是要在严州与金军硬拼，而是把金军诱到隆兴府去再决战。只是事情逼到这个份上了，但为了保持民心士气，所得的州府是不能轻易放弃的。现在看起来，既可以退军回隆兴府又不用担负败军的罪名，到是最好的选择。
商议以定之后，刘复武、张师颜、吴锡等人也都纷纷表示支持，连毕再遇和孟宗政事先也都清楚杨炎的用兵计划，因此同意这个做法。反正法不责众，总不能把所有将领全都撤换了吧。
因此杨炎立刻安排全军的撤退事宜，张说一到，杨炎和赵倩如就先回隆兴府。曹勋、高震、刘复武、张师颜、吴锡等人纷纷带领各自本部人马退到隆兴府中，还是由杨炎主持大局。
而且由于宋军的撤军太快，就连完颜长之也有些疑惑不解。一直追到信州之后，反而立刻收住了人马，主怕中了宋军的埋伏，不敢再追下