与不撤，让李显忠自行处理。
李显忠接到命令之后，立刻招集众将商议，是否退军的事宜。众将都认为，如果没有大军支援，现在以经很难守住建康府了，因此不如就按枢密院的命令，先撤离建康府，退到江南西路，在那里可以和江南、荆湖路的御前驻军合兵一处，再设法抵抗金军。
其时收到了枢密院的回复之后，在李显忠心里也早有撤军的打算，现在见众将的意见统一，都同意撤退，也就立刻决定马上撤军。
接下来就安排撤兵的事宜。建康府是大宋南渡之前所设的五京之一，府厍充盈、钱粮众多，又有六七万人马，加上一部份家属和地方官员，需要撒离的人员不下十余万。现在金军大军压境，虎视眈眈，想安平安撤走谈和容易。好在随后李显忠又接到杨炎的信，知道杨炎率军在池州驻扎，谁备接应自己。另外还有三千水军，战船八十艘，这对于建康府的宋军来说，真可谓是雪中送碳。
经过众人商议之后决定，大军撤退分水陆两路，同时撒退。由郭振付责水面船只调派指挥，又征调了民船一百五十多艘，钱粮、物资和官员、士兵的家眷均由水路撤退，孟宗政率一万人马，付责沿岸的掩护。而大队人马则由陆上撤退，由陈敏率队先行，李显忠居中，