杨炎在寿昌以战象为主力,大败完颜长之,斩首八千余众,俘虏金军近三千。>然后乘势进军，攻下淳安、寿昌、建德、严州等地。完颜长之被迫兵退桐庐、分水一线。
桐庐、分水以经是处于严州和临安府交界的地方，这两个地方如果再失守，宋军的兵锋将可以直指到临安城下。因此完颜长之沿桐庐江布守，以拒宋军。
杨炎取下严州之后，并没有续继进军，而是分派人马，令张师颜率军守住严州、淳安、寿昌等地，自己和赵月如亲率两万人马，沿浙江逆流而上，转攻徽州。
正在介休县与曹勋交战的纥石列志宁得知完颜长之大败，也大吃了一惊，而且知道杨炎以经攻下了徽州，切断了自己从徽州直接回军到临安府的路线，纥石列志宁不敢回军迎战杨炎，只得率军退到宁国府的旌德县，绕道回临安。宋军乘势又连续攻占了介休、黟县、绩溪等地，占领了整个徽州。
徽州在临安府正西，但与临安府中间隔着大彰山，百丈山这两座大山，正是当初杨炎和赵月如逃亡的地方。
此时两人正驻马在扬之水畔，向东看着高低起伏，连绵不绝的大彰山，此番故地重游，自然别有一番滋味。回想当时在这里逃亡的整个过程：在山洞中的一夜温