虽然平灭，但小规模的海盗团伙依旧不少，这些小规模海盗团伙多者三四百人，十余艘船，少则百余人，两三艘船，多达数十个。以前都各自依附于三大海盗，现在三大海盗都不存在了，都开始各自为政，仍然不时在海上活动，对大规模的商船队不敢动劫小规模的商船。在杨炎走了以后，彻底扫清南海残余海盗的工作就全由李公佐一人来完成。
好在徐海和孟兰君都以经投降了大宋，因此李公佐就命他们两人出面，逐个对这些小股海盗进行劝降招安工作，而对于顽固不化，死硬到底的海盗则施行武力征剿，绝不姑惜。
如此抚剿并行，恩威兼施，经过了三个多月的功夫，又招降了小股海盗三十一个，剿灭了十四个。虽然不能说以经完成剿清了南海的海盗，但至少百人以上规模的海盗团伙在南海海面上以经绝对不会存在了。至于那些只有几十人，或是十几人规模的海盗，想完全清剿干净，那几乎是不可能完成的事情，换了谁也做不到。
但在这期间，金国的南侵以经全面展开。李宝在东海郡被金军战败之后，先退到嘉兴府的金山海也驻扎。金军在平江府登岸，转而又连续攻占了临安和建康。李宝带领着自己残余的水军和守卫临安的浙江水军沿海南下，到广州和李公佐汇合。