不能轻恕，跟从吴曦反叛人自然当处斩，而吴氏一族也必须受连代之罪，死者追夺其勋，活者一率充军发配流放。但也有一部分大臣主张现在是非常时期，一切以安定为上，对吴氏的处罚也应正从宽，吴曦自然是罪不容赦，胁从吴曦叛乱的人也不容轻恕，但吴氏其他与吴曦叛乱无关的人则不应追究，便不可再多连累旁人。
对此几位执政的大臣也有些犹豫不决，因为吴氏一门在四川经营四十余年，以经成为四川大族，仅直系亲属就多达上百人，加上傍系，外系加起来只怕多达千余人，吴曦虽死，但吴氏家族以经深入川中，根深蒂固，盘根错节。处理得稍不得当，必会引起四川地方再度发生动荡，影响抵抗金军的大局。但如果只治罪吴曦一人及其胁从，又未免所罚太轻，难以服众，这个度到也很难把握。
因此陈俊卿才像赵忱建议，只有杨炎最了解四川的局势，因此还是等杨炎从四川回来到天临府，听取了杨炎的意见之后，再做决定。正好宋军收复了淮西之后，一时也无力再度东进，都督府也建议招杨炎回天临府，重新制定新的用兵方案，因此赵忱这才下旨招杨炎回天临府。
杨炎回到天临府后，向朝中大臣讲述了这次四川平乱的全部经过，而且也上表了吴旷和吴睛的功劳