被其下属胡景山所知，便趁机诬告其阴通宋朝。于是粘罕大怒，命人将杜充下至刑狱，并严刑拷打。杜充只是不服，粘罕命人将其带到座前，问道：“汝欲复归南朝邪？”
杜充数叩其首，痛哭道：“元帅敢归，充不敢也。”于是粘罕哈哈大笑，从此再不怀疑杜充忠心。
随后数年，杜充屡受升迁，直至行台右丞相，并于《绍兴和议》成时客死他乡。
此时高宗皇帝自越州返至钱清堰，见兀术大军纵横江南，欲重效靖康故事，便问计于众臣。其中侍御史赵鼎力谏，以为众寡不敌，不若为退避之计。
高宗皇帝犹豫不定，但问吕颐浩道：“事迫矣，若何？”
吕颐浩答道：“金人以骑兵取胜，今銮舆一行，皇族、百司官吏、兵卫、家小甚众，皆陆行山险之路，粮运不给，必致生变。兼金人既渡浙江，必分遣轻骑追袭。今若车驾乘海舟以避敌，既登海舟之后，敌骑必不能袭我；浙江地热，敌亦不能久留。俟其退去，复还二浙，彼入我出，彼出我入，此正兵家之奇也。”
此计一出，满朝皆惊。