人队交还给刘光世，兄弟几人也回到岳家庄中，每日去与岳飞作伴。
至此，岳飞每日里便住在草棚之中，饮食自有李娃安排，平时只与众兄弟习文练武，又兼教导岳云文武。
在岳飞守孝期间，宋金两国因为燕云之地交割顺利，进入了短暂的蜜月期，两国相安无事，这也让金国有了时间逐步吞并辽国，剿灭天祚帝残余。
在金国攻破燕京，与宋朝进行谈判之时，金国大将粘罕起兵攻打辽属平州，而当时的平州守将张觉见金军势大，不可抵挡，于是便献出平州，投降金国。完颜阿骨打见他献城有功，于是封张觉为临海军节度使、平州知州，仍旧统领本部人马，驻所在平州。
而在谈判过程中，平州被升为金国南京，而张觉仍旧驻兵平州，任平州留守之职。但金国满朝上下都认为此人心怀异志，于是完颜阿骨打亲下诏谕给他道：“平山一郡今为南京，节度使今为留守。恩亦厚矣。或言汝等阴有异图，何为当此农时辄相扇动，非去危就安之计也。其谕朕意。”张觉看了之后大惊，于是暂时安下心来。
而后便是金国将燕京百姓尽数迁走，想只留给宋朝一座空城，一路上流散各处，迁徙百姓叫苦连天，于是便有百姓来向张觉诉苦，说辽国降臣康公弼、左企弓等不能守燕京，使百姓流离失所，请求张觉相助，免除其迁徙之苦。
张觉听了百姓所言，心中又有所动，于是召集旧部商议此事，其旧部一致说道：“闻天祚兵势复振，出没漠南。公若仗义勤王，奉迎天祚，以图中兴，先责左企弓等叛降之罪而诛之，尽归燕民，使复其业，而以平州归宋，则宋无不接纳，平州遂为藩镇矣。即后日金人加兵，内用平山之军，外得宋为之援，又何惧焉？”
被一众部将所劝，再加之金国上下对他都有疑虑，张觉便动了心思。于是在宣和五年五月，在平州城外将护送燕京百姓迁徙的左企弓、虞仲文、曹勇义、康公弼四位辽国旧臣杀死，独自占了平州，恢复辽国旧制。并将天祚帝的画像挂在堂中，喊来乡民说道：“女真乃是我等仇敌，怎可跟从？”又指着画像说道：“此非汝主乎，岂可背？当相约以死，必不得已则归中国。”百姓齐声呼应。
而后张觉遣人秘密来见到燕京，见了当时的庆远军节度使、河北河东燕山府路宣抚使、知燕山府王安中，说道：“平州自古就是形胜之地，地方数百里，带甲十余万，张觉文武全才，若为大宋所用，必能成为屏障辅翼国家的重臣。如若不然，张觉西迎天祚帝，北纳萧干，就成了大宋的肘腋之患了
…。。