隋文帝杨坚忌下寡恩，他在位期间，几乎年年都有位列柱国的重臣遭到诛戮。
《隋书》记述其事，均写“以罪伏诛”。
惟在此时，却写“杀柱国太平县公史万岁”、“杀左卫大将军五原郡公元旻”，可见其冤。
《隋书．史万岁传》记载得更清楚：“杨素害其功，太子勇事时杀之，冤也。”
隋代重臣鲜克有终，杨坚时代如此，其后杨广更是变本加厉。
隋炀帝一朝中，贺若弼颠殒于非命，为杨广策划夺嫡的张衡也遭处决，杨素则是仅保首领以终。
韩擒虎得保盛名，在隋王朝实属例外之幸，虽然他那“生为上柱国，死作阎罗王”的记载，其实疑点甚多。
史万岁遭到横冤，李药王实是悲痛已极。
又见皇帝对杨素大加赏赐，杨玄感进位为大将军，杨玄惠、杨玄慈双双晋位为上仪同。
当初出塞抗御突厥，马邑道的隋军与达头大军正面交锋，激战获胜；灵武道的隋军只遇突厥侧翼，无虏而还。
如今杨素为构陷史万岁，竟使赏罚如此不公，连带汉王杨谅都颇受委屈，李药王忿然便欲辞官。
韩洪虎极力一再劝解，李药王自己也知道此时绝非求去的时机，只有强自吞声隐忍。
李药师心中明白，与其说杨素忌惮史万岁的功勋，必欲除之而后快，不如说晋王嫉恨史万岁不肯为自己所用，因此不容他存活。
杨素毕竟保全了李药王，所以李药师对于杨素，却也不能有所怨尤。
他实在不愿继续任职宫廷，于是再度自请外调。
当时礼部尚书牛弘已升任吏部尚书，他对李药师乃是真心赏识，于是代为向杨素进言，安排李药师往汲县任县令之职。
这年李药师正值而立。
他来到汲县，但见秋风萧飒，山川寂寥，独自茕茕孑立，形影相吊。
不禁怀想十年之前，杨素曾为自己主持弱冠之礼。
当时父母俱在，诸舅交贺，云荼灿烂，意兴风发的情景，真是恍若隔世。
中唐诗人刘禹锡有一首五言绝句〈秋风引〉，差可形容李药师此时情境：
何处秋风至
萧萧送雁群
朝来入庭树
孤客最先闻
然而李药师毕竟有澄明通透的心性，又有含元守静的修养。
此时他虽尚未达到乐天知命的境界，然对于《老子》精辟的智慧，他绝
…。。