臣，更能使人畏惧。
杨广也不爽苏威好久了，便让人审查验证，构成罪状。
杨广遂诏“威立性朋党，好为异端，怀挟诡道，徼幸名利，诋诃律令，谤讪台省。昔岁薄伐，奉述先志，凡预切问，各尽胸臆，而威不以开怀，遂无对命。启沃之道，其若是乎！资敬之义，何其甚薄！”
于是将苏威除名为民。
之后不久，有人又告发苏威与突厥勾结，阴谋举事，这更是捕风捉影的事情。苏威就是疯了，也不可能联合突厥造反。
但这只是一个理由，裴蕴不打算放过苏威，要弄死他。
苏威无法为自己申辩，只得说道“自己侍奉二朝三十多年，精诚所至不能让天子知道，各种错误接连不断，罪该万死。”
苏威自大隋建立就担任宰辅，四次为相，辅佐天子数十年，年过七十，最后其凄惨之状，令人怜悯。满朝文武，莫不唏嘘。
杨广也不忍心处死他，便以昏聩衰老而且多病，放过了苏威一马，只是将苏威子孙三世皆除名。
苏威时年已经七十多了，被免官之后，便搬出了洛阳，带着孙子搬到邙山居住。