但他在亲族里的处境却颇为尴尬。
李渊的父亲李昞有二位兄长，均早殁；五位兄弟，依次为李璋、李绘、李祎、李蔚、李亮。李蔚有二子，李安、李哲，李孝恭是李安的次子。
北周后期，宣帝宇文赟荒淫无道，杨坚以国丈之位专擅朝政，意图谋篡。
北周宗室宇文招为匡扶社稷，联络皇亲贵臣诛杀杨坚，李璋也参与其事。
李安、李哲竟向杨坚告发自己的伯父，致使李璋遭到处决。
西魏时期府兵制下，李渊的祖父李虎位列领兵六柱国之一。
由西魏至北周，李虎家族始终拥护皇室。当时杨坚的父亲杨忠，只位列十二大将军。
李虎家族对于门第不如自己的杨坚，自然不会悦服。
所以李安、李哲投靠杨坚，出卖伯父，非但背叛皇室，也背叛整个家族。
因此李渊建国之后，四位叔父李璋、李绘、李祎、李亮的后代都得封王爵，只有李蔚这一支，无人封王。
李唐宗室自李虎以降，当时在世的子孙中，除李世民之外，有智谋、有器识的，首推李孝恭以及李璋之孙李道宗。
其次如李亮之子李神通等，便无法与他们相提并论。