柴绍的祖父柴烈曾是北周骠骑大将军，历任遂、梁二州刺史，封冠军县公。李渊的父亲李昞，北周时历官御史大夫、安州总管、柱国大将军，袭封唐国公。柴李两家早在李渊父亲那一代就关系不错，到了李渊这一代时，真正可以称得上是世交。
李渊与柴绍的父亲柴慎也颇有交情，也正是因为如此，所以早在柴绍与平阳公主还是小孩子时，两人就已经有了婚约，等到平阳公主到了及笄之年，她与柴绍就正式订亲，只不过当时窦皇后身体不好，不想女儿太早离开自己，所以两人才没有成亲，后来窦皇后去世，平阳公主要守孝三年，这下婚事也彻底的耽误下来。
一直到了平阳公主快十九岁时，守孝期满，只是当时天下大乱，李渊也没有嫁女的心思，不过后来他暗中准备造反的事发，为了打消朝廷的猜忌，这才打算让平阳公主与呆在长安的柴绍成婚，变相的将平阳公主做为人质送到大隋朝廷手中。
平阳公主事先并不知道父亲准备造反的事，更不知道送她去成亲的目的，毕竟她是个女子，哪怕再受李渊的宠爱，但李渊宁愿和小她一岁的李世民商量这些事，也绝不会和平阳公主说这些，所以平阳公主一直单纯的以为自己要成亲了，根本不知道她的婚事还牵制到这么多事。
不过对于李渊的打算，柴绍的父亲柴慎却早就看穿了，也知道李渊要造反的事，毕竟他是李渊多年的好友，对李渊再了解不过。就在平阳公主去长安之前，柴慎就独自一人来到太原见到李渊，两人密谈了一夜柴慎才离开。
柴慎来见李渊，主要就是来和他谈条件的，当时他也不看好大隋的处境，只不过他没有李渊那么大的野心和魄力，自己不敢造反，于是就想搭上李渊这辆战车。
对于自己儿子和平阳公主的婚事，柴慎向李渊表示他可以同意，但是这样一来，他们柴家也要背上一定的风险，甚至柴慎也要冒着失去一个儿子的危险，因为在李渊正式起兵之前，柴绍和平阳公主都要呆在长安，所以他以此向李渊提出条件，日后若是李家真得了天下，就必须要善待他们柴家，永世不得相负！
李渊当时一穷二白，自己心里都没有任何底气，所以对于柴慎的支持也十分感激，对于他提出的条件，更拍着胸脯保证自己永远不会忘记柴家的恩情，这才让柴慎终于心满意足的离开了太原。
“就在我们成亲那天，父亲举兵造反的消息也终于传到长安，当时我与柴绍正在拜堂，可是他父母却都没来，为此我还十分困惑，后来才知道他们是担心危险，所以
…。。