大业十三年（617年）农历二月，李渊治下驻马邑（今山西朔州市）的鹰扬府校尉刘武周发动兵变，杀死马邑太守王仁恭，据马邑而自称天子。农历三月，刘武周攻破楼烦郡，进占汾阳宫，并与突厥勾结，图谋南下争夺天下。炀帝闻讯后大怒，要提李渊到江都治罪。在此危急情势下，李世民说：“事情紧急，可以举事了。”其周围的心腹裴寂、许世绪、武士眜等也纷纷劝李渊起兵，李渊终于下定了反隋的决心。于是，李渊借口防备刘武周和突厥南下，派李世民、刘文静、长孙顺德、刘弘基等人到各地募兵，在很短的时间里便招到数千人。

　　太原副留守王威和高君雅看到李渊招兵买马，怀疑李渊要造反，便密谋骗李渊父子到晋祠祈雨，除掉李氏，向隋炀帝邀功请赏。不料，这一密谋被晋阳乡长刘世龙获悉，告知了李渊。大业十三年（617年）农历五月十五日，李渊、李世民先发制人，指使开阳府司马刘政会告发王威、高君雅二人暗中勾结突厥，引突厥入寇中原，借此将二人囚禁。农历五月十七日，恰巧数万突厥军队进攻晋阳，李渊立刻名正言顺地命人将两人推出斩首。六月，又遣二子李建成、李世民率军攻杀拒命的西河郡丞高德儒。同时，李渊又设下空城计，吓退了突厥的军队。接着，李渊开始作起兵反隋的准备工作。

　　大业十三年（617年）农历七月，李渊率军三万誓师，正式起兵。在发布的檄文里斥责隋炀帝听信谗言，杀害忠良，穷兵黩武，致使民怨沸腾。

入定关中

　　誓师后，李渊与长子建成、次子世民挥师南下，先后破守霍邑（今山西霍县）的隋鹰牙郎将宋老生、渡黄河，对守河东的隋将屈突通围而不攻。迅速向西南挺进。当时，隋炀帝远在江都（今江苏扬州），关内隋军力量薄弱；中原瓦岗军与王世充激战方酣，均无暇西顾。因此李氏父 子进军神速，大业十三年（617年）农历十一月间攻入长安。

　　李渊进入长安不久，就宣布遥尊隋炀帝为太上皇，拥立炀帝孙代王杨侑为帝，改元义宁，是为隋恭帝。恭帝进封李渊为唐王、大丞相、尚书令，以李建成为唐王世子；李世民为京兆尹，改封秦国公；封李元吉为齐国公。