李世民见父亲未采纳他的建议，于是和哥哥建成商量，向父亲进谏，但天已晚，父亲李渊已经睡觉。兄弟两个不敢贸然进去，为宏图大业将毁于一旦痛惜万分，不禁失声痛哭起来，简直哭得一塌糊涂！李渊被悲凉的哭泣声惊醒了，便问道：“谁在帐外哭泣啊？”
“大人，是我和弟弟世民！”李建成说。
李渊将两人召入帐内，问道：“两个男子汉，为何如此痛哭啊？”
李世民再次进谏说：“今已起兵，有进无退；如果前进，我们就有取得胜利的机会，如果后退，动摇军心，锐气丧尽，队伍溃散，敌人趁势追击，我方军队将土崩瓦解，那不是束手待毙吗？你说我怎么不哭？”
李渊听李世民这么一说，刺激了他脑神经，让他开了窍，有所省悟，说道：“你看大军已向北出发，你看如何是好？”
李世民见父亲态度有所转变，有些激动地说：“右军还没出发，出发的左军还没走远，我立刻把他们追回来！”
李渊见李世民有如此见识，于是高兴地说：“成败由你，那你们立即出发，追回已经出发的军队！”
李建成、李世民接受父亲的命令，连夜乘马北驰，累得骨头要散架，血管要爆裂！总算把全部北上的左军追还。
过了两天，沈叔安运来粮草，天气也渐渐放晴。
李渊命令士兵绕行山麓，避开泥泞，直往霍邑进发。但宋老生坚守不出战，于是，李世民又建议李渊说：“宋老生勇而无谋，我和建成，率数十骑兵进至城下，假装做出攻城的姿势，一方士兵诟骂城中士兵无能，不敢出战！激将他们出战！”
李渊采取了李世民的这个建议，让士兵们发挥他们的骂功，把敌方的祖宗十八代数来都骂一遍，骂得他们身上起鸡皮疙瘩，看他们出不出战！
果然，在辱骂声中，宋老生老羞成怒，率领3万士兵从东门、南门出战；李渊下令收缩阵地，隋军以为李渊畏惧而退，便引兵前进。这时李渊的步兵相继感到，李渊和李建成率兵列阵城东，李世列阵城南，城内隋兵自东门驰出，列阵正式与隋军对峙。
这时，宋老生又从南门出发，向东城进发，兴高采烈地夹击李渊。这时，李世民正睁大眼睛，在城南观战。
李世民看准时机，迅速和军头段志玄，率军冲击宋老生的背后。
李世民与宋老生的士兵交战，手握战刀，争先杀敌，连诛数人，满身鲜血，段志玄紧跟其后，奋力拼杀，杀得敌人望风披靡，人仰马翻！
李世民命令士兵大呼：“宋老生已经被我们活捉，隋军赶快投降。”
隋军正和李渊的军队相持不下，突然又听到自己的主将被活捉，害怕之余，后退，并把城门紧紧关上，城门外只剩下宋老生一支孤军。遭受着李渊、李建成狠狠的夹攻，被逼迫的走投无路，欲下马跳进壕沟自杀，却被正赶上的刘弘基碰上；刘弘基将宋老生的头颅砍掉。宋老生的部下，均被砍死，横尸遍野，血流数里由于有攻城战具，士兵肉搏登城，李渊最终攻克霍邑。
霍邑大捷后，大军乘胜南下。
在李渊进军途中，临汾、绛郡的官吏纷纷投降，顺利进至龙门，驻军于壶口山。这时，刘文静与突厥大将带领500名士兵以及2000匹战马来到龙门。
汾阳人薛大鼎向李渊提出作战方案说：“先不忙于攻河东郡，大军从龙门西渡黄河，占据丰仓（山西大荔县），向远近发出招抚公文，关中地区便可坐稳！”
李渊思量了一会儿，听从薛大鼎的建议说：“就按你说的方案作战！”
但众位将领反对说：“我们认为先攻河东郡！”
李渊说：“你们得给我一个先攻河东郡的充足理由！”
众位将领面面相觑，一时还真找不出一个先攻河东的理由！
于是，李渊命孙华回到黄河以西，令右统军王长谐、刘弘基以及右领军陈演寿率步兵6000人自梁山西渡黄河，驻兵于河西。对河东敌人进行夹击，断绝河东守将屈突通的西归之路。屈突通派将领桑显和率兵西渡黄河夜袭王长谐的营地，突然的袭击，使王长谐处于被动地位，孙华等人用游骑袭击敌人桑显和的军队，大败敌军，桑显和逃入河东郡城中。
接下来，李渊的大军围攻河东郡，因城墙太高，屈突通拼死坚守，未能攻下。
李渊便召集将领商量对策，裴寂建议说：“屈突通重兵在握，拼死坚守，我们丢掉他而西取长安，万一失利，退回的话，将腹背受敌，进退维谷，危险至极。先攻下河东，再取长安不迟，长安见援兵屈突通被攻破，望风丧胆，那样再攻长安就容易了！”
李世民持相反意见说：“不然，我军乘胜西进，长安守军来不及谋划，我军已经兵临城下。如果功西河久攻不下，长安做好了迎敌的充分准备，而我军在这里浪费时间，消耗精力，军心会涣散，这是很危险的事情。”
李渊综合大家的意见，决定留部分兵力包围和牵制屈突通的兵力，自己率大军渡河西取长安。
大业十三年九月，李渊率领各兵马西渡黄河，抵达朝邑县后，进驻长春宫，关中士兵纷纷来归附。
屈突通闻知李渊西进了，引兵直进长安，但被刘文静阻止了。屈突通不得已又退入河东城中。
李渊的大兵进入关中后，李渊的女儿平阳公主（柴绍之妻），李渊的从弟李神通聚众数千人纷纷起兵响应。李渊的女婿段纶也在蓝田聚众万余人。
李世民率领的大军一路攻占泾县（今陕西泾阳）、云阳（今陕西三原西）、武功、周至县。在泾县时，李世民的军队9万人，同胞妹平阳公主率领的精兵与李建成会师于渭水北岸。
平阳公主与丈夫柴绍各置幕府，号称“娘子军”。
李渊命刘弘基、殷开山率领6万人南渡渭水，驻扎在长安故城。在长安城中与坚守的隋军交战，隋军大败。
十月，李渊带领各路云集的20万大军，到达长安城外，其中19万为李世民统治的部下。在李渊正式下令进攻长安城之前，向军中传令不得侵暴百姓，不得毁坏隋朝的宗庙，代王以及隋朝宗室。
十一月，李渊部下军头雷永吉首先登上长安城，长安城被攻破。
在这短短120天内，李渊便占领了关中，攻下了长安，这是李渊取得的空前胜利。
李渊入了长安后，鉴于当时全国的政治形势，觉得自己当皇帝的时机还不成熟。决定以13岁的代王杨侑做自己的傀儡。迎代王于东宫，迁居太兴殿，是为隋恭帝，大赦该元，改大业十三年为义宁元年。遥遵隋炀帝为太上皇。李渊自封为唐王，大都督内外诸军事，大丞相等要职。在丞相府中，以裴寂为长史，刘文静为司马，以建成为唐王世子，李世民为京兆邑、秦公，李元吉为齐公。
李渊还居长乐宫，并颁布了《约法十二条》。废除隋朝苛法。
李渊有了权，对有功之人，进行了必要的封赏。得罪过他的人，他开始报仇，将军阴世师和京兆丞骨仪曾派人掘了李家的祖坟，烧了李氏的宗庙，李渊用这两个理由将他们杀了。
马邑郡丞李靖过去与李渊有嫌隙，也在他报仇斩首之列，在临刑前，李靖大声呼救：
“唐国公率领大军，平了天下暴乱，让天人都成服于你，但却为了私怨，就要杀人！让人大失所望！”
同时，李靖是名将韩擒虎的外甥，名气之大，李世民向李渊求情，李靖才被免除一死。李渊并将他收罗于部下。
李靖后为李渊登上皇位立了不少的功。
