李世民手下有二十五员大将，首将竟是李元吉，可见老四还是有些本事的。正因如此，李渊才会在起兵之后，任命他为晋阳留守，将看守老巢的任务交给他。
这个老四有两大爱好：一是打仗，将手下分成两帮真刀真枪地玩打仗的游戏，他却坐在一旁看热闹；二是打猎，赶着马车在百姓的田地里狩猎，或在大街上乱箭射人。
李元吉逐渐失去河东民心，就给另一个人有机可乘，他就是雄踞代北(山西代县以北)的刘武周。刘武周称突厥可汗为“干爹”，在“干爹”的支持下，伺机南下夺取晋阳，割据河东(山西)。
619年3月，刘武周的大将宋金刚亲率五万大军南下，迅速将晋阳以南的榆次、介休两城攻下，然后北返围攻晋阳，这样就切断了晋阳守军的退路。
可见，宋金刚也飞等闲之辈。
兵临城下，自称最爱打仗的李老四看着城外密密麻麻的大军，也被吓得够呛的，立即派人向长安的老爸求救。李渊也不敢怠慢，当然他不是爱惜李老四的性命，而是害怕自己的老巢被一锅端了，随即命尚书右仆射裴寂率八万大军救援。
这个裴寂只能说搞政治有一套，带兵打仗还不是那块料。果然，一仗就被宋金刚打得落花流水，向南逃入晋州城(山西临汾)，再也不亮相了。
一听裴寂八万援军全军覆没，李老四再也不淡定了。9月的一个夜晚，他偷偷率领精锐部队保护着自己的妻妾向长安逃去，放弃了晋阳城。城内守军见主帅跑了，哪里还有心思打仗，全都开城投降，坚固的晋阳失守。
打了大胜仗的老宋继续南下，继续攻克晋州、绛州、浍州等地，直指关中门户潼关。
数月间，本来就不大的李唐江山就被老宋攻下了大半，李渊哪里还能坐得住？连忙写信给秦王李世民征求建议，说：“刘武周兵锋太盛，我军很难与之相争。不如放弃河东，严守关中。”
当时正在长春宫(陕西大荔) 密切关注河东战局的李世民，回信说：“晋阳城池坚固，屯有十年的军粮;河东物产丰富，每年供给京城无数的粮食;况且这里是大唐的发祥之地，更不能丢失。我定当歼灭刘武周，收复河东失地。”
李渊看到二儿子的信后，一颗悬着的心才放下来，随即下令关中所有军队在长春宫集合，受李世民统领，前往河东收复失地。