武德二年（619年）三月，劉武周接受宋金剛“入圖晉陽，南向以爭天下”的建議，率兵2萬南侵并州，四月，聯(lián)合突厥，駐扎黃蛇嶺（今山西榆次北），兵鋒甚盛。并州總管、齊王李元吉派車騎將軍張達率步卒抵御，至則覆沒。劉武周于是襲破榆次（今山西榆次）。五月，劉武周攻陷平遙。六月，占領介州。

唐高祖派遣太常少卿李仲文為行營總管，與左衛(wèi)大將軍姜寶誼率兵救援并州，被劉武周的將領黃子英擊敗于雀鼠谷（在今山西介休境）。唐高祖又派右仆射裴寂為晉州道行軍總管，督軍抗擊劉武周。八月，裴寂至介休，宋金剛據(jù)城拒之，雙方戰(zhàn)于索原度，唐軍全軍潰敗，裴寂只身逃回晉州。劉武周勢如破竹，進逼晉陽；李元吉連夜攜其妻妾棄州奔還長安。劉武周又攻占了李唐的發(fā)祥地晉陽。十月，劉武周又派遣宋金剛南下攻陷晉州，進逼絳州，占據(jù)龍門，攻占澮州。與此同時，夏縣呂崇茂自號魏王，與劉武周相呼應；隋朝舊將王行本據(jù)蒲坂，與宋金剛相聯(lián)合。至此，山西大部盡歸劉武周統(tǒng)轄，唐在黃河東岸只剩晉西南一隅之地，關中受到極大震動，甚至唐高祖都驚慌失措，頒發(fā)了“賊勢到如此地步，很難與他們抗爭，宜放棄黃河以東地區(qū)，謹守關西?！?/p>

秦王李世民上表稱：“太原是王業(yè)的基礎，國家的根本；河東地區(qū)富饒，京城靠它供給，如果全部放棄，臣深感憤恨。希望給臣三萬精兵，必定可望消滅劉武周，收復汾、晉?！庇谑歉咦嬲靼l(fā)關中所有兵力擴充李世民的部隊，讓他攻打劉武周。唐高祖駕臨華陰，至長春宮為秦王送行。

武德二年（619年）十一月，李世民乘冰凍堅硬，帶兵從龍門渡過黃河，駐扎在柏壁，與宋金剛對峙，，并同固守絳州的唐軍形成犄角之勢，進逼宋金剛軍。

當時黃河以東的州縣遭搶劫后，沒有糧倉，人情懼怕侵擾，聚居在城堡中，征集不到東西，軍隊缺糧。李世民發(fā)布王教曉諭百姓，百姓聽說李世民率軍前來，無不前來歸順，由近及遠，前來的人日益增加，然后唐軍逐漸征收糧食，軍糧因此充足。于是休兵喂馬，只命非主力部隊的將佐找空子抄掠，大軍則堅壁不戰(zhàn)，宋金剛的勢力因此日益衰落。

李世民曾經(jīng)親自帶輕騎兵去偵察敵情，隨從的騎兵四下分散，李世民只和一名穿鎧甲的士卒登上山丘睡覺。不久，劉武周軍從四下包圍了二人，開始二人毫不知覺，恰巧蛇追老鼠，碰到了甲士的臉，甲士驚醒后告訴了李世民，二人一起上馬，才走了百余步，就被劉武周軍追上，李世民用大羽箭射死了劉武周軍的驍將，劉武周軍的騎兵于是退去。

十二月，唐高祖遣永安王李孝基攻打夏縣的呂崇茂，呂崇茂不敵，向宋金剛求援，宋金剛派尉遲恭、尋相前往救援，結果大敗唐軍。 [5] 尉遲敬德、尋相就要回澮州，秦王李世民派兵部尚書殷開山、總管秦叔寶等人在美良川截擊，大敗尉遲敬德，殺了二千多人。不久，尉遲敬德、尋相又秘密帶精騎往蒲反援救王行本，李世民自己率領三千步兵騎兵從小路連夜趕到安邑，截擊并大敗尉遲敬德。尉遲敬德、尋相二人只身逃脫，部下全部被俘，李世民又回到柏壁。

諸將都請求與宋金剛交戰(zhàn)，李世民說：“宋金剛孤軍深入，麾下集中了精兵猛將，劉武周占據(jù)太原，依仗宋金剛為屏障。宋金剛的軍隊沒有儲備，靠掠奪補充軍需，利于速戰(zhàn)。我們關閉營門不出，養(yǎng)精蓄銳，可以挫敗他的銳氣；分兵攻汾州、隰州，騷擾他的要害之地，他們糧盡無計可施，自然會退軍。我們應當?shù)却@個機會，目前不宜速戰(zhàn)?！?/p>

武德三年（620年）正月，唐將軍秦武通擊降王行本。二、三月，唐將王行敏、李仲文分別在潞州、浩州擊退劉武周軍的進攻。唐將張德政襲斬護運糧餉的劉武周部將黃子英，占領張難堡，切斷了汾水東側的宋金剛軍糧道。四月十四日，與唐軍相持約5個月的宋金剛軍終因糧秣斷絕，被迫以尋相部為后衛(wèi)，向北撤退。

李世民即率軍跟蹤追擊，至呂州追及尋相，大敗其軍，并乘勝追擊逃敵，一晝夜走了二百多里，打了幾十仗。到高壁嶺，總管劉弘基抓住馬韁繩規(guī)勸道：“大王打敗敵人，追擊逃敵到了這里，功勞也足夠了，不斷深入，就不愛惜自己嗎？況且士兵們饑餓疲憊，應當在此停留扎營，等到兵馬糧草都齊備了，然后再進擊也不晚?！崩钍烂裾f：“宋金剛無計可施才逃跑，軍心渙散；功勞難立，失敗卻很容易，機會難得，失去卻很容易，一定要趁此機會消滅他。如果我們滯留不前，讓他有時間考慮對策加強防備，就不可能輕易打敗他了。我盡心竭力效忠國家，怎么能只顧惜自己的身體呢？”于是打馬追擊，將士們也不敢再提饑餓。唐軍在雀鼠谷追上宋金剛，一天交鋒八次，都打了勝仗，殺死、俘虜了幾萬人。當夜，在雀鼠谷西原宿營，李世民已經(jīng)兩天沒有吃東西，三天沒有脫下盔甲了，全軍只有一只羊，李世民與將士們分吃了這一只羊。

四月二十三日，唐陜州總管于筠從宋金剛手下脫身逃回唐軍中。李世民帶兵赴介休，宋金剛還有二萬人，出西門，背對城墻排列戰(zhàn)陣，南北長七里。李世民派總管李世出戰(zhàn)，不利，稍稍退卻，宋金剛乘機反撲，李世民率領精騎從宋金剛背后襲擊，宋金剛大敗，唐軍殺了三千人。宋金剛騎馬逃走，李世民追出幾十里，來到張難堡。唐浩州行軍總管樊伯通、張德政占據(jù)堡壘自衛(wèi)，李世民摘下頭盔示意堡內，堡中守軍見后歡呼雀躍，高興得流下淚來。隨從告訴守軍秦王還未進食，守軍獻上濁酒、粗米飯。

尉遲敬德收拾殘部守介休，李世民派任城王李道宗、宇文士及前去曉諭，尉遲敬德于是和尋相以介休、永安二縣降唐。李世民得到尉遲敬德非常高興，任命尉遲敬德為右一府統(tǒng)軍，并讓他仍然統(tǒng)領八千舊部，和各營相雜在一起。屈突通恐怕尉遲敬德會反復，屢次向李世民提起，但李世民不聽。

劉武周聽說宋金剛失敗，大為驚恐，放棄并州逃入突厥。宋金剛收拾殘部，準備再戰(zhàn)，但眾人都不肯跟隨他與唐作戰(zhàn)，于是宋金剛也和一百多騎兵逃往突厥。

宋金剛打算跑回起兵初占的上谷，被突厥追上捉回，突厥腰斬了宋金剛。 劉武周當初不聽內史令苑君璋勸諫而招致失敗，泣淚對君璋說：“不聽您的計策，以至到了這個地步?！辈痪煤?，劉武周也被突厥人所殺。

此戰(zhàn)，是中國戰(zhàn)爭史上后發(fā)制人、疲敵制勝的典型戰(zhàn)例。李世民采取先疲后打方針，以主力堅壁蓄銳，待機破敵，遣偏師襲擾敵后，斷其糧道，逐漸削弱敵之力量，積極創(chuàng)造戰(zhàn)機，適時轉入進攻，在進攻中力排眾議，窮追猛打，連續(xù)作戰(zhàn)，終獲全勝，且收服大將尉遲敬德。唐軍奪回河東，對鞏固關中，爾后爭奪中原具有重要意義。