然而，杜家到了杜衍祖父那一代就家道中落了，再加上杜衍的父親病得很重，杜衍還沒(méi)有出生，他的父親就因病去世了，所以杜衍是遺腹子。據(jù)史料記載，杜衍的母親是杜衍父親的第二任妻子，杜衍父親之前有一個(gè)妻子，還生了兩個(gè)兒子，也就是杜衍同父異母的兄弟。

杜衍的爺爺因?yàn)樗膬合备募?，孫子無(wú)人看管，很是沮喪，再加上年老體衰，不久也病逝了。杜衍在短短一年內(nèi)遭受了兩次打擊，他的情緒低落到了極點(diǎn)，這時(shí)他的兩個(gè)兄弟不僅沒(méi)有安慰照顧他，而是拿著寶劍砍傷了杜衍的頭，因?yàn)樗麄冇X(jué)得杜衍的母親再婚，并從家里帶走了錢，他們沒(méi)有地方可以生氣，就把怒氣撒在杜衍身上。

杜衍因兩兄弟嚴(yán)重受傷，他掙扎著去姑姑家避難，姑姑把杜衍藏在閣樓上，杜衍當(dāng)天流了很多血，但僥幸活了下來(lái)，杜衍知道家已經(jīng)不能回去了，因?yàn)闆](méi)有爺爺?shù)恼疹?，兩兄弟不?huì)容納他，他不得不去找再婚的母親。

到了她母親那里，母親對(duì)杜衍很是心疼，但杜衍的繼父拒絕讓杜衍住在家里，杜衍不得不流淚離開(kāi)了母親，開(kāi)始了流浪的生活。無(wú)助的杜衍，先是在孟州和洛陽(yáng)流浪，后來(lái)去了濟(jì)源（河南省濟(jì)源市）計(jì)劃住在這里。除了讀書和寫作，杜衍沒(méi)有其他技能，他不得不為別人抄書，寫書法，畫畫來(lái)賺錢，過(guò)著非常清貧的生活，每天夠個(gè)租金和飯錢。

雖然杜衍過(guò)得很艱難，但他每天都在堅(jiān)持閱讀，他的學(xué)術(shù)沒(méi)有被倦怠，反而日益精進(jìn)。杜衍偶然遇到了濟(jì)源的縣令，濟(jì)源縣令是一個(gè)善于相面的人，他看到杜衍在街上賣字畫，立刻被杜衍的優(yōu)雅外表和龍飛鳳舞的書法所吸引。

縣令開(kāi)始主動(dòng)與杜衍交談，經(jīng)過(guò)一番交流，縣令得知杜衍是一位博學(xué)多才的人，他覺(jué)得杜衍絕非池中之物，將來(lái)會(huì)成大器，所以他主動(dòng)成為杜衍的朋友。

杜衍只是一個(gè)來(lái)自外地的窮小子，能夠得到縣令的贊賞，自然受寵若驚，當(dāng)縣令得知杜衍沒(méi)有結(jié)婚時(shí)，他主動(dòng)為杜衍說(shuō)了一門親事，女方家是濟(jì)源縣首富，這個(gè)富裕家庭的姓氏很奇怪，是一個(gè)復(fù)姓，叫做相里。

杜衍出任官員后，職業(yè)生涯全面開(kāi)放，從知縣、通判，到知府、樞密直學(xué)士，再到御史中丞、龍圖閣學(xué)士，最后做了同平章事兼任樞密使，成為宋朝宰相。在杜衍擔(dān)任宰相之后，杜衍的妻子相里氏也夫榮妻貴，被封為一品誥命夫人，而杜衍的岳父則被封為員外郎。

那時(shí)，重傷杜衍的兩個(gè)哥哥還活著，但仁厚的杜衍不僅不恨他的兄弟，還非常關(guān)心照顧他們；至于當(dāng)初照顧他的姑姑，和杜衍的母親和他繼父所生的兒子，都被他提升為一個(gè)小官員，算是報(bào)答姑姑和母親的養(yǎng)育之恩。