比如年齡預(yù)測(cè)，假設(shè)訓(xùn)練集只有4個(gè)人A,B,C,D，他們的年齡分別是14,16,24,26。其中A,B分別是高一和高三學(xué)生；C,D分別是應(yīng)屆畢業(yè)生和工作兩年的員工。若用一棵傳統(tǒng)的回歸決策樹來(lái)訓(xùn)練，會(huì)得到如圖所示結(jié)果。

如果使用GBDT來(lái)來(lái)訓(xùn)練，由于數(shù)據(jù)太少，我們限定葉子節(jié)點(diǎn)做最多有兩個(gè)，并且限定只學(xué)兩棵樹。

A: 14歲高一學(xué)生，購(gòu)物較少，經(jīng)常問學(xué)長(zhǎng)問題；預(yù)測(cè)年齡A = 15 – 1 = 14

B: 16歲高三學(xué)生；購(gòu)物較少，經(jīng)常被學(xué)弟問問題；預(yù)測(cè)年齡B = 15 + 1 = 16

C: 24歲應(yīng)屆畢業(yè)生；購(gòu)物較多，經(jīng)常問師兄問題；預(yù)測(cè)年齡C = 25 – 1 = 24

D: 26歲工作兩年員工；購(gòu)物較多，經(jīng)常被師弟問問題；預(yù)測(cè)年齡D = 25 + 1 = 26 

注：圖1和圖2 最終效果相同，為何還需要GBDT呢？答案是過擬合。過擬合是指為了讓訓(xùn)練集精度更高，學(xué)到了很多“僅在訓(xùn)練集上成立的規(guī)律”，導(dǎo)致?lián)Q一個(gè)數(shù)據(jù)集當(dāng)前規(guī)律就不適用了。只要允許一棵樹的葉子節(jié)點(diǎn)足夠多，訓(xùn)練集總是能訓(xùn)練到100%準(zhǔn)確率的。在訓(xùn)練精度和實(shí)際精度（或測(cè)試精度）之間，后者才是我們想要真正得到的。

2.4 Shrinkage

Shrinkage(縮減)的思想認(rèn)為：每次走一小步逐漸逼近結(jié)果，要比每次邁一大步很快逼近結(jié)果的方式更容易避免過擬合。即它不完全信任每一個(gè)棵殘差樹，它認(rèn)為每棵樹只學(xué)到了結(jié)果的一小部分，累加的時(shí)候只累加一小部分，通過多學(xué)幾棵樹彌補(bǔ)不足。

假設(shè)yi表示第i棵樹上y的預(yù)測(cè)值，y(1~i)表示前i棵樹y的綜合預(yù)測(cè)值。

      y(i+1)= f(殘差(y(1~i)))    其中，殘差(y(1~i))=y真實(shí)值 - y(1~i)

      y_(1~i)= SUM(y_1,…, y_i)  

      引入Shrinkage后，y(1~i) = y(1~i-1)+step *yi

      step可以認(rèn)為是學(xué)習(xí)速度，越小表示學(xué)習(xí)越慢，越大表示學(xué)習(xí)越快。step一般都比較小，導(dǎo)致各個(gè)樹的殘差是漸變的而不是陡變的。

三. GBDT適用范圍

機(jī)器學(xué)習(xí)可以解決很多問題，其中最為重要的兩個(gè)是 回歸與分類。GBDT可用于回歸問題，相對(duì)logistic regression僅能用于線性回歸，GBDT能用于線性回歸和非線性回歸，GBDT的適用面非常廣。GBDT也可用于二分類問題（設(shè)定閾值，大于閾值為正例，反之為負(fù)例）。

四. 搜索引擎排序應(yīng)用RankNet

RankNet是基于樣本對(duì)級(jí)別(機(jī)器學(xué)習(xí)按照誤差函數(shù)的設(shè)計(jì)分為3種：點(diǎn)方式、對(duì)方式、列表方式)方法的一種典型的網(wǎng)頁(yè)排序算法，是利用梯度下降的原理，基于神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行模型的構(gòu)造和應(yīng)用的。

就像所有的機(jī)器學(xué)習(xí)一樣，搜索排序的學(xué)習(xí)也需要訓(xùn)練集，RankNet一般是用人工標(biāo)注實(shí)現(xiàn)，即對(duì)每一個(gè)文檔給定一個(gè)分值（1,2,3,4）,分值越高表示越相關(guān)，越應(yīng)該排到前面。然而這些絕對(duì)的分值本身意義不大，例如很難說(shuō)1分和2分文檔的相關(guān)程度差異是1分和3分文檔相關(guān)程度差距的一半。相關(guān)度是一個(gè)很主觀的評(píng)判，人工無(wú)法做到這種定量標(biāo)注，這種標(biāo)準(zhǔn)也無(wú)法制定。但人工容易做到的是“A和B與查詢?cè)~都很相關(guān)，但文檔A比文檔B更相關(guān)，所以A比B的分高”。

利用RankNet進(jìn)行網(wǎng)頁(yè)排序，首先對(duì)訓(xùn)練樣本進(jìn)行轉(zhuǎn)化。

      

  利用神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。假設(shè)在訓(xùn)練樣本中對(duì)于查詢q存在<xi, xj>文檔序列對(duì)，需要計(jì)算2個(gè)概率值P1和P2。

          P1這個(gè)概率是由神經(jīng)網(wǎng)絡(luò)模型計(jì)算出來(lái)的，函數(shù)如下

          P2=e^(o_ij )/(1+e^(o_ij ) )

          其中，對(duì)于文檔xi, xj，神經(jīng)網(wǎng)絡(luò)模型f對(duì)其打分分別為o_i=f(xi), o_j=f(xj)，并記o_ij=o_i-o_j。

          模型f：R^d→R  R^d是文檔的特征空間，R是實(shí)數(shù)。

      對(duì)于概率P2，它表示真實(shí)存在的概率，標(biāo)記了文檔x_i和x_j的真實(shí)優(yōu)先關(guān)系。根據(jù)人工對(duì)文檔的打分，若文檔xi 與查詢q的相關(guān)度大于文檔xj，則記P2=1；反之記P2=0；若文檔xi 與查詢q的相關(guān)度等于文檔xj，則記P2=0.5。神經(jīng)網(wǎng)絡(luò)模型的目的是使計(jì)算出來(lái)的P1符合P2。

定義誤差函數(shù)，使用交叉熵來(lái)計(jì)算誤差，文檔x_i 與x_j的交叉熵計(jì)算公式為：

     C_ij=-P2  log?〖P1 〗-(1-P2 )  log?〖P1 〗 

          = -P2 o_ij  + log?〖(1+e^(o_ij ))〗

      對(duì)于整個(gè)模型的誤差，只需要將所有文檔序?qū)Φ恼`差進(jìn)行求和就可以得到。得到誤差后，利用梯度下降的原理，計(jì)算出其梯度。然后利用BP型神經(jīng)網(wǎng)絡(luò)，就可以對(duì)其樣本進(jìn)行訓(xùn)練(每次對(duì)兩個(gè)樣本的輸入進(jìn)行一次神經(jīng)網(wǎng)絡(luò)的權(quán)重調(diào)整)。最后，每個(gè)樣本通過Shrinkage累加都會(huì)得到一個(gè)最終分?jǐn)?shù)，直接按分?jǐn)?shù)從大到小對(duì)樣本進(jìn)行排序。