最小二乘法是一種在誤差估計(jì)、不確定度、系統(tǒng)辨識(shí)及預(yù)測(cè)、預(yù)報(bào)等數(shù)據(jù)處理諸多學(xué)科領(lǐng)域得到廣泛應(yīng)用的數(shù)學(xué)工具。最小二乘很簡(jiǎn)單，也在業(yè)界得到了廣泛使用。

但是對(duì)于最小二乘法和它的故事，也許很多人并不了解，今天給大家做一下分享。

1801年，意大利天文學(xué)家朱賽普·皮亞齊發(fā)現(xiàn)了第一顆小行星谷神星。經(jīng)過40天的跟蹤觀測(cè)后，由于谷神星運(yùn)行至太陽背后，使得皮亞齊失去了谷神星的位置。隨后全世界的科學(xué)家利用皮亞齊的觀測(cè)數(shù)據(jù)開始尋找谷神星，但是根據(jù)大多數(shù)人計(jì)算的結(jié)果來尋找谷神星都沒有結(jié)果。

時(shí)年24歲的高斯也計(jì)算了谷神星的軌道。奧地利天文學(xué)家海因里?！W伯斯根據(jù)高斯計(jì)算出來的軌道重新發(fā)現(xiàn)了谷神星。

高斯使用的最小二乘法的方法發(fā)表于1809年他的著作《天體運(yùn)動(dòng)論》中，而法國(guó)科學(xué)家勒讓德于1806年獨(dú)立發(fā)現(xiàn)“最小二乘法”，但因不為世人所知而默默無聞。

為了方便大家理解最小二乘法，給大家講個(gè)故事。

假設(shè)身高是變量X，體重是變量Y，我們都知道身高與體重有比較直接的關(guān)系。生活經(jīng)驗(yàn)告訴我們：一般身高比較高的人，體重也會(huì)比較大。但是這只是我們直觀的感受，只是很粗略的定性的分析。

在數(shù)學(xué)世界里，我們大部分時(shí)候需要進(jìn)行嚴(yán)格的定量計(jì)算：能不能根據(jù)一個(gè)人的身高，通過一個(gè)式子就能計(jì)算出他或者她的標(biāo)準(zhǔn)體重？

我們可以采樣一批人的身高體重?cái)?shù)據(jù)， (x1?,y1?),(x2?,y2?),?,(xn?,yn?)，其中x是身高，y是體重。

生活常識(shí)告訴我們：身高與體重是一個(gè)近似的線性關(guān)系，用最簡(jiǎn)單的數(shù)學(xué)語言來描述就是y = \beta_0+\beta_1xy=β0?+β1?x。

于是，接下來的任務(wù)就變成：怎么求出這個(gè)β0?與β1?呢？

為了計(jì)算β0?,β1??的值，我們采取如下規(guī)則：β0?,β1?應(yīng)該使計(jì)算出來的函數(shù)曲線與觀察值的差的平方和最小。用數(shù)學(xué)公式描述就是：

其中，y_{ie}yie?表示根據(jù)y=\beta_0 + \beta_1xy=β0?+β1?x估算出來的值，y_iyi?是觀察得到的真實(shí)值。

這樣，樣本的回歸模型很容易得出：

現(xiàn)在需要確定β0?、β1?，使cost function最小。
大家很容易想到，對(duì)該函數(shù)求導(dǎo)即可找到最小值：

將這兩個(gè)方程整理后使用克萊姆法則，很容易求解得出：

根據(jù)這個(gè)公式，只需要將樣本都帶入就可以求解出相應(yīng)的參數(shù)。

如果我們推廣到更一般的情況，假如有更多的模型變量
x1,x2,?,xm（注意：x_1x1?是指 一個(gè)樣本，x1是指樣本里的一個(gè)模型相關(guān)的變量)，可以用線性函數(shù)表示如下：

y(x1,?,xm;β0?,?,βm?)=β0?+β1?x1+?+βm?xm

對(duì)于n個(gè)樣本來說，可以用如下線性方程組表示：

如果將樣本矩陣x_i^hxih?記為矩陣A,將參數(shù)矩陣記為向量\betaβ，真實(shí)值記為向量Y，上述線性方程組可以表示為：

即A \beta = YAβ=Y

對(duì)于最小二乘來說，最終的矩陣表達(dá)形式可以表示為：

min∣∣Aβ?Y∣∣2?

最后的最優(yōu)解為：

β=(ATA)?1ATY

2021華為云 AI 實(shí)戰(zhàn)營(yíng)——華為云員工都在學(xué)的AI實(shí)戰(zhàn)營(yíng)，快來報(bào)名免費(fèi)學(xué)習(xí)吧~華為云AI實(shí)戰(zhàn)營(yíng)_云主機(jī)_云服務(wù)器_華為云

點(diǎn)擊關(guān)注，第一時(shí)間了解華為云新鮮技術(shù)~華為云博客_大數(shù)據(jù)博客_AI博客_云計(jì)算博客_開發(fā)者中心-華為云