機器學(xué)習(xí)導(dǎo)論

• 什么是機器學(xué)習(xí)

• 機器學(xué)習(xí)的種類

• 代價函數(shù)，優(yōu)化目標

• 模型泛化能力

• 模型評估

什么是機器學(xué)習(xí)

　　機器學(xué)習(xí)是人工智能的一個分支。人工智能的研究是從以“推理”為重點到以“知識”為重點，再到以“學(xué)習(xí)”為重點，一條自然、清晰的脈絡(luò)。顯然，機器學(xué)習(xí)是實現(xiàn)人工智能的一個途徑，即以機器學(xué)習(xí)為手段解決人工智能中的問題。機器學(xué)習(xí)在近30多年已發(fā)展為一門多領(lǐng)域交叉學(xué)科，涉及概率論、統(tǒng)計學(xué)、逼近論、凸分析、計算復(fù)雜性理論等多門學(xué)科。機器學(xué)習(xí)理論主要是設(shè)計和分析一些讓計算機可以自動“學(xué)習(xí)”的算法。機器學(xué)習(xí)算法是一類從數(shù)據(jù)中自動分析獲得規(guī)律，并利用規(guī)律對未知數(shù)據(jù)進行預(yù)測的算法。因為學(xué)習(xí)算法中涉及了大量的統(tǒng)計學(xué)理論，機器學(xué)習(xí)與推斷統(tǒng)計學(xué)聯(lián)系尤為密切，也被稱為統(tǒng)計學(xué)習(xí)理論。算法設(shè)計方面，機器學(xué)習(xí)理論關(guān)注可以實現(xiàn)的，行之有效的學(xué)習(xí)算法。很多推論問題屬于無程序可循難度，所以部分的機器學(xué)習(xí)研究是開發(fā)容易處理的近似算法。

　　機器學(xué)習(xí)已廣泛應(yīng)用于數(shù)據(jù)挖掘、計算機視覺、自然語言處理、生物特征識別、搜索引擎、醫(yī)學(xué)診斷、檢測信用卡欺詐、證券市場分析、DNA序列測序、語音和手寫識別、戰(zhàn)略游戲和機器人等領(lǐng)域。

機器學(xué)習(xí)的種類

監(jiān)督學(xué)習(xí)從給定的訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)出一個函數(shù)，當(dāng)新的數(shù)據(jù)到來時，可以根據(jù)這個函數(shù)預(yù)測結(jié)果。監(jiān)督學(xué)習(xí)的訓(xùn)練集要求是包括輸入和輸出，也可以說是特征和目標。訓(xùn)練集中的目標是由人標注的。常見的監(jiān)督學(xué)習(xí)算法包括回歸分析和統(tǒng)計分類。

無監(jiān)督學(xué)習(xí)與監(jiān)督學(xué)習(xí)相比，訓(xùn)練集沒有人為標注的結(jié)果。常見的無監(jiān)督學(xué)習(xí)算法有聚類。

半監(jiān)督學(xué)習(xí)介于監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)之間。

增強學(xué)習(xí)通過觀察來學(xué)習(xí)做成如何的動作。每個動作都會對環(huán)境有所影響，學(xué)習(xí)對象根據(jù)觀察到的周圍環(huán)境的反饋來做出判斷。

代價函數(shù)

模型泛化能力

模型評估

Precision (精確度)：檢索出來的條目(比如:文檔、網(wǎng)頁等)有多少是準確的

Recall (召回率、查全率)：所有準確的條目有多少被檢索出來

下面這張圖介紹True Positive，F(xiàn)alse Negative等常見的概念，P和R也往往和它們聯(lián)系起來。

其中false positives（存?zhèn)危┮餐ǔ７Q作誤報，false negatives也通常稱作漏報！

F-Measure是Precision和Recall加權(quán)調(diào)和平均：

當(dāng)參數(shù)a=1時，就是最常見的F1了：

很容易理解，F(xiàn)1綜合了P和R的結(jié)果，當(dāng)F1較高時則比較說明實驗方法比較理想