作者：人月神話，新浪博客同名

　　簡介：多年SOA規(guī)劃建設，私有云PaaS平臺架構設計經驗，長期從事一線項目實踐

　　這本書籍的全名《終極算法-機器學習和人工智能如何重塑世界》，最近讀完這本書，整體感受書籍的含金量相當高，而且本書整體的易讀性很好，，沒有想像的那么多枯燥的理論和公式，通過淺顯的方式把復雜的道理講解清楚。

　　因此今天對本書的核心內容做一些梳理和整理歸納。

　　首先在序里面就談到了機器學習算法和傳統(tǒng)計算機算法不同，它從數據中做推斷，它們自己會去弄明白做事的方法。簡單來說，原來的計算機算法往往是我們已經知道了算法，然后把特定的問題域匹配到具體的算法上，然后讓機器去計算出結果；而現在的機器學習算法是人不知道算法，只知道大量的數據（包括輸入和輸出），而需要機器從這些數據的學習和訓練中推導出算法，這就是最大的不同點。即：

　　傳統(tǒng)算法：算法和公式已知，計算機基于已于的算法公式進行計算機器算法：歷史數據已知，計算機根據數據自己訓練和推導算法，并持續(xù)迭代

　　機器學習算法在重塑整個世界，包括科學，技術，政治，經濟，戰(zhàn)爭的方方面面。

　　機器學習算法的基礎是數據，這個數據包括了數據的輸入，也包括了最終的輸出結果，而學習算法要做的就是從大量的輸入和輸出中找出最恰當的算法公式，因此數據量越大越多，往往算法最終的準確度就越高。

　　在序里面提到了一個關鍵，即心理學家丹諾曼提出的概念模型，代指為了有效利用某項技術而需要粗略掌握的知識，而不需要深入到這個知識內部的具體原理。注意這個和我在前面講學習方法和模式的時候就談到過，剛開始要不求甚解，而這個不求甚解需要掌握的就是這個概念模型。

　　機器學習的五大學派，后面的第3章到第7章就是圍繞這五大學派詳細展開描述。

　　符號學派：將學習看作逆向演繹，并從哲學，心理學，邏輯學中尋求洞見。聯結學派：對大腦進行逆向分析，靈感來源于神經科學和物理學。進化學派：通過計算機模擬進化，利用遺傳學和進化生物學知識。貝葉斯學派：學習本質是一種概念推理，其理論根基在統(tǒng)計學。類推學派：通過相似性判斷的外推來進行學習，并受心理學和數學最優(yōu)化影響。

　　機器學習的革命

　　注意書里面有一段關鍵的內容來解釋傳統(tǒng)算法和學習算法的區(qū)別。

　　傳統(tǒng)的算法是你將數據輸入到計算機，計算機本身是利用算法來進行計算和處理，最終輸出你需要的結果；而機器學習算法剛好是顛倒的，即你輸入到計算機中的是輸入數據和輸出數據，而計算機最終輸出給你的是有價值的算法。這就是兩者最大的區(qū)別。

　　這個算法需要不斷的學習和訓練，因此數據量和樣本數越多，算法就越準確。注意為什么最終會得出這個算法，這個算法存在的邏輯是如何的？計算機也搞不清楚，本身也不需要搞清楚，計算機只知道這個最終輸出給你的算法是最匹配已有歷史輸入和輸出數據的。

　　在機器學習中，知識往往是以統(tǒng)計模型的形式存在，而技能則是以程序的形式存在。

　　這句話有點難以理解，我們可以把這個簡化描述下，即：

　　if（知識點X1，知識點X2，...，知識點XN） Then or You Should do(知識點XY）

　　人的思考和經驗積累也一樣，即不是單純的積累知識點，而是應該積累上面這種經驗模式或者算法模式。這和我上篇文章談的知識和經驗中的一些觀點又是相同的。

　　比如用上面類似神經網絡的一個構圖來解釋，即當你工作到一定時間后，比如8年，10年后你會發(fā)現真正新產生的知識點越來越少，但是雖然新的知識點越來越少，但是你的工作經驗卻完全可能越來越多，對于兩個人的競爭而言，在工作的后期已經不是知識點數目的競爭，而是知識點能夠串接為有價值的方法論和模式（經驗）的競爭。

　　用上面這個圖就可以很好的解釋這個問題，兩個圖里面圓圈代表知識點，在兩個圖里面的數目是一樣的，但是左邊的圖可以看到可能只形成了6種做事情的經驗模式，而對于右邊雖然知識點數目一樣，但是通過反復的實踐積累，形成了6*6種新的經驗或模式。

　　常人是形成N種經驗模式，而對于善于實踐，思考和總結的人可能則形成N*N種經驗模式，也就是說個人的經驗能力一定是這種多知識點串聯匹配并解決問題的能力，而不是單知識點簡單匹配的能力。也就是我們說的：同樣的知識點經過大量的反復實踐，可以形成指數級的經驗模式庫。

　　在公司發(fā)展壯大后，往往會經歷三個階段:

　　工業(yè)革命是手工業(yè)自動化，而機器學習使自動化本身自動化。：

　　所有事情都人工完成。所有事情或大部分事情通過計算機自動完成。（但是思考并形成算法是人做的）部分思考被機器替代。（即機器本身通過學習自己產生算法，而替代人的思考）

　　對于機器學習算法本身，其方法本身和人類的思考方法也是類似的，即產生假設，驗證，放棄或完善，反復的修正和迭代。

　　那么人形成算法的過程和機器最大的區(qū)別在哪里的？

　　人往往是期望通過最少的現場歸納出普適的定律或法則，形成解釋世界的精確模型。機器則是通過大量數據，自我訓練和學習得出最終算法，這種算法邏輯不需解釋。

　　但是在人的算法過程中，并不是所有的現象都是線性的，都可以用模型精確描述，包括后面人類遇到的NP難題等，往往并沒有一個精確模型或最優(yōu)解。而機器學習則打開了這個全新的非線性模型世界。

　　終極算法

　　發(fā)明一種通用的算法可以歸結為發(fā)現宇宙最深層次的規(guī)律，所有現象都遵循該規(guī)律，然后找出計算的有效方法來將其和數據結合起來。

　　注：這有點道德經里面一生二，二生三，三生萬物的味道。

　　本書的一個重要假設是：所有知識，無論是過去，現在還是未來的，都有可能通過單個通用學習算法來從數據中獲得，我們將該算法稱為終極算法。

　　機器學習算法的首要任務是區(qū)別可以預測的事與不可預測的事。但是終極算法的目標則是學習一切能夠認知的東西。在機器學習中，復雜性存在于數據中，而終極算法要做的就是消化這種復雜性。

　　終極算法就是等式U(X)=0

　　這個公式要表達的是某未知數X（可能很復雜）的某函數U（可能很復雜）等于0。每個等式都可以簡化為這種形式：

　　例如，F=ma等于F-ma=0，如果你把F-ma當作F的一個函數U，則U(F)=0。

　　最后再來說明下對五大學派的闡述：

　　符號學派：所有的信息都可以簡化為操作符號聯結學派：學習就是大腦要做的事情，因為我們要做的就是對大腦逆向演繹進化學派：所有形式的學習都源于自然選擇貝葉斯學派：所有掌握的知識都有不確定性，學習知識過程也是一種不確定性推理類推學派：學習的關鍵是認識到不同場景中的相似性，并由這種相似性推導出其他相似性

　　這是終極算法這本書的第二部分讀書筆記，主要是記錄書里面談的五大學派，即符號學派，聯結學派，進化學派，貝葉斯學派和類推學派。

　　這部分的內容有些地方可讀寫并不是太好，包括對于每一個學派你讀完后實際上很難真正抓住里面的核心內容，包括對某類算法的核心邏輯和演進過程也較晦澀。比如對于里面聯結學派的神經網絡，貝葉斯算法和隱式馬爾科夫鏈，相信你讀吳軍博士的《數學之美》往往更加容易理解。

　　符號學派

　　我們順著書里面章節(jié)的內容可以看到的是邏輯推理，基于假設并驗證，規(guī)則和分類集，歸納和逆向演繹，分而治之和決策樹模型，方差和偏差這些關鍵字。

　　你可以了解到的是符號學派強調邏輯和推理，也強調了基于先提出假設并進行歸納和驗證。在章節(jié)最后我們看到有一個關鍵總結即所有和智力相關的工作都可以理解為對符號的操縱，符號主義是通往終極算法的最短路徑。

　　接著我們可以在百度百科找到關于符號主義的總結，感覺更加容易理解，即：

　　符號主義（Symbolism）是一種基于邏輯推理的智能模擬方法，又稱為邏輯主義(Logicism)、心理學派(Psychlogism)或計算機學派(Computerism)，其原理主要為物理符號系統(tǒng)（即符號操作系統(tǒng)）假設和有限合理性原理，長期以來，一直在人工智能中處于主導地位，其代表人物是紐威爾、肖、西蒙和尼爾森。

　　該學派認為：人類認知和思維的基本單元是符號，而認知過程就是在符號表示上的一種運算。

　　它認為人是一個物理符號系統(tǒng),計算機也是一個物理符號系統(tǒng),因此,我們就能夠用計算機來模擬人的智能行為,即用計算機的符號操作來模擬人的認知過程。

　　這種方法的實質就是模擬人的左腦抽象邏輯思維，通過研究人類認知系統(tǒng)的功能機理，用某種符號來描述人類的認知過程，并把這種符號輸入到能處理符號的計算機中，就可以模擬人類的認知過程，從而實現人工智能?？梢园逊栔髁x的思想簡單的歸結為“認知即計算”。

　　從符號主義的觀點來看，知識是信息的一種形式,是構成智能的基礎，知識表示、知識推理、知識運用是人工智能的核心，知識可用符號表示,認知就是符號的處理過程，推理就是采用啟發(fā)式知識及啟發(fā)式搜索對問題求解的過程，而推理過程又可以用某種形式化的語言來描述，因而有可能建立起基于知識的人類智能和機器智能的同一理論體系 。

　　而上面黑色加粗部分才是符號學派的核心內容。我們抓住這個核心基本就對符號主義有了完整的理解，即從知識到符號，從認知到符號計算，從問題求解到符號的邏輯推理。對于早期的牛頓定理，各種物理學公式，通過符號對自然現象的精確表達，從結果到原因的邏輯分析都可以算做是符號學派的例子。

　　聯結學派

　　聯結主義相信知識是存儲在神經元之間的聯結關系中。在這里我的里是知識點仍然是存儲在神經元中，而認知能力則是存儲在各個神經元之間的單一或復雜的聯結關系中。這和我前面談到的知識和經驗中一些觀點匹配的，即一個人真正的認知或經驗能力強，一定是充分啟發(fā)了自我神經元間的聯結關系。

　　符號學派：符號和概念一一對應，并且是按照次序的。聯結學派：神經元和概念是分散式的，并且認知過程可能是并行進行的。

　　正是由于這個原因，計算機晶體管的數量已經趕上了人類大腦神經元的數量，但是在連接數量上，人類的大腦輕易獲勝。特別是在圖像或語音識別上，人類大腦的并行處理過程相當復雜。

　　那是否能夠抽象一個類似人類大腦神經元和神經元間連接的模型出來？

　　基于這個思路在1943年提出了神經元模型，即最早的感知器，而在感知器上需要解決的關鍵問題就是連接線和連接線的權值問題。從單層的感知器到多層和多步驟的感知，就形成了神經網絡模型的基礎。而對于神經網絡模型，在前面博客文章中也談到過是深度學習算法的一個基礎模型，其核心內容就是分了多少層？ 以及模擬神經元之間連線的權重。

　　吳恩達是人工智能和機器學習領域的權威學者，也提到人類智能可以最終歸結為單個算法。從其負責的疊加自動編碼器深度學習算法項目，再到以玻爾茲曼機器為基礎的卷積神經網絡，神經網絡模型和相應的深度學習算法在圖像識別，語音識別，新藥研制，自動駕駛等方面都取得了不小的成功。

　　聯結再簡單點來說就是仍然基于大量的歷史訓練數據，在已知輸入和輸出的情況下，構建復雜的神經網絡模型，并計算最恰當的網絡連接和聯結權重的過程。

　　進化學派-自然的學習算法

　　人類可以進化，那么我們可以假設到對于機器本身也可以自我進化和學習，而這種學習過程即進化學派里面談到的遺傳算法，遺傳算法的關鍵是適應度函數，給出一個特定程序和某個設定的目標，適應度函數會給程序打分，反映它與目標的契合度。

　　遺傳算法的過程就是不斷的持續(xù)迭代，當達到某個理想的適應度就結束。

　　對于遺傳算法本身，我們仍然參考百度百科的定義解釋的更加清楚，即:

　　遺傳算法（Genetic Algorithm）是模擬達爾文生物進化論的自然選擇和遺傳學機理的生物進化過程的計算模型，是一種通過模擬自然進化過程搜索最優(yōu)解的方法。

　　遺傳算法是從代表問題可能潛在的解集的一個種群（population）開始的，而一個種群則由經過基因（gene）編碼的一定數目的個體(individual)組成。每個個體實際上是染色體(chromosome)帶有特征的實體。染色體作為遺傳物質的主要載體，即多個基因的集合，其內部表現（即基因型）是某種基因組合，它決定了個體的形狀的外部表現，如黑頭發(fā)的特征是由染色體中控制這一特征的某種基因組合決定的。

　　因此，在一開始需要實現從表現型到基因型的映射即編碼工作。由于仿照基因編碼的工作很復雜，我們往往進行簡化，如二進制編碼，初代種群產生之后，按照適者生存和優(yōu)勝劣汰的原理，逐代（generation）演化產生出越來越好的近似解，在每一代，根據問題域中個體的適應度（fitness）大小選擇（selection）個體，并借助于自然遺傳學的遺傳算子（genetic operators）進行組合交叉（crossover）和變異（mutation），產生出代表新的解集的種群。

　　這個過程將導致種群像自然進化一樣的后生代種群比前代更加適應于環(huán)境，末代種群中的最優(yōu)個體經過解碼（decoding），可以作為問題近似最優(yōu)解。

　　遺傳算法也是計算機科學人工智能領域中用于解決最優(yōu)化的一種搜索啟發(fā)式算法，是進化算法的一種。這種啟發(fā)式通常用來生成有用的解決方案來優(yōu)化和搜索問題。進化算法最初是借鑒了進化生物學中的一些現象而發(fā)展起來的，這些現象包括遺傳、突變、自然選擇以及雜交等。遺傳算法在適應度函數選擇不當的情況下有可能收斂于局部最優(yōu) ，而不能達到全局最優(yōu)。

　　該書的P175頁提到了先天和后天的概念，這部分也是相當重要的內容，即演化新論注重結構，而聯結學派注重權重，但是任何好的學習算法一定包括了結構學習和權值學習兩部分的內容。進化是尋求好的結構，而神經網絡學習則填滿這個結構，這樣的結合才是終極算法最簡單的一步。

　　從神經網絡到深度學習

　　在這里先補充下對原來深度學習內容的一個整理。

　　深度學習的概念源于人工神經網絡的研究。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現數據的分布式特征表示。

　　深度學習的概念由Hinton等人于2006年提出?；谏疃戎眯啪W絡(DBN)提出非監(jiān)督貪心逐層訓練算法，為解決深層結構相關的優(yōu)化難題帶來希望，隨后提出多層自動編碼器深層結構。此外Lecun等人提出的卷積神經網絡是第一個真正多層結構學習算法，它利用空間相對關系減少參數數目以提高訓練性能。

　　人工神經網絡本質是有向圖

　　人工神經網絡 ( Artifical Neural Network)，標志著另外一種自下而上的思路。神經網絡沒有一個嚴格的正式定義。它的基本特點，是試圖模仿大腦的神經元之間傳遞，處理信息的模式。

　　人工神經網絡描述本質是一種特殊的有向圖。這個有向圖包括了一個或多個輸入X，中間多個隱含層S，一個輸出的結果Y。其中有向圖的節(jié)點即是神經元，而連接弧即是神經。

　　這種流向圖的一個特別屬性是深度(depth)：從一個輸入到一個輸出的最長路徑的長度。

　　對于神經網絡的有向圖還具備如下特點：

　　所有的節(jié)點都分層，每層節(jié)點通過弧連接指向下一層節(jié)點，但是同層沒有弧連接。每條弧連接上都有權重值，根據權重值和上一個節(jié)點值就很容易計算出當前節(jié)點值。各層之間不能跨層進行連接。最終的神經元函數只能對輸入變量線性組合結果進行一次非線性變換。

　　核心算法

　　人工神經網絡在設計的時候有兩個重點，一個是它的結構，即網絡分幾層，每層分幾個節(jié)點；第二個就是非線性函數f(.)的設計，常用的函數是指數函數。

　　神經網絡的計算模型，依靠大量的數據來訓練，在進行訓練前首先要定義成本函數，而成本函數簡單來說就是通過機器學習得出的結果和實際結果間的差距，或者說訓練值本身的靠譜程度。

　　而學習和訓練的算法即是根據成本函數的結果， 自學， 糾錯， 最快地找到神經元之間最優(yōu)化的加權值。神經網絡算法的核心就是：計算、連接、評估、糾錯、瘋狂培訓。

　　對于學習的過程可以看到由于有多個S隱含層，因此隱含層越多，整個學習的復雜度和成本越大，整個學習過程也是一層一層逐步進行學習。

　　神經網絡訓練

　　整個神經網絡的訓練分為有監(jiān)督的訓練和無監(jiān)督的訓練。

　　有監(jiān)督的訓練：即準備訓練的數據樣本的x輸入，同時本身有y輸出，我們需要的是將深度學習完成后的y1和我們期望的y進行差距比對，來最終確定訓練結果中選擇哪個權重系數最合適。簡單來說，就是有了訓練數據，定義了一個成本函數C，然后按照梯度下降法找到讓成本達到最小值的那組參數。

　　無監(jiān)督的訓練，則是只有輸入數據X，而沒有對應的輸出數據Y，這樣上面的成本函數就無法定義。因此我們就需要定義一個新的成本函數，該成本函數能夠在不知道正確的輸出結果值的前提下，確定訓練出來的模型究竟是好還是壞。

　　深度學習當前主要應用在計算機視覺，語音識別，自然語言處理等領域。

　　貝葉斯學派

　　對于貝葉斯學派來說，學習只是另外一種形式的概率推理。你需要做的僅僅是運用貝葉斯定理，把假設當作可能的原因，把數據當作觀察到的效果。

　　對于貝葉斯理論和隱式馬爾科夫鏈的描述個人認為仍然沒有《數學之美》這本書描述的淺顯易懂。因此這本書內容也可以參考《數學之美》和網上的參考資料進一步學習。對于貝葉斯學派有一個重點，就是將我原來的精確模型轉變?yōu)榱嘶诮y(tǒng)計學思維的概率模型，其次是給出了一種從結果反推原因的一種可能。

　　基于統(tǒng)計學的思維真正當前深度學習和人工智能中的一個關鍵點，包括大數據相關技術的發(fā)展，都為基于大量數據訓練和統(tǒng)計分析思路，來逆向推導模型成為了可能。而對于貝葉斯公式重點就是條件概率，貝葉斯理論的應用場景很多，如在賣手游賬號互聯網領域中的語義和詞法分析，知識聚類，互聯網垃圾郵件的過濾等，都可以基于貝葉斯理論為基礎，進行條件概率的反向推倒。

　　邏輯和概率，一對不幸的組合：貝葉斯學派和符號學派一致認為，先驗假設不可避免，但對他們認可的先驗知識的種類卻存在分歧（P224頁），顯然我們既需要邏輯，也需要概率。將聯結學派和進化學派結合起來相對簡單，只要改善網絡結構，利用反向傳播來掌握參數。但是將邏輯和概念統(tǒng)一起來卻困難的多。多數專家認為將邏輯和概率相統(tǒng)一是不可能的，尋求一個終極算法的前景并不樂觀。

　　對貝葉斯公式補充說明

　　首先我們看下百度百科關于貝葉斯公式的基礎定義：

　　貝葉斯定理由英國數學家貝葉斯 ( Thomas Bayes 1702-1761 ) 發(fā)展，用來描述兩個條件概率之間的關系，比如 P(A|B) 和 P(B|A)。按照乘法法則，可以立刻導出：

　　P(A∩B)=P(A)*P(B|A)=P(B)*P(A|B)。

　　如上公式也可變形為：P(B|A)=P(A|B)*P(B) / P(A)。

　　那么對于上述公司的理解即是當我們知道B發(fā)生的時候A成立的概率的時候，是可以反推A發(fā)生的時候B成立的概率的，但是前提是還需要知道兩個先驗概率，即P(B)和P(A)。

　　看個例子進行說明如下：

　　一座別墅在過去的 20 年里一共發(fā)生過 2 次被盜，別墅的主人有一條狗，狗平均每周晚上叫 3 次，在盜賊入侵時狗叫的概率被估計為 0.9，問題是：在狗叫的時候發(fā)生入侵的概率是多少？

　　那結算的時，我們假設 A 事件為狗在晚上叫，B 為盜賊入侵，則以天為單位統(tǒng)計：

　　P(A)=3/7，P(B)=2/(20*365)=2/7300，P(A|B)=0.9

　　按照公式很容易得出結果：P(B|A)=0.9*(2/7300) / (3/7)=0.00058

　　即要知道P(B|A)首先要有兩個獨立的先驗概率，即狗叫的概率和歹徒入侵的概率。

　　我們再來看一個場景：

　　若某人已患禽流感，那么指標A檢驗結果為陽性的概率為90%。那如果我們要分析張三檢驗結果為陽性，究竟患禽流感的概率有多大呢？即需要計算P(B|A)，B為禽流感的概率。

　　要計算這個，首先我們要知道P(B)的值，如果根據歷史數據禽流感的患病率為1/1000。知道了這個后我們還需要知道P(A)的值是多少，即檢查結果為陽性的概率是多少？

　　那么P(A)如何結算的，可以看到陽性概率我們可以轉換計算，即陽性的檢查概率應該等于患病的人檢查未陽性的概率＋未患病的人檢查未陽性的概率。

　　即P(A)＝P(A|B)*P(B)＋P(A|－B)*P(－B)

　　上面的公式可以轉換為P(B|A)=P(A|B)*P(B) / P(A)＝P(A|B)*P(B) / P(A|B)*P(B)＋P(A|－B)*P(－B)

　　P(A|－B)解釋起來就是，如果某人沒有患禽流感，但是檢查結果為陽性的概率。P(A|B）－若某人已患禽流感，那么指標A檢驗結果為陽性的概率為90%P(A|－B）－若某人未患禽流感，那么指標A檢驗結果為陽性的概率為9%P(B)－禽流感的整體患病率為０.１％

　　知道了這幾個數據，我們同樣可以計算得出當檢查結果為陽性時候的患病概率。即貝葉斯公式最大的功勞是解決了兩個條件概率之間的關系和互求問題。

　　對于中間的公式轉換我們也說清楚了，當要計算反向的條件概率的時候，你可以去找兩個獨立的先驗概率，即Ａ發(fā)生的概率和Ｂ發(fā)生的概率。也可以只找一個先驗概率，將另外一個概率轉換為非Ｂ情況下的條件概率。

　　貝葉斯理論的應用場景很多，如在互聯網領域中的語義和詞法分析，知識聚類，互聯網垃圾郵件的過濾等，都可以基于貝葉斯理論為基礎，進行條件概率的反向推倒。

　　類推學派-像什么就是什么

　　類比是推動許多歷史上最偉大科學進步的動力。在這部分講了兩個算法，一個是最相鄰算法，一個是支持向量機，對于這兩個算法簡單解釋如下：

　　何謂K近鄰算法，即K-NearestNeighbor algorithm，簡稱KNN算法， K個最近的鄰居，當K=1時，算法便成了最近鄰算法，即尋找最近的那個鄰居。也即是給定一個訓練數據集，對新的輸入實例（或者說是給定的數據集），在訓練數據集中找到與該實例（數據集）最鄰近的K個實例，這K個實例的多數屬于某個類，就把該輸入實例分類到這個類中。

　　對于最相鄰算法可以看到我們現在進行大數據分析中的聚合分析的時候經常采用。

　　在機器學習領域，支持向量機SVM(Support Vector Machine)是一個有監(jiān)督的學習模型，通常用來進行模式識別、分類以及回歸分析。Vapnik等人在多年研究統(tǒng)計學習理論基礎上對線性分類器提出了另一種設計最佳準則。其原理也從線性可分說起，然后擴展到線性不可分的情況。甚至擴展到使用非線性函數中去，這種分類器被稱為支持向量機（Support Vector Machine，簡稱SVM）。支持向量機的提出有很深的理論背景。

　　支持向量機方法是在后來提出的一種新方法。

　　SVM的主要思想可以概括為兩點：⑴它是針對線性可分情況進行分析，對于線性不可分的情況，通過使用非線性映射算法將低維輸入空間線性不可分的樣本轉化為高維特征空間使其線性可分，從而 使得高維特征空間采用線性算法對樣本的非線性特征進行線性分析成為可能。

　　符號學派的核心，即所有的知識都可以用抽象的符號來表達，而我們認知的過程即是對各種符號的加減乘除。從這個意義上來說傳統(tǒng)的數理化都可以理解為符號學派，即我們對世界現象的觀察都最終抽象為符號，同時由各種符號在組成一個個精確的模型，而這就是歸納和逆向演繹的過程。

　　當然，有了前人的總結和歸納，后人往往只需要進行演繹和應用即可，即當我們拿到輸入后只需要經過這種模型計算最終就得到我們期望的輸出。

　　符號學派是精確模型，認為世間現象是可以精確描述的，希望通過精確模型來解釋。而我們認知的過程往往又是希望通過最少的現象進行總結和歸納得出一個可以演繹所有現象的模型。那這里面就會有一個關鍵的問題，即：

　　由于所有現象沒辦法窮舉，導致我們最終得出的模型本身是錯誤的，一個方法或定理只要有一個現象用以證謬，那就不會在成立，即使現在成立也很可能是我們沒有找到證謬的現象。

　　那這里面就有一個觀點，即：

　　從觀察現象-》進行歸納-》提出假設，然后還需要對假設進行驗證，只有經過進一步被實驗或其它演繹推理論證成立的假設才可能形成真正的科學模型指導后續(xù)實踐。

　　符號學派的另外一個重點就是if.. Then結構，即如果輸入滿足什么條件，那么我們就可以應用什么模型來解決我們面對的問題，我們將這些規(guī)則和模型輸入到計算機中，那么計算機就可以基于預設的這些內容進行計算和學習，或者連學習都談不上，只是計算機有了類似人一樣的知識庫和知識匹配模式。

　　那么在這種情況下就會變成算法和模型是已知的，匹配規(guī)則是已知的，計算機要做的就是等待輸入，通過匹配規(guī)則選擇最恰當的算法來解決問題。

　　符號學派核心邏輯是歸納和演繹推理，表達方式是通過符號的形式化表達。

　　從符號學派到聯結學派和進化學派

　　這個理解清楚后再來看聯結學派和進化學派，對于這兩個學派其實有很多的相似，但是都體現了學習的概念，即計算機的自我學習能力。而任何學習最基本的要求就是需要有訓練集和測試集，同時需要有一個基本的模型框架結構，通過學習只是對模塊框架里面的參數進行調整。

　　而這兩個學派的內容可以看到基本都滿足上面的關鍵特征，即一開始我們并不知道精確模型究竟是如何的，而是需要通過學習和訓練才能得出精確模型。

　　對于聯結學派中的神經網絡，其核心支撐基礎是模擬大腦的神經元和神經網絡模型，認為神經元存儲的僅僅是離散的知識點，而神經元之間的聯結往往才是最重要的，這和符號學派里面強調的單一符號是離散知識點，而通過符號形成的最終認知模型才是最重要的。

　　對于遺傳學派中的遺傳算法，則是模擬達爾文生物進化論的自然選擇和遺傳學機理的生物進化過程的計算模型，是一種通過模擬自然進化過程搜索最優(yōu)解的方法。遺傳算法的關鍵是適應度函數，因此遺傳算法持續(xù)迭代就是不斷的逼近到我們期望的達到目標的適應度。

　　對于遺傳算法可以進一步總結為不斷提升適應度的過程，而首先則需要通過編碼后形成一個初始化的種群，通過適應函數去考核每個基因的生存能力，然后選擇交叉變異去實現進化，搜索出種群的近似最優(yōu)解。

　　其關鍵步驟即：

　　初始化種群-》適應選擇-》交叉變異-》適應度選擇-》持續(xù)迭代。

　　對于神經網絡一定需要大量的訓練數據進行訓練，而對于遺傳算法類似啟發(fā)式持續(xù)迭代搜索最優(yōu)解的過程，神經網絡有大的框架和模型結構，而遺傳算法即使最終得出最優(yōu)解往往也并沒有實際從邏輯上去解釋的模型結構。

　　對于貝葉斯學派我更愿意理解為大數據環(huán)境下的統(tǒng)計學思維學派，這個學派的產生具有重點顛覆性的意義，即從精確到概率，從確定到不確定，從小范圍抽樣到全集，從輸入+模型=》輸出變化到輸入+輸出=》模型，從原因到結果發(fā)展到能夠從結果逆向分析原因。所有這些內容都在貝葉斯學派完成。

　　對于這部分內容和演講過程在吳軍博士的《智能時代》這本書解釋的相當清楚，即：

　　機械思維（傳統(tǒng)的符號學派）完全建立在確定性的基礎上，而信息論則完全相反，建立在不確定性（假設）基礎上，要消息不確定性就必須引入信息。

　　于是我們的思維邏輯發(fā)生進一步變化，即從機械思維到大數據思維的轉變。

　　復雜時間很難找到確定性和因果關系-》因此用不確定性眼光看待世界-》把智能問題轉化為消除不確定性的問題-》找到消除相應不確定性的信息(或者說大量具有相關性的數據可以幫助我們消除這種不確定性)。

　　這里面有一個關鍵，即我們通過輸入-》算法-》輸出，這個算法并不是可以精確表達的，或者你都不清楚究竟這個算法是什么，也不能用符號精確描述，但是這個算法卻從統(tǒng)計學思維上最終給了你最有價值的輸出。

　　我們不斷在找尋終極算法，但是面對世界的復雜性，越是采用符號學派的思路越難真正找到一個可以解釋所有現象的精確模型，而面對這種復雜和不確定性，在有了大量歷史數據積累的情況下，真正該有的思路即用大數據思維看待這種不確定性，去尋找能夠消除這種不確定性的最優(yōu)算法，而這個算法本身又是計算機有了人工智能后不斷的自我學習，訓練和進化而來的。

　　前面談到的吳軍老師的《智能時代》，對里面和算法和學習相關內容整理：

　　我們認識世界的方式是如何的？

　　這是這本書帶來的第二個有價值的點，即我們認識世界的方式一直在轉變，人類不斷的在采集信息，又將信息轉變?yōu)橹R，再將知識轉變?yōu)檎J識和改造世界的方法論。人類文明的過程可以簡化為：

　　獲取數據-》分析數據-》建立模型-》預測未知

　　而在古希臘和古羅馬文明時代，這里面有出現兩個點：

　　其一是模型可能是錯的或者被復雜化，其原因是我們建立模型前由于我們認知局限，導致建立的假設本身就是錯的？例如托勒密的天體運行軌道模型，基于地心說+圓形軌道假設建立；

　　其二是我們的模型是定性的，即我們很難有抽象的數學公式，并定量的去描述一個模型。而這些形成形成科學體系，要到近代科學家牛頓。

　　牛頓最直接的貢獻，在于他用簡單而優(yōu)美的數學公式破解了自然之謎，其發(fā)表的巨著《自然哲學之數學原理》中，用簡單公式破解了宇宙萬物運行規(guī)律，其偉大成就就是宣告了科學時代的來臨。

　　那么在這個階段最核心的就是機械思維，這種思維的核心包括了三點：

　　其一是世界變化是有規(guī)律可循的其二是規(guī)律本身是有確定性可循的，并且可以用數學公式來精確表達；其三是這些規(guī)律可以用到未知領域指導實踐，改造自然。

　　從這三點核心上也可以看到機械思維在前面幾次工業(yè)革命上帶來的巨大推動作用和價值。

　　有果必有因，有現象必能找到確定性，有確定性必能用精確模型描述。

　　但是機械思維發(fā)展中出現兩個問題，即有些時候我們沒有辦法做到精確建模，這本身又有兩個原因，其一是對目標Y造成影響的X因子太多，無法窮舉和認知全；其二是我們測量系統(tǒng)出現問題，簡單來說采集不全和測量不準。這些都對我們確定性思維造成挑戰(zhàn)。

　　解決該問題本身又有兩種思路：

　　其一是概率和統(tǒng)計其二是對信息不確定性的量化表達-信息論和信息熵（香農）。

　　機械思維完全建立在確定性的基礎上，而信息論則完全相反，建立在不確定性（假設）基礎上，要消息不確定性就必須引入信息。于是我們的思維邏輯發(fā)生進一步變化，即從機械思維到大數據思維的轉變。

　　復雜時間很難找到確定性和因果關系-》因此用不確定性眼光看待世界-》把智能問題轉化為消除不確定性的問題-》找到消除相應不確定性的信息(或者說大量具有相關性的數據可以幫助我們消除這種不確定性)。

　　而這些大量的具備相關性的數據，則滿足我們普遍定義的大數據3V特征

　　數據量足夠大：足夠大才能夠消除不確定性多維度：多維度更加容易分析互信息和相關性數據完備性：防止原來采用的概率或抽樣方法帶來的小概率事件影響。

　　先根據相關性解決問題和改進目標-》在認知水平達到后自然會進一步探索相關背后的因果。

　　為何大數據變革發(fā)生在今天？

　　為了解決不確定性問題，就需要足夠大量的數據，同時保證數據的完備性。而隨著存儲技術，網絡技術，傳感網和數據采集技術的發(fā)展，我們獲取數據和存儲數據都更加容易。數據雖然出現指數級增長，但是我們已經有能力和手段進行數據采集，存儲，分析挖掘。

　　數據挖掘里面有個重點又是影響智能革命的機械學習和人工智能。

　　今天廣泛使用的人工神經網絡，最大熵模型，邏輯回歸等理論早在40年前就已經成熟，但是一直沒有受到太大重視，直到2021年Google創(chuàng)造了奇跡的阿爾法狗，其訓練算法就是人工神經網絡。

　　機器學習的過程無一例外是一個不斷迭代，不斷進步的過程。專業(yè)術語就是期望值最大化，只要事先確定一個目標，這些算法就會不斷的優(yōu)化目標，讓他越來越接近真實的情況。那機器學習的三個核心要素即：

　　數據量， 模型復雜度，迭代次數+學習深度層次

　　借助大數據和并行計算技術，可以看到三個問題都可以很好解決，對于大數據量下我們也可以采用復雜模型進行深度學習并創(chuàng)造奇跡。對于阿爾法狗的勝利即可以看到大量歷史數據棋譜的輸入，更加復雜的人工神經網絡模型，以及通過大規(guī)模并行解決解決學習深度和迭代次數問題。