聽過了很多道理，卻依然過不好這一生。這是很多人的困惑。這篇小文想講的是，任何一場科技中的浪潮，都會帶來方法論上的變革。關(guān)于人生中的抉擇，人們總是用當(dāng)前最熱門科技中的概念去類比。正如Carl Sagan所說：Science is a way of thinking much more than it is a body of knowledge。授人以魚不如授人以漁，了解了方法論的變革，才會帶來元認(rèn)知上的升級換代。

在過去，當(dāng)我們站在人生選擇的十字路口，我們會從古代先哲的話中去尋找啟迪，會聽從當(dāng)?shù)刈诮填I(lǐng)袖的話，到了啟蒙運(yùn)動(dòng)之后，社會的主流意見變成了聽從你內(nèi)心的聲音。然而，隨著數(shù)據(jù)在我們的生活中占據(jù)了越來越重要的位置，我們做決策時(shí)也需要拿出數(shù)據(jù)和圖表，用量化的數(shù)據(jù)以及算法來指導(dǎo)我們的決策，而不只是做你自己喜歡的事。

為什么我們不應(yīng)該只追隨自己的inner voice了？這是因?yàn)楫?dāng)代心理學(xué)，及其衍生出來的行為經(jīng)濟(jì)學(xué)已積累了足夠的證據(jù)，說明人類會系統(tǒng)性的犯錯(cuò)誤。關(guān)于這個(gè)話題，最著名的論述就是《思考，快與慢》這本書，另一本值得看的書是進(jìn)化的 '亂亂腦'是怎么讓你不完美的。

另一方面，在《A brief history of tomorrow》這本書中，作者指出，做出明智的決策，自我意識的存在不是必要條件，很多Non-conscious but highly intelligent的算法即將在未來變得比我們更加了解自己。但我們有些時(shí)候卻不愿相信算法幫我們做出的決策，尤其在面對人生的關(guān)鍵選擇時(shí)，例如，你愿意你的終身大事被算法安排嗎？當(dāng)一個(gè)程序告訴你，你應(yīng)該和A結(jié)婚，盡管你覺得B更有魅力時(shí)，你會聽程序的安排嗎？要回答這個(gè)問題，最好我們先了解程序背后的算法邏輯，否則在對算法一無所知的情況下做出的選擇，不會是一個(gè)well-informed chocie。在不久的將來，算法將會或顯或隱的影響你的選擇，你準(zhǔn)備好相應(yīng)的心智模塊了嗎？

舉一個(gè)具體的例子，假如一個(gè)非常優(yōu)秀的人參加選秀節(jié)目，已知追求的他的人有有限個(gè)，例如10位，選秀節(jié)目規(guī)定，他不能腳踏兩只船，即不能同時(shí)和兩個(gè)人交往，如果在交往之后他沒有接受這個(gè)人，那么，以后也沒有機(jī)會再選擇這個(gè)人作為對象。然后接著和下一個(gè)人交往。他該怎么辦？

對這個(gè)問題的回答，有兩種思考方式，先說機(jī)器學(xué)習(xí)的方式。一個(gè)做機(jī)器學(xué)習(xí)的人拿到這個(gè)問題，首先會做的是收集數(shù)據(jù)，假設(shè)上面提到的選秀節(jié)目進(jìn)行了100期，那么要收集的數(shù)據(jù)包括這一百期節(jié)目中每位男嘉賓的年齡，學(xué)歷，身高，職業(yè)等structure data，還會收集臺上發(fā)生的對話這樣unstucture的data，最后在通過對每位女嘉賓的事后訪談，確定各位女嘉賓是否后悔自己的選擇，是否和男嘉賓有更多的發(fā)展。之后將所有的這些數(shù)據(jù)放入多個(gè)模型中，目標(biāo)是找出一套規(guī)律來，來指導(dǎo)未來參加這個(gè)節(jié)目的女嘉賓，讓她們能做出讓她們最不后悔的選擇。不同的模型給出的規(guī)律會各有不同，有的模型很簡單，會告訴女嘉賓找和自己年齡相差最小的，有些規(guī)則會很復(fù)雜，會告訴女嘉賓去找又高又年輕的程序員但是卻要比自己大1歲到3歲。（咳咳）

另一種方法是傳統(tǒng)的數(shù)學(xué)模型，關(guān)于上文提到的問題，有一個(gè)現(xiàn)成的數(shù)學(xué)理論可以去對這個(gè)問題給出最優(yōu)解。Optimal Stop Theory 是一個(gè)在金融衍生品定價(jià)中應(yīng)用很廣泛的理論，假設(shè)每個(gè)女嘉賓可以對男嘉賓給出一個(gè)唯一的打分，但女嘉賓不清楚這屆男嘉賓的整體水平怎么樣，需要拿前幾個(gè)去摸索一下自己應(yīng)該把標(biāo)準(zhǔn)定的多高，又擔(dān)心久久不選擇，錯(cuò)過了最好的那個(gè)，那么Optimal Stop Theory 給出的答案是37%，在37%之后，女嘉賓應(yīng)該不要猶豫，只要遇到一個(gè)比之前的選擇都得分高的男嘉賓，該將就就將就吧。（咳咳）

對于這個(gè)問題的數(shù)學(xué)建模，感興趣的童鞋可以自己去推算出上文提到37%來。

在男嘉賓的數(shù)目不同時(shí)，女嘉賓按Optimal Stop Theory 應(yīng)該采取的最優(yōu)策略，以及對應(yīng)的有多少比例找到這一組中男嘉賓中最好的那個(gè)，有63%的概率遇不到最好的那個(gè)這不是一個(gè)好消息，但從另一方面來看，Optimal Stop Theory保證了不管男嘉賓有多少個(gè)，女嘉賓總能有差不多的幾率找到最好的那個(gè)。

將選秀節(jié)目中的場景反射到生活的時(shí)間之流中。我們每個(gè)人也都會遇到或多或少幾個(gè)追求者，也會在到底是該等待唯一的那個(gè)人，還是就這么嫁了中彷徨。假設(shè)我們的平均壽命是90歲，那么Optimal Stop Theory 告訴你可以在33歲前去explore你的選擇，過了33歲之后，再選擇遇到的最好那個(gè)不遲。下次再遇到逼婚的，就可以給父母親戚推一推公式，告訴他們數(shù)學(xué)家已經(jīng)證明了，再等幾年是最優(yōu)的選擇。（咳咳）

比較一下機(jī)器學(xué)習(xí)和傳統(tǒng)的數(shù)學(xué)建模的方式，機(jī)器學(xué)習(xí)處理的多維的，復(fù)雜的數(shù)據(jù)，其模型相比數(shù)學(xué)模型，需要更少的假設(shè)條件，其得出的結(jié)論，不會保證其一定是最優(yōu)的。而數(shù)學(xué)建模，首先假設(shè)了男嘉賓出現(xiàn)的次序和其質(zhì)量是獨(dú)立的，更重要的是，其要求女嘉賓對每一個(gè)男嘉賓有一個(gè)唯一的打分，如果真的能這樣，生活中的選擇就簡單多了。所以說，盡管機(jī)器學(xué)習(xí)有時(shí)會給出一些不那么靠譜的選擇，在面對現(xiàn)實(shí)的問題時(shí)，不過度的簡化問題，是給出的解答有用的一個(gè)必要條件。

不過，不管是那么方法得出的答案，數(shù)據(jù)指導(dǎo)的思考方式要求你去做驗(yàn)證，要求你去質(zhì)疑的假設(shè)，并看看將某些假設(shè)做了修改后，答案又會變成怎樣。比如上文提到的問題，如果假設(shè)在女嘉賓拒絕了男嘉賓后一次，男嘉賓還會接受女嘉賓，那么女嘉賓的最優(yōu)選擇應(yīng)該是什么了？又比如女嘉賓能給男嘉賓一個(gè)0到100之間的評分，而不是不清楚這屆男嘉賓的分?jǐn)?shù)上下限的時(shí)候，又應(yīng)該采取什么樣的策略了，數(shù)據(jù)時(shí)代，首先要說的質(zhì)疑你的假設(shè)。

關(guān)于驗(yàn)證你的結(jié)論，最弱的證據(jù)是個(gè)人的personal story，稍微強(qiáng)一些的是case study，即名人的傳記訪談，因?yàn)榈谌降囊暯菚コ糇晕矣洃浀暮驼J(rèn)知中的偏見。更好的證據(jù)是Statistic，比如查一查結(jié)婚的年齡和離婚率是否相關(guān)，如果在20到40歲之間，排除其他因素，結(jié)婚年齡太早或者太晚的離婚率很高，再通過問卷調(diào)查，得出對婚姻的滿意程度，結(jié)果發(fā)現(xiàn)按照當(dāng)時(shí)的預(yù)期壽命，相應(yīng)年齡結(jié)婚的伙伴滿意度最高，那么說明Optimal Stop Theory 還是有一定道理的。

比統(tǒng)計(jì)更高級的驗(yàn)證是機(jī)器學(xué)習(xí)中最常用的Cross Validation。舉個(gè)例子，5 fold Cross Validation 將已知的數(shù)據(jù)分成10份，選8份作為訓(xùn)練數(shù)據(jù)集，將這些數(shù)據(jù)丟給模型，然后在剩下的兩份數(shù)據(jù)上去檢測模型的效果。然后重復(fù)這個(gè)過程5次，直到每份數(shù)據(jù)都做了一次測試數(shù)據(jù)了。Cross Validation是為了保證訓(xùn)練出的模型不會把數(shù)據(jù)中噪音放大，然而其背后的思想則是我們對現(xiàn)實(shí)的認(rèn)識的不完全的，因此訓(xùn)練時(shí)數(shù)據(jù)少一些，是必然的。模型不能要求麥克斯韋妖那樣的全知全能，而要在部分可見的情況下給出相對靠譜的對整體的預(yù)測。這種對自己的未知謙卑的態(tài)度，讓人想起了“認(rèn)識你自己”這句古希臘的格言。如果將機(jī)器學(xué)習(xí)的算法看成是一個(gè)認(rèn)知策略，那么認(rèn)識你自己說的就是meta-learning，即是將不同的算法結(jié)合起來，取長補(bǔ)短，從而更快得到（收斂出）更好的結(jié)果。

機(jī)器學(xué)習(xí)的方法框架和循環(huán)，實(shí)現(xiàn)模型，驗(yàn)證模型，分析模型的效果和優(yōu)缺點(diǎn)，在一輪輪的迭代中持續(xù)改進(jìn)模型。

之后，想談一談上文案例反映的一個(gè)更深層次的權(quán)衡（tradeoff），Explore vs Exploit。我們年輕的時(shí)候，總是忍不住想去看一看世界，所謂的沒有看過世界，哪來的世界觀，而當(dāng)年紀(jì)漸長，就應(yīng)有所立足，在某一個(gè)領(lǐng)域有所專注，從而exploit自己之前積累的見識，這固然會讓你覺得生活不在像之前那樣豐富多彩，新的刺激會減少，然而這是生命的常態(tài)，如同熵增一樣不可避免。要想生命之樹常青，除了認(rèn)識到時(shí)間箭頭不可逆帶來的新朋友新經(jīng)歷越來越少，就是要在自己橫向的處理問題時(shí)把握好這個(gè)權(quán)衡，做到既不over explore，也不over exploit。

over exploit帶來的問題是overfitting，這個(gè)機(jī)器學(xué)習(xí)中的概念對應(yīng)是生活中的陰謀論或者對文本的過度解讀。比如用一條線連接下圖的五個(gè)點(diǎn)。overfiting的答案是這樣一條包含五個(gè)參數(shù)的彎彎曲曲的曲線，這條曲線雖然在這五個(gè)點(diǎn)上誤差極小，但當(dāng)加入一個(gè)新的點(diǎn)之后，結(jié)果就不那么好了。這里更好的解答應(yīng)該是一條包含兩個(gè)參數(shù)的直線。

陰謀論將幾個(gè)看似不相關(guān)的事件用一個(gè)不那么簡單直接的故事連接起來，在陰謀論為何總是錯(cuò)的？中，對陰謀論有更深入的分析，感興趣的小伙伴可以點(diǎn)擊查看。

犯了over exploit這種錯(cuò)誤的小伙伴，總想著找出一個(gè)一招鮮吃遍天的法子來，在數(shù)據(jù)收集的還不夠充分的時(shí)候，機(jī)器學(xué)習(xí)的方法既可以放大數(shù)據(jù)中的規(guī)律，也可以放大其噪音，只有更多的數(shù)據(jù)才能解決這個(gè)問題。比如下圖中的下一個(gè)圖形該是哪一個(gè)，有兩種可能的解答，這兩種規(guī)律哪一個(gè)才是我們真正關(guān)心的了？只有更多的數(shù)據(jù)才能回答。

over explore的問題也許更多人更加熟悉，信息過載這個(gè)詞很多人會覺得陌生，然而當(dāng)看到那數(shù)不清的朋友圈，每日頭條的諸多推送，你就會明白什么叫information overload了，關(guān)于這個(gè)問題，可以參考如果用刷朋友圈的時(shí)間讀一本書，能讀多少本？和我應(yīng)該刪掉多少好友，屏蔽多少朋友圈。over explore讓人成為只會讀兵書的趙括馬謖，讓人們以為知道了很多碎片化的知識，卻無法形成體系。

over explore的一個(gè)解毒藥是機(jī)器學(xué)習(xí)中No free lunch 定理，我們在機(jī)器學(xué)習(xí)中衡量兩個(gè)算法，到底孰優(yōu)孰劣，該怎么考慮？“沒有免費(fèi)的午餐定理”仿佛給了一個(gè)很令人 depressing 的答案：針對某一域的所有問題，所有算法的期望性能是相同的。注意，這里有兩個(gè)關(guān)鍵詞，某一域的“所有”，和“期望”性能。所以它并沒有否認(rèn)兩個(gè)算法有優(yōu)劣之分，并且事實(shí)上還提供了一個(gè)視角讓我們理解為什么在機(jī)器學(xué)習(xí)中，我們可以選擇算法的優(yōu)劣性。 

No free lunch告訴我們，沒有一個(gè)適用于所有問題的通用方法。機(jī)器學(xué)習(xí)的諸多方法各有各的適用場景，需要使用者因地制宜的去選擇。這個(gè)定理還告訴我們，即使收集到了全部的數(shù)據(jù)，我們也無法一錘定音的找到一個(gè)一成不變的最優(yōu)方案。這對從事機(jī)器學(xué)習(xí)人來說是個(gè)好消息，說明其工作要被計(jì)算機(jī)取代，還需要一段時(shí)間，任何機(jī)器學(xué)習(xí)算法成功的背后，都是很多人持續(xù)的選擇和分析一點(diǎn)一滴堆出來的勝利。

數(shù)據(jù)思維帶給我們的啟示，除了用數(shù)據(jù)去支持你人生的決策外，另一點(diǎn)是去關(guān)注explore 和exploit自己的平衡，不要犯上面提到的兩類錯(cuò)誤。知道何時(shí)該停止試水的Optimal Stop Theory，無疑可以在這方面給予讀者啟迪。而另一方，我們可以通過制度的設(shè)計(jì)來幫助大家去做出更好的選擇。

Taleb的反脆弱（參考殺不死我的東西，使我變得更強(qiáng)大｜BetterRead）中提到Have an skin in the game，說的是當(dāng)你需要為你的言論買單時(shí)，你會更注重你發(fā)言的質(zhì)量，更加深思熟慮。而通過市場機(jī)制去將眾多人的觀點(diǎn)綜合起來的制度，就是Superforcast這本書中提到的預(yù)測市場。

比如你想知道美國大選誰的勝率高，民調(diào)的結(jié)果不靠譜，因?yàn)楹芏噙x民會在投票時(shí)變卦，專家的意見更加不靠譜，專家都有自己的偏見，那該聽誰的？有這么一個(gè)市場，你可以針對各種事情下注，從NBA得冠軍到石油價(jià)格的漲跌，這個(gè)市場上你可以自由的交易自己的賭注。通過對這個(gè)市場的觀察，那么就可以得出最靠譜準(zhǔn)確的預(yù)測來。這就是通過市場的擴(kuò)展秩序來發(fā)掘人群中的私人的隱形知識，同時(shí)避免噪音的干擾。

如果能綜合利用到更多人的觀點(diǎn)，預(yù)測的準(zhǔn)確度會不會提高了，腦補(bǔ)這樣一種未來，人們不止是為了接受信息付費(fèi)，還能為了傳播觀點(diǎn)承擔(dān)風(fēng)險(xiǎn)。具體的舉個(gè)例子，如果你寫了一篇，或者轉(zhuǎn)發(fā)了一篇支持希拉里當(dāng)下一任美國總統(tǒng)的文章，然后在發(fā)表時(shí)后臺系統(tǒng)的自然語言處理系統(tǒng)識別出了你文章中的觀點(diǎn)，要求你付一筆錢，到時(shí)候如果希拉里贏得了大選，你會按照出價(jià)時(shí)的賠率獲得相應(yīng)的賠償，若是你猜錯(cuò)了，你會損失這筆錢?；蛘吣阍谶@樣的預(yù)測市場上下了注，你寫了篇文章解釋你為什么要下注。這里的要點(diǎn)是要想發(fā)出聲音，你需要花錢，愿意將越多的錢用來做風(fēng)險(xiǎn)投資，你的聲音就越大，就會被置頂，被更多人聽到。

這會不會通過金錢上的刺激，使你更加注重explore和exploit之間的權(quán)衡，從而提高下一屆朋友圈的信息水準(zhǔn)，那些傳播陰謀論的，會賭他們預(yù)測那末日即將到來，然后天下太平，他們失去了自己的賭注，從而只能發(fā)出更小的聲音。而那些只收集信息的人，則失去了將自己的洞見變現(xiàn)的機(jī)會。優(yōu)勝劣汰，在這樣的輿論生態(tài)圈中，活下去的都會是智者，而無論是做投資的，亦或是普通人，都可以從這樣的預(yù)測市場中受益，就像我們從市場經(jīng)濟(jì)中獲得了高質(zhì)量的物質(zhì)資源，結(jié)合了自然語言處理的預(yù)測市場將會為我們的注意力資源的合理分配提供一種可能性。

總結(jié)的Take home message

ALWAYS Test / Cross validation

MIND tradeoff between explore vs exploit

TAKE risk for your opinion

MEDEL your life choice

AS problem in math/ machine learning

QUESTION your assumption

NOT confuss over-interpretation with rule

REALITY need open mind thinking

如同古代的藏頭詩，算法和數(shù)據(jù)思維也不是萬能的，always mind，take model as question，not as reality。生命之樹長青，只要你還愿意接受新的觀點(diǎn)，新的數(shù)據(jù)。

感謝 深大王雄老師組織的南山深度學(xué)習(xí)讀書會中提供的機(jī)會，讓我能夠和更多的大牛請教分享自己的心得體會。

本文的標(biāo)題是一本推薦的書 參考 Algorithm to live by讀書筆記 我們該不該自動(dòng)化我們的決策。

更多閱讀

七年之癢

信息格局論

未來簡史 讀書筆記