近幾年關于人工智能，機器學習，數(shù)據(jù)挖掘的新聞數(shù)不勝數(shù)，其中包含多少媒體炒作，又存在多大的泡沫尚不可說。拋開這些，各個領域都在試圖利用人工智能，機器學習，數(shù)據(jù)挖掘技術拓展業(yè)務。先來說說究竟什么是人工智能，機器學習，數(shù)據(jù)挖掘？

所謂數(shù)據(jù)挖掘簡單的來說就是利用統(tǒng)計學方法從大量的數(shù)據(jù)中尋找規(guī)律，找到隱藏在數(shù)據(jù)中的模型，并利用找到的模型解釋一些現(xiàn)象，而機器學習是利用數(shù)據(jù)挖掘技術或者其他算法構建隱藏在數(shù)據(jù)中的模型并用于預測(比如Kaggle上泰坦尼克號生存練習賽就是從數(shù)據(jù)中獲取規(guī)律并預測乘客生存的可能性)。人工智能是利用機器學習構建的模型或者其他方法來模擬或者擴展人的智能的理論，簡單的來說就是利用更好的算法為人類服務。

關于這些概念不做過多解釋，主要講一下目前人工智能，機器學習和數(shù)據(jù)挖掘在氣象領域的應用。相信很多聽過機器學習的氣象人都想過機器學習是否可以用來預測天氣。關于這個問題Quora上也有很多人在討論，機器學習所適用的場景以及天氣預報所涉及到的復雜物理機制就限制了機器學習在預測天氣方面的應用。雖然機器學習可能無法在預測天氣方面取得很大成就，但是機器學習還是可以在氣象領域發(fā)揮作用。

機器學習在氣候領域的應用

由于極端天氣事件對生態(tài)系統(tǒng)、基礎設施和人類健康有著巨大的潛在風險?；谛l(wèi)星和氣象站的觀測記錄來分析極端天氣，以及在未來氣候條件的模擬中描述極端天氣變化是一項非常重要的任務。通常氣象界是通過手工編碼、多變量閾值條件來指定模式標準。這種標準多是主觀的，氣象界通常對于應該使用的具體算法很少有一致的意見。目前已有一些研究砸開探索完全不同的模型，通過訓練一個基于人類真實標注數(shù)據(jù)的深度學習系統(tǒng)來學習模式分類器。首先考慮以熱帶氣旋和大氣河流為中心的剪切圖片集的監(jiān)督分類問題?；?000-10000個剪切圖像，并通過在Speamint中進行超參數(shù)調優(yōu)來訓練了一個Caffe中的香草卷積神經(jīng)網(wǎng)絡。最終發(fā)現(xiàn)監(jiān)督分類任務可以獲得90%-99%的分類準確度。下一步就是考慮用一個統(tǒng)一的網(wǎng)絡對多種類型模型（熱帶氣旋、大氣河流、超熱帶氣旋等）同時進行模式分類，并利用包圍盒來定位這些模式。這是對這個問題一個更高級的半監(jiān)督的思路。當前研究所使用的網(wǎng)絡如圖1所示。

圖1 氣候模式定位及分類半監(jiān)督網(wǎng)絡結構

圖2顯示了通過半監(jiān)督架構獲得的一些示例結果。雖然對架構的進一步調整還正在進行中，但是底層群集的t-SNE圖顯示了該方法有能力在數(shù)據(jù)集中發(fā)現(xiàn)新的相干流體流量結構。目前的架構運行在氣象數(shù)據(jù)的即時快照上，我們正在擴展模型以包含時間來得到更精確的預測。

圖2 天氣模式及其位置示例，紅色為深度學習預測結果，綠色為實際情況

機器學習在數(shù)據(jù)同化方面的應用

數(shù)據(jù)同化對氣象數(shù)值模式的預測來說具有非常重要的意義。數(shù)據(jù)同化的目的是為了利用短期預報結果和實際觀測資料確定最佳的大氣初始狀態(tài)。數(shù)據(jù)同化是一個連續(xù)的時步過程，首先根據(jù)一個大氣初始狀態(tài)進行天氣預測，然后將預測結果和最新的觀測結果進行對比，然后根據(jù)對比結果更新模式狀態(tài)，利用更新后的大氣狀態(tài)進行新的預測，按照上述過程不斷的迭代。在過去幾十年間，卡爾曼濾波一直是比較常用的數(shù)據(jù)同化方法，近些年集合卡爾曼濾波也開始應用于業(yè)務，還有擴展卡爾曼濾波方法(但是并沒有用于業(yè)務)。雖然卡爾曼濾波和集合卡爾曼濾波非常受歡迎，但是這并不是最優(yōu)的選擇，尤其是對于恰當?shù)拇髿饽Ｐ偷南闰炐陨?，而且當?shù)據(jù)量增大時其效率并不高。鑒于機器學習進行動態(tài)系統(tǒng)預測時不依賴于底層的物理模型而且關于數(shù)據(jù)和誤差的屬性可以進行最小估計，因此目前正在試圖利用機器學習和核方法尋找可能的高效率方法替代集合卡爾曼濾波法。

目前已有的一些研究中利用機器學習算法和集合卡爾曼濾波進行了對比。當集合卡爾曼濾波使用較少的ensembles時(20個ensembles)，機器學習算法的效果要優(yōu)于集合卡爾曼濾波，但是當集合卡爾曼濾波使用大量的ensembles時(100個ensembles)，機器學習方法的效果相對較差。雖然研究中提到機器學習方法對內(nèi)存及時間的消耗相對集合卡爾曼濾波來說減少了60%左右，但是并沒有給出每一次測試的具體時間對比。而且相對于可靠的預測來說，對內(nèi)存以及時間的消耗如果在允許的范圍內(nèi)的話，當然是選擇準確率更高的方法。研究者提到后續(xù)的研究將進行機器學習方法和四維變分法進行對比。

圖3 機器學習算法和不同ensembles的集合卡爾曼濾波同化結果對比

作為數(shù)據(jù)同化技術先驅的ECMWF目前仍在使用四維變分數(shù)據(jù)同化技術。短時間內(nèi)機器學習方法還無法替代已經(jīng)業(yè)務化應用的現(xiàn)有數(shù)據(jù)同化技術。關于機器學習在數(shù)據(jù)同化方面的應用，還需要更多的探索。

機器學習在強對流活動方面的應用

相對于數(shù)據(jù)同化來說，機器學習在強對流活動方面的應用就顯得非常普遍了。比如2017年深圳氣象局和阿里巴巴聯(lián)合承辦了以‘智慧城市，智慧型國家’為主題的CIKM數(shù)據(jù)科學競賽，主要是利用雷達圖像進行了短期降水預報(獨家 | 雷達圖像預測未來降水？CIKM AnalytiCup Top1 清華團隊思路分享(附代碼))。

Oklahoma大學氣象學院和計算機科學學院聯(lián)合成立了一個實驗室，即IDEAL，專門研究數(shù)據(jù)科學，人工智能和機器學習在氣象領域中的應用。該實驗室的主要研究內(nèi)容就包括高影響的天氣預測和天氣分析。比如利用機器學習算法進行雷暴生命周期的實時預測，對雷暴進行分類等等。不知大家是否還記得之前的東方之星郵輪沉沒事件，調查結果表示可能是由于下?lián)舯┝鲗е?。而下?lián)舯┝鲗儆谝环N小尺度的直線風切變。IDEAL同時也在利用機器學習方法進行直線風的實時預測。而且作為最具影響力的的微尺度天氣事件--龍卷風，當然也得到了廣為關注。目前，該實驗室正通過大尺度的機器學習技術改進對龍卷風的理，并且利用數(shù)據(jù)挖掘技術來尋找龍卷風發(fā)生之前是否存在規(guī)律。同時通過對時空相關算法的研究改進對強災害性天氣事件的預測。IDEAL在機器學習/人工智能/數(shù)據(jù)挖掘在氣象領域的應用方面，尤其是在強對流活動方面的應用進行了大量的研究，最重要的是有相當一部分研究是開放源碼以及數(shù)據(jù)的。這對于對機器學習在氣象領域應用感興趣的氣象人來說是非常不錯的。

IDEAL目前已經(jīng)有一些研究成果應用到實際的業(yè)務中，比如NCAR的冰雹的實時預測系統(tǒng)。IDEAL不少研究者都開源了一些相關的源代碼，比如，Hagelslag是基于對象的雷暴災害預測系統(tǒng)，主要是基于數(shù)值預報輸出利用機器學習工具和圖像處理技術進行強災害過程的預測(圖4)，同時利用數(shù)據(jù)挖掘技術研究龍卷風的一個項目也開放了源碼以及部分數(shù)據(jù)。這些源代碼和數(shù)據(jù)都可以通過IDEAL網(wǎng)站或者Github下載。

圖4 冰雹預測的流程

除了上述提到的之外，機器學習以及數(shù)據(jù)挖掘在氣象的其他方面同樣有著比較廣泛的應用。比如Kaggle平臺上就有一些氣象方面的機器學習比賽，大多都是利用歷史氣象數(shù)據(jù)對未來某一時刻的氣象條件進行預測，或者是利用氣象數(shù)據(jù)完成一些其他預測。比如天氣事件對物流運輸?shù)挠绊?國內(nèi)攜程之前舉辦的航班延誤比賽，其中就用到了氣象數(shù)據(jù)，主要是天氣條件，比如天氣是否晴朗，是否存在強對流過程等)，或者天氣狀態(tài)對超市營業(yè)額的影響(天氣的好壞對一些商品銷售的影響，比如雨雪天氣對雨傘，鞋套等商品銷售量的影響，連續(xù)的炎熱天氣對水果，飲料等商品銷售量的影響等)等等。

氣象領域每天都在產(chǎn)生大量的數(shù)據(jù)，而如何能夠從這些數(shù)據(jù)中提取更有價值的信息，如何利用這些數(shù)據(jù)更好的服務天氣預報或者改進對氣象領域一些事件的理解是非常重要的。數(shù)據(jù)挖掘及機器學習技術的發(fā)展為解決這一問題提供了更好的途徑。不管目前數(shù)據(jù)挖掘/機器學習/人工智能領域存在多大的泡沫，但是確實出現(xiàn)了不撒后新的技術和方法。因此機器學習在氣象領域的可能具有更光明的應用前景。

[IDEAL](http://www./idea/index.html)

[NCAR Ensemble](http://ensemble./)

[Hagelslag](https://github.com/djgagne/hagelslag)