為了總結(jié)2017年，我們最近向大數(shù)據(jù)，數(shù)據(jù)科學(xué)，人工智能和機(jī)器學(xué)習(xí)領(lǐng)域的一些頂尖專(zhuān)家征詢(xún)了他們對(duì)2017年最重要的發(fā)展和2018年的主要發(fā)展趨勢(shì)的看法。這篇文章是本系列的第一篇，在這樣的年終總結(jié)中，考慮了今年在大數(shù)據(jù)方面發(fā)生的事情，以及2018年可能會(huì)出現(xiàn)的情況。

我們主要問(wèn)專(zhuān)家們這兩個(gè)方面：

“2017年與大數(shù)據(jù)相關(guān)的主要發(fā)展是什么？2018年您會(huì)看到哪些關(guān)鍵趨勢(shì)？”

我們征求了許多人的回應(yīng)，并要求他們回答200字左右，作為一個(gè)快速回顧，去年的趨勢(shì)和預(yù)測(cè)集中在以下主要議題上：

1.安全和隱私

2.云在數(shù)據(jù)管理中的作用越來(lái)越大

3.物聯(lián)網(wǎng)在數(shù)據(jù)生成中的作用

不可否認(rèn)的是，大數(shù)據(jù)不再是以前的樣子，請(qǐng)注意，該術(shù)語(yǔ)在2015年從Gartner曲線中消失了?，F(xiàn)在我們都假設(shè)并理解我們的日常數(shù)據(jù)是巨大的，將大數(shù)據(jù)視為需要妥善管理的實(shí)體或概念仍然是有價(jià)值的，這種實(shí)體與各種方式的小規(guī)模數(shù)據(jù)庫(kù)不同。

了解年度最重要的發(fā)展動(dòng)態(tài)，并了解我們的專(zhuān)家認(rèn)為大數(shù)據(jù)將在2018年的發(fā)展趨勢(shì)，請(qǐng)閱讀以下內(nèi)容。

Marcus Borba是一名數(shù)據(jù)和分析專(zhuān)家，Borba Consulting的創(chuàng)始人和首席顧問(wèn)。

2017年, 大數(shù)據(jù)肯定不再是一個(gè)時(shí)髦詞, 而且我們?cè)絹?lái)越不太可能使用術(shù)語(yǔ)“大數(shù)據(jù)”, 我們只是調(diào)用數(shù)據(jù)。這些公司正從大數(shù)據(jù)方法轉(zhuǎn)變?yōu)闃I(yè)務(wù)驅(qū)動(dòng)的數(shù)據(jù)方法, 側(cè)重于使用大數(shù)據(jù)分析能力的靈活性, 使用它來(lái)驅(qū)動(dòng)初始的和長(zhǎng)期的業(yè)務(wù)價(jià)值。

展望2018年，將是大數(shù)據(jù)與其他技術(shù)融合發(fā)展的一年。 隨著機(jī)器學(xué)習(xí)的應(yīng)用越來(lái)越廣泛，人工智能變得越來(lái)越智能化，物聯(lián)網(wǎng)使用增長(zhǎng)越來(lái)越快，以及大數(shù)據(jù)分析采用云優(yōu)先策略將使越來(lái)越多的智能技術(shù)能夠融入到各種類(lèi)型的企業(yè)中——解決方案，產(chǎn)品和服務(wù)，使人和公司能夠充分利用它們。

Craig Brown博士是大數(shù)據(jù)，數(shù)據(jù)科學(xué)，數(shù)據(jù)庫(kù)技術(shù)方面的社會(huì)影響者和專(zhuān)家。

2017年，有幾個(gè)領(lǐng)域比我預(yù)期的更受關(guān)注。物聯(lián)網(wǎng)時(shí)代起步較早，人工智能和機(jī)器學(xué)習(xí)也獲得了相當(dāng)?shù)耐苿?dòng)力，數(shù)據(jù)科學(xué)開(kāi)始獲得更多的動(dòng)力?；?017年新的數(shù)據(jù)平臺(tái)發(fā)布，混合數(shù)據(jù)管理和混合云已經(jīng)有了新的趨勢(shì)。 2017年已經(jīng)成為戰(zhàn)略和重新評(píng)估的一年。大數(shù)據(jù)仍然是戰(zhàn)略的一部分，但不太重視Hadoop，更重視數(shù)據(jù)管理，數(shù)據(jù)可視化和混合云。

我認(rèn)為2018年將有幾個(gè)領(lǐng)域成為焦點(diǎn)。大數(shù)據(jù)項(xiàng)目將以更實(shí)際的使用情況來(lái)減少失敗。隨著數(shù)據(jù)平臺(tái)的不斷成熟，數(shù)據(jù)流將會(huì)有質(zhì)的飛躍。 2018年將更加重視NoSQL，最終將被確立為結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)（包括TRANSACTION數(shù)據(jù)）的現(xiàn)實(shí)解決方案。軟件開(kāi)發(fā)將成為焦點(diǎn)，因?yàn)檫@些數(shù)據(jù)趨勢(shì)開(kāi)始推動(dòng)對(duì)數(shù)據(jù)管理新功能的需求。 2018年將是Hadoop和NoSQL（數(shù)據(jù)平臺(tái)）采用的開(kāi)始。

Vasant Dhar是紐約大學(xué)教授，《大數(shù)據(jù)》總編輯，SCT Capital Management創(chuàng)始人。

對(duì)于大數(shù)據(jù)來(lái)說(shuō)，2017年是一個(gè)大年。關(guān)于大數(shù)據(jù)對(duì)社會(huì)的影響，出現(xiàn)了幾個(gè)廣泛的新主題。一個(gè)重要的發(fā)展是承認(rèn)假新聞和濫用社交媒體平臺(tái)，這是2017年12月“計(jì)算宣傳大數(shù)據(jù)”特刊的主題。不受管制的數(shù)字平臺(tái)給自由民主社會(huì)帶來(lái)了嚴(yán)重的風(fēng)險(xiǎn)，因此，迫切需要進(jìn)行研究，以便了解它們?cè)谛麄髦械挠猛疽约叭绾螠p輕它們?cè)斐傻娘L(fēng)險(xiǎn)。大數(shù)據(jù)2017年12月提供了關(guān)于這個(gè)重要主題的第一套學(xué)術(shù)文章。我希望今后在這方面有更多的研究。

在開(kāi)展“歧視意識(shí)”數(shù)據(jù)科學(xué)方面，公平，偏見(jiàn)和道德方面的考慮也頗受關(guān)注，這也是2017年6月“社會(huì)和技術(shù)權(quán)衡”大數(shù)據(jù)問(wèn)題的主題。我期望看到更多的研究關(guān)于這個(gè)主題，我們將探討像準(zhǔn)確性這樣的目標(biāo)最大化和社會(huì)目標(biāo)之間的權(quán)衡，比如需要對(duì)總體目標(biāo)函數(shù)進(jìn)行微妙表述的“公平”權(quán)衡，對(duì)數(shù)據(jù)和可能嵌入其中的假設(shè)或偏見(jiàn)進(jìn)行嚴(yán)格檢查。

在技術(shù)方面，我們繼續(xù)看到新的算法的出現(xiàn)，特別是在深度學(xué)習(xí)空間，由感知領(lǐng)域的大量數(shù)據(jù)集所推動(dòng)。隨著系統(tǒng)在查看、閱讀和處理非結(jié)構(gòu)化數(shù)據(jù)方面變得更好，而且隨著識(shí)別精度的提高，我們應(yīng)該期望在自動(dòng)車(chē)輛，語(yǔ)言處理和非結(jié)構(gòu)化數(shù)據(jù)的整體解釋方面取得突飛猛進(jìn)的進(jìn)展。我不會(huì)驚訝地發(fā)現(xiàn)智能系統(tǒng)能夠解釋和翻譯視頻圖像，以在各種應(yīng)用中學(xué)習(xí)算法。例如，體育已經(jīng)越來(lái)越受到數(shù)據(jù)驅(qū)動(dòng)，我們很可能會(huì)看到在團(tuán)隊(duì)和個(gè)人層面出現(xiàn)教練工具和系統(tǒng)。虛擬現(xiàn)實(shí)是處理全動(dòng)態(tài)視頻數(shù)據(jù)的另一個(gè)領(lǐng)域，將引領(lǐng)一些領(lǐng)域的新穎應(yīng)用。

最后，自然科學(xué)和健康科學(xué)正在看到大數(shù)據(jù)和機(jī)器學(xué)習(xí)的巨大潛力。許多物理學(xué)家已經(jīng)接受了新的方法，甚至有助于開(kāi)發(fā)以新的方式解釋天文數(shù)據(jù)或粒子數(shù)據(jù)的方法。同樣，在醫(yī)學(xué)成像中也有很多活動(dòng)將這些數(shù)據(jù)與醫(yī)療條件聯(lián)系起來(lái)，這種關(guān)系之前是沒(méi)有想到的。這是一個(gè)可能在數(shù)據(jù)和健康之間發(fā)現(xiàn)大量有趣關(guān)系的舞臺(tái)。

總的來(lái)說(shuō)，2018年，科學(xué)，商業(yè)和政府部門(mén)使用大數(shù)據(jù)的速度將加快。在科學(xué)中，我們正在看到利用數(shù)據(jù)進(jìn)行理論發(fā)展。在業(yè)務(wù)中，我們看到云部署創(chuàng)造了新的效率，部署了預(yù)測(cè)分析來(lái)提高決策和效率。政府和法規(guī)側(cè)重于安全性，關(guān)鍵系統(tǒng)的穩(wěn)定性和更好的治理。 2018年將是這些領(lǐng)域取得長(zhǎng)足進(jìn)步的一年。

Doug Laney是副總裁兼杰出分析師，Gartner首席數(shù)據(jù)官研究員，“Infonomics”雜志作者（2011年9月）。

到目前為止，過(guò)去一年中最大的數(shù)據(jù)和分析故事是人工智能的復(fù)蘇——這是數(shù)據(jù)科學(xué)家的主要工具，也是從一系列可用的信息資產(chǎn)中獲取價(jià)值的手段。越來(lái)越多的組織機(jī)構(gòu)不再使用分析項(xiàng)目來(lái)生成漂亮的餅圖和儀表盤(pán)，而是傾向于自動(dòng)優(yōu)化發(fā)現(xiàn)決策和流程。 Gartner分析師去年僅就這個(gè)問(wèn)題處理了近一萬(wàn)個(gè)客戶(hù)的問(wèn)詢(xún)。

至于來(lái)年，我所看到的主要趨勢(shì)是比技術(shù)更具戰(zhàn)略性：

1.傳統(tǒng)的資產(chǎn)管理原則和實(shí)踐（如供應(yīng)鏈，ITAM，記錄管理）應(yīng)用于管理信息作為實(shí)際資產(chǎn)。這將包括盤(pán)點(diǎn)信息，衡量信息管理的成熟度，最終導(dǎo)致合作伙伴之間擴(kuò)展的信息生態(tài)系統(tǒng)。

2.對(duì)合作伙伴，供應(yīng)商和其他第三方的外部信息資產(chǎn)進(jìn)行正式、積極的管理，以提供改進(jìn)的領(lǐng)先指標(biāo)。

3.信息資產(chǎn)的內(nèi)部和外部的直接和間接貨幣化，以及通過(guò)新興的數(shù)據(jù)市場(chǎng)進(jìn)行擴(kuò)大。

4.數(shù)據(jù)治理努力將數(shù)據(jù)“所有者”無(wú)益的概念放在了“受托人”的地位，并將數(shù)據(jù)管理者的角色擴(kuò)大到包括信息宣傳。

5.主要關(guān)注數(shù)據(jù)相關(guān)合規(guī)性，甚至自動(dòng)化。

6.量化一個(gè)人的信息資產(chǎn)的價(jià)值。（即使會(huì)計(jì)界對(duì)信息時(shí)代依然不知情）。

7.信息獨(dú)特的經(jīng)濟(jì)屬性（“infonomics”）的認(rèn)可和利用。

8.CDO角色的主流化，IT組織的分化為單獨(dú)的“I”和“T”組。

Yves Mulkers是商業(yè)智能和數(shù)據(jù)架構(gòu)師，社交媒體影響者，7wData創(chuàng)始人。

在2017年的頭幾個(gè)月里，我們?nèi)匀辉谡務(wù)摯髷?shù)據(jù)，但是第一季度之后，所有的物聯(lián)網(wǎng)都是這樣，一年半過(guò)去了，我們不得不騰出空間去做人工智能和深度學(xué)習(xí)。

對(duì)于我們中的技術(shù)人員來(lái)說(shuō)，Spark得到了所需的牽引力和注意力，主要功能得到了改進(jìn)。

加快產(chǎn)品上市時(shí)間，為供應(yīng)商，自助服務(wù)數(shù)據(jù)科學(xué)和商務(wù)智能提供優(yōu)秀的USP，ETL自動(dòng)化具有更大的知名度和興趣。

同樣的道理，新的供應(yīng)商會(huì)帶來(lái)更多的“無(wú)ETL”解決方案，以避免建模和實(shí)際存儲(chǔ)數(shù)據(jù)，甚至可以開(kāi)始分析。

數(shù)據(jù)科學(xué)準(zhǔn)備平臺(tái)獲得了更多的SQL，因?yàn)檫@是我們大多數(shù)數(shù)據(jù)專(zhuān)家仍然掌握最好的語(yǔ)言。

物聯(lián)網(wǎng)為分析創(chuàng)造了巨大的機(jī)遇，或者反過(guò)來(lái)也是如此。無(wú)論如何，分析顯示了物聯(lián)網(wǎng)數(shù)據(jù)的價(jià)值。這為計(jì)算帶來(lái)了新的方法，并且隨著IoT引入的大量數(shù)據(jù)，計(jì)算正在轉(zhuǎn)移到數(shù)據(jù)所在的邊緣。

隨著2018年5月即將到來(lái)，我們對(duì)歐洲GDPR法規(guī)（以一定的方式）給予了很大的鼓舞。這一舉措使公司最終重新審視數(shù)據(jù)流和數(shù)據(jù)架構(gòu)。它最終將幫助企業(yè)了解他們的數(shù)據(jù)真的是一筆資產(chǎn)，并且需要這樣處理。

幾起嚴(yán)重的數(shù)據(jù)泄露，引起了網(wǎng)絡(luò)安全的關(guān)注，一個(gè)早上醒來(lái)的電話來(lái)保護(hù)你的數(shù)據(jù)中心。

2018年將帶來(lái)什么？

更多的數(shù)據(jù)。人工智能和深度學(xué)習(xí)將會(huì)持續(xù)成熟，但需要更多的時(shí)間來(lái)證明他們的成功和使用案例。 AI也開(kāi)始在數(shù)據(jù)科學(xué)中發(fā)揮更大的作用，幫助（而不是取代）數(shù)據(jù)科學(xué)家。

數(shù)據(jù)科學(xué)平臺(tái)越來(lái)越多地轉(zhuǎn)向云，但混合云正在潛伏并提供云端，這是一種兩全其美的方式。

GPU DB已經(jīng)在2016年年底浮出水面，但與強(qiáng)大的內(nèi)存架構(gòu)相結(jié)合，主要廠商的新芯片組得到了高度的關(guān)注，性能提高了100 - 1000倍。

不要忘記，區(qū)塊鏈即將到來(lái)，為分布式安全的數(shù)據(jù)存儲(chǔ)提供更高的安全性和新的方式。

Mark van Rijmenam是dscvr.it＆Datafloq的創(chuàng)始人，他是國(guó)際知名的大數(shù)據(jù)和區(qū)塊鏈戰(zhàn)略家和主題演講人。

對(duì)于大數(shù)據(jù)來(lái)說(shuō)，2017年是一個(gè)好年頭。在我對(duì)2017年的趨勢(shì)預(yù)測(cè)中，我把它稱(chēng)為情報(bào)年。我們看到，人工智能在深入學(xué)習(xí)的道路上邁出了一大步，開(kāi)發(fā)出了各自為戰(zhàn)的AI。另外，我們看到會(huì)話AI（也叫做聊天機(jī)器人）正在與很多開(kāi)發(fā)聊天機(jī)器人的組織一起開(kāi)始改善客戶(hù)服務(wù)。在大數(shù)據(jù)領(lǐng)域，預(yù)測(cè)分析現(xiàn)在已經(jīng)成為組織保持競(jìng)爭(zhēng)優(yōu)勢(shì)的先決條件，使每個(gè)組織都成為一個(gè)數(shù)據(jù)組織。

2018年將成為技術(shù)上又一個(gè)令人興奮的一年。我把它稱(chēng)為過(guò)渡年，因?yàn)榭梢钥隙ǖ卣f(shuō)我們已經(jīng)過(guò)了70年代的信息革命，并正在走向第四次工業(yè)革命。但是，我們還沒(méi)有這樣做，許多技術(shù)需要多年的發(fā)展才能真正引起社會(huì)和組織的規(guī)范轉(zhuǎn)變。

盡管如此，2018年人工智能將會(huì)變得更加智能化，這一次沒(méi)有經(jīng)過(guò)人體數(shù)據(jù)的訓(xùn)練，消除了結(jié)果偏差的可能性。區(qū)塊鏈，特別是ICO將變得更加規(guī)范，我們將在量子計(jì)算領(lǐng)域看到真正的軍備競(jìng)賽。所有這些額外的處理能力將幫助組織轉(zhuǎn)向規(guī)范分析，并幫助他們從大數(shù)據(jù)分析的最后階段中受益。