2019年7月12日,濤思數(shù)據(jù)團(tuán)隊(duì)對(duì)外正式宣布一款專為物聯(lián)網(wǎng)定制打造的大數(shù)據(jù)平臺(tái)軟件,此項(xiàng)目一經(jīng)開源,引起強(qiáng)烈關(guān)注,連續(xù)兩天時(shí)間在 Github 全球趨勢(shì)榜上排名第一。截至發(fā)稿前,TDengine 在 Github 上獲得近 7000 的 star。 截至發(fā)稿前,TDengine 在 Github 上的 star 數(shù)近 7000 TDengine 背后的男人 這款大數(shù)據(jù)平臺(tái)背后的男人正是陶建輝,湖南人,一個(gè)健談,愛笑的大齡程序員。 在一個(gè)天氣炎熱的下午,我們來到陶思數(shù)據(jù)位于北京朝陽區(qū)望京的辦公樓,一起與創(chuàng)始人陶建輝老師聊一聊 TDengine 物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)從研發(fā)到成功開源背后的故事。 陶思數(shù)據(jù)創(chuàng)始人陶建輝(Jeff) ① 高效運(yùn)維社區(qū)(以下簡(jiǎn)稱“社區(qū)”):陶建輝老師,您好,可否介紹一下您剛剛開源的這款軟件,它的名字是什么?應(yīng)用在那些領(lǐng)域? 陶建輝:我們剛剛開源的這款軟件叫 TDengine。它主要是處理物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)、包括運(yùn)維檢測(cè)這種類型的數(shù)據(jù),我們稱之為一個(gè)大數(shù)據(jù)平臺(tái)。 TD 的意思是 Time-series Data,也是 TAOS Data 的簡(jiǎn)稱,也可以稱之為 Teradata,于是我們?nèi)×?TDengine 這個(gè)名字。這個(gè)產(chǎn)品不僅僅是一個(gè)數(shù)據(jù)庫,我們不想只做一個(gè)數(shù)據(jù)庫,而是想做一個(gè)大數(shù)據(jù)平臺(tái),這里面除了數(shù)據(jù)庫,還有緩存、消息隊(duì)列、流式計(jì)算等一系列軟件,我們是想把這一系列軟件都包含在里面,提供一個(gè)全棧、完整的解決方案。 TDengine :專為物聯(lián)網(wǎng)而生的大數(shù)據(jù)平臺(tái) ② 社區(qū):這一次您將整個(gè)平臺(tái)最核心的存儲(chǔ)引擎、計(jì)算引擎和成套的工具完全開源出來,是出于怎樣的考慮? 陶建輝:對(duì)于我們來說,這次終于跨出了重要的一步。TDengine 不管是自身的測(cè)試,還是現(xiàn)有的客服反饋,性能相當(dāng)之好,至少插入速度和查詢速度秒殺所有的競(jìng)爭(zhēng)對(duì)手,包括應(yīng)用性上,比如安裝包大小、各種線上操作都有不俗的表現(xiàn),一款優(yōu)秀的產(chǎn)品研發(fā)出來后如何推廣?開源是一種方式,但怎么開源?我們自己也思考了很久。 一開始確實(shí)我們還是有很多糾結(jié)的,因?yàn)槲乙郧安皇亲鲩_源社區(qū)的,如果我以前是做開源軟件的,可能沒有多少糾結(jié),那最終為什么下定決心做開源?我想有幾個(gè)原因。 第一,是 TDengine 確實(shí)有優(yōu)異的性能,我并非傳統(tǒng)的銷售人員,那怎么才能快速獲得市場(chǎng)?開源是個(gè)很好的方式,能夠快速地?cái)U(kuò)大 TDengine 影響力并獲得市場(chǎng)。 第二,整個(gè)IT產(chǎn)業(yè)的兩大趨勢(shì),不擁抱是絕對(duì)不行,一個(gè)是開源,另一個(gè)是云服務(wù)。不擁抱云服務(wù)和開源是成不了獨(dú)角獸,尤其是基礎(chǔ)軟件。我自己前面創(chuàng)過兩次業(yè),這是第三次創(chuàng)業(yè),我一心是想成為獨(dú)角獸的,如果不擁抱開源,不擁抱云服務(wù),我是成不了獨(dú)角獸,不管成不成,必須開源,才能實(shí)現(xiàn)我的夢(mèng)想。 ③ 社區(qū):這樣就衍生了一個(gè)問題,開源要如何盈利?老師能否在這個(gè)問題上有過糾結(jié)? 陶建輝:盈利其實(shí)有很多方式,其中一種就是開源版本上有一個(gè)企業(yè)版,這兩個(gè)版本有什么區(qū)別?核心引擎是一模一樣的,但企業(yè)版上還有一部分是集群,企業(yè)一般需要高可用和更大規(guī)模的處理,這方面我們還沒有開源。 另外一方面的計(jì)劃是集群版也會(huì)開源,只是時(shí)機(jī)還沒有成熟。如果集群也是一個(gè)很重要的核心,一旦開源就像之前核心的地方都開源,那靠什么盈利?其實(shí)依然有很多盈利的方式。 任何一款產(chǎn)品一定是會(huì)有不足的,大型的企業(yè)在用軟件的時(shí)候,一定會(huì)購買服務(wù),如果沒有原創(chuàng)團(tuán)隊(duì)在背后支持,萬一某一天宕機(jī),損失是非常大的。我們更多是給大型、中型企業(yè)提供一種保險(xiǎn),就是開源之后,我們讓企業(yè)用起來放心。 陶建輝:社區(qū)版和企業(yè)版都會(huì)升級(jí),但我會(huì)第一時(shí)間把我解決的 BUG 開放出來,讓損失降到最低的程度,而且還有一些外圍的管理工具,尤其是運(yùn)維的工具,會(huì)給企業(yè)客戶來使用,讓管理更方便、更可靠,這是我們今后的盈利點(diǎn)。包括已經(jīng)付費(fèi)的客戶,你買了我們產(chǎn)品好處是買了我們的服務(wù)和支持。 ④ 社區(qū):TDengine 目前有哪些比較有代表性的客戶? 陶建輝:代表性的比如廣聯(lián)達(dá)的智慧城市使用了 TDengine 大數(shù)據(jù)平臺(tái),還有數(shù)控機(jī)床、機(jī)器人全球最大企業(yè) FANUC,也用了 TDengine,還有山西電力全省12個(gè)機(jī)房的 IT 運(yùn)維都已經(jīng)用了 TDengine。 ⑤ 社區(qū):TDengine 最核心的技術(shù)有哪些與眾不同的特性,相比同類的產(chǎn)品,最大的優(yōu)勢(shì)是什么? 陶建輝:我講一下 TDengine 相對(duì)于其他同類產(chǎn)品有六大特點(diǎn)。 第一,10倍以上的性能提升,插入、查詢速度極其之快,官網(wǎng)上宣傳的是10倍,其實(shí)還不止10倍,因?yàn)樾麄鞯脑?,說10倍比較好記,對(duì)比有一些產(chǎn)品我們是快幾十倍。 第二,一站式解決了所有的問題。一些時(shí)序數(shù)據(jù)庫像 InfluxDB,還得用其他軟件,消息隊(duì)列、流式計(jì)算、緩存;我們把緩存、消息隊(duì)列、數(shù)據(jù)庫組合在一起,大幅降低了研發(fā)和運(yùn)維的復(fù)雜度和成本?,F(xiàn)在的運(yùn)維真的越來越難做了,以前就是數(shù)據(jù)庫不宕機(jī)就行,現(xiàn)在要管 Kafka、Spark、Hbase、HDFS,我們把它合在一起,這就大幅降低運(yùn)維和研發(fā)的成本。 第三,我們是能夠把硬件和云服務(wù)的成本大幅降低,為什么能降低?第一個(gè)是我們的性能特別高,以前可能要10臺(tái)服務(wù)器,現(xiàn)在可能只需要一臺(tái)或兩臺(tái)就夠了,那你采購的服務(wù)器就少多了,或者你到阿里云上去買虛擬機(jī),用的虛擬機(jī)也少多了。 另外一方面我們整個(gè)存儲(chǔ)的成本也大幅節(jié)省,由于我們采用列式存儲(chǔ),用格式化存儲(chǔ)之后,對(duì)不同的數(shù)據(jù)類型采取不同的壓縮算法,壓縮空間大幅節(jié)省。 比如說拿 TDengine 跟 Hbase 相比,我們?cè)谝粋€(gè)車聯(lián)網(wǎng)企業(yè)的應(yīng)用里,壓縮以后只有 Hbase 存儲(chǔ)空間的7%,也就是說 100T 到 TDengine 這里只要7個(gè)T,節(jié)省了很多費(fèi)用。 第四,就是歷史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)處理是一套方法。在做 SQL 查詢時(shí),不會(huì)到歷史庫去查,到實(shí)時(shí)庫去查,分成兩套,TDengine 就是一個(gè) SQL 語句,只要改時(shí)間,也是一樣的查詢,這就很簡(jiǎn)單。而且整個(gè)查詢可以通過 Python、MATLAB、R 來查,這個(gè)數(shù)據(jù)分析,尤其做機(jī)器查詢,不是同一個(gè)RESTful API來查。 第五,就是 TDengine 是有標(biāo)準(zhǔn)的 SQL,支持 JDBC、ODBC,那不是像很多大數(shù)據(jù)軟件都RESTful API之外,尤其是對(duì)to B的軟件,寫 Java 程序的程序員特別喜歡用 JDBC,所有學(xué)過計(jì)算機(jī)的人都會(huì)寫sql,即使沒寫過,可能他一聽就知道怎么用sql了。那因此我們這個(gè)學(xué)習(xí)成本就極其之低。 第六,TDengine 可以跟第三方工具無縫集成。舉個(gè)例子,我們要跟做運(yùn)維相關(guān)的話,采集數(shù)據(jù)用Telegraf,TDengine 跟 Telegraf 無縫集成,只要在 Telegraf 里面把TDengine 的設(shè)備id地址配好,那采集的數(shù)據(jù)就自動(dòng)升到 TDengine 引擎了。TDengine也跟Grafana 集成在一起,因此只要在 Grafana 里寫入 SQL 語句,就能把整個(gè)存在TDengine 的數(shù)據(jù)可視化并實(shí)時(shí)地顯示出來,這是一個(gè)很重要的事情。 TDengine 與同類產(chǎn)品相比的六大特點(diǎn) ⑥ 社區(qū):相比于hadoop來說,您說至少快十倍,那其最大的優(yōu)勢(shì)是什么?通過什么技術(shù)來實(shí)現(xiàn)? 陶建輝:比 hadoop 遠(yuǎn)遠(yuǎn)不止十倍,剛才講的優(yōu)勢(shì)實(shí)際上我都講了。它主要是通過什么技術(shù)實(shí)現(xiàn)的,主要是我們充分利用了物聯(lián)網(wǎng)或運(yùn)維數(shù)據(jù)的特點(diǎn),我們的產(chǎn)品是基于這些特點(diǎn)開發(fā)的。 拿 TDengine 跟 hadoop 對(duì)比,對(duì) hadoop 有一點(diǎn)點(diǎn)不公平,hadoop是所有類型的數(shù)據(jù)都能處理,比如輿情大數(shù)據(jù)分析,用戶畫像、推薦系統(tǒng),但我們不是。我們只能做物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)、運(yùn)維數(shù)據(jù)、金融數(shù)據(jù),TDengine 不是個(gè)通用的,是個(gè)專用的。那么它到底有什么特點(diǎn)?我順便介紹一下物聯(lián)網(wǎng)或運(yùn)維采集的數(shù)據(jù)有什么特點(diǎn)。 舉個(gè)例子,比如日志是按照時(shí)間產(chǎn)生的,agent 它是每一秒鐘采集服務(wù)器的狀態(tài),內(nèi)存、CPU、網(wǎng)絡(luò);采集一下應(yīng)用的狀態(tài),如 Nginx,采集一下,的 DataBase 的狀態(tài),它是定時(shí)采集的,是按照時(shí)間產(chǎn)生的,一定是時(shí)序的數(shù)據(jù),而且是日志型的,采集了之后不會(huì)改,這是一個(gè)很大的區(qū)別。 第二,它是結(jié)構(gòu)化的,我講個(gè)最簡(jiǎn)單的例子,比如說CPU,它說我們就是個(gè)浮點(diǎn)數(shù),CPU占比是80%,還是90%,我用的內(nèi)存是用哪,當(dāng)前的內(nèi)存是用了16個(gè)G,過一會(huì)是16.5G,我的硬盤的狀態(tài)現(xiàn)在是幾個(gè)T,還是多少,它被它采集,它是個(gè)結(jié)構(gòu)化的數(shù)據(jù),對(duì)吧,就包括智能電表,我們跟電網(wǎng)合作的智能電表這里,就產(chǎn)生了電流電壓相位,你用不著畫結(jié)構(gòu)化表說它就是個(gè)結(jié)構(gòu)化的數(shù)據(jù)。 第三,這種數(shù)據(jù)一般不改,沒有人去改。 第四,不是不刪,是到了一定的時(shí)間要?jiǎng)h。舉個(gè)例子,運(yùn)維監(jiān)測(cè)數(shù)據(jù)只保留7天,保留一個(gè)月我就不要了。 還有一個(gè)特點(diǎn),比如說寫多讀少的這種數(shù)據(jù),人們是很少去看這種數(shù)據(jù)的,一般是通過算法統(tǒng)計(jì)、分析來看這個(gè)數(shù)據(jù),靠程序去讀,不像微博、微信,是寫一條無數(shù)人看。就像我寫的那篇文章,好多人看,就寫了一次,但無數(shù)人讀。但運(yùn)維監(jiān)測(cè)的數(shù)據(jù)還包括物聯(lián)網(wǎng)、車聯(lián)網(wǎng)則不是這樣,這又是個(gè)不同的特點(diǎn)。 還有個(gè)特點(diǎn),舉個(gè)例子,物聯(lián)網(wǎng)的流量比較平穩(wěn),我假設(shè)整個(gè)機(jī)房、超算中心、IDC中心有一萬臺(tái)服務(wù)器,每臺(tái)服務(wù)器采集三百個(gè)量,每五秒鐘采集一次,我可以把采集的流量估算出來,說每秒會(huì)產(chǎn)生多少監(jiān)測(cè)的流量,到了“雙11”,京東、淘寶的流量要漲幾十倍都不止,但這個(gè)物聯(lián)網(wǎng)、車聯(lián)網(wǎng)都不存在,它是平穩(wěn)的,它很有特點(diǎn)。 另外,物聯(lián)網(wǎng)、車聯(lián)網(wǎng)包括運(yùn)維,它從來不看單個(gè)采集值,更多的是看一個(gè)時(shí)間段的趨勢(shì),就看您炒股票,這個(gè)股票漲了還是跌了,它并不看我買的第一手價(jià)格是什么,更多的是看趨勢(shì),看看過去的幾個(gè)分鐘,過去的幾秒鐘,過去的幾天,幾個(gè)月,整個(gè)的波動(dòng)的趨勢(shì)是什么。 除了這些特點(diǎn)外,但是物聯(lián)網(wǎng)、車聯(lián)網(wǎng)包括運(yùn)維,它的數(shù)據(jù)鏈特別地大,它單個(gè)點(diǎn)的價(jià)值很低,而微信、微博包括銀行記錄,它是單條價(jià)值特別高。 比如說微信,每條記錄都不能丟,丟了那是嚴(yán)重的BUG。那物聯(lián)網(wǎng)包括運(yùn)維,你丟一分鐘的數(shù)據(jù)有什么關(guān)系?其實(shí)沒有什么關(guān)系,它不影響任何的判斷和決策,這就是物聯(lián)網(wǎng)數(shù)據(jù)跟這種通用大數(shù)據(jù)很大的一個(gè)區(qū)別,我們之所以比hadoop牛得那么多,跟別的牛得那么多,主要是我們充分利用了我剛剛講的這些數(shù)據(jù)特點(diǎn)做的。 比如說運(yùn)維集成里面有很多人用 ElasticSearch 來做這種,ElasticSearch 做這種我們程序里的日志,做大個(gè)的分析特別好,但我認(rèn)為如果來做運(yùn)維的監(jiān)測(cè),那是完全錯(cuò)誤的選擇,沒有考慮到這個(gè)數(shù)據(jù)的特點(diǎn),因?yàn)?ElasticSearch 來做文本、分析、搜索引擎特別好,但是來做電表、車聯(lián)網(wǎng)、物聯(lián)網(wǎng)的數(shù)據(jù)處理那是完全錯(cuò)誤的,不是說不能做,但是效率是極其之差。 因此我們是做了一個(gè)特殊化專用的大數(shù)據(jù)平臺(tái)。 ⑦ 社區(qū):TDengine 大數(shù)據(jù)平臺(tái)沒有采取任何第三方的組件,1.5MB的安裝包就能將一個(gè)物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)搞定,從下載、安裝、運(yùn)行不會(huì)超過五秒鐘,這是如何做到的? 陶建輝:第一個(gè),我們是用 C 語言編寫的,我們中間有一個(gè)模塊是用C++ 寫的,結(jié)果后來 C++ 都改成了C,因?yàn)橛械目蛻舯г沟狡脚_(tái)安裝 glib 版本不對(duì),要重新下載,glib 版本一下載,安裝到 Centos 上一兩個(gè)小時(shí)都搞不定,而我們就希望用戶可以一鍵安裝幾下搞定,因此用 C 語言開發(fā)是我一個(gè)很正確的決定,它安裝包就是小,C 語言里面又沒有太多的庫可利用,我就自己開發(fā)了很多好用的工具,內(nèi)存管理也是自己寫的,這樣就會(huì)很精煉,安裝包就極其小。我們給客戶都是用微信給的,安裝包就微信直接給,不利用第三方軟件就是我陶建輝從小到大養(yǎng)成的習(xí)慣。 就像我文章里分享,我2008年創(chuàng)辦和信的時(shí)候,那是個(gè)做免費(fèi)短信、彩信的軟件,我希望大家能夠免費(fèi)收發(fā)短信、彩信,免費(fèi)在手機(jī)上收發(fā)郵件,因?yàn)槟莻€(gè)時(shí)候有黑莓手機(jī),黑莓手機(jī)每個(gè)月費(fèi)都很多錢,我就希望把黑莓這些功能完全搬運(yùn)到普通手機(jī)上,通過移動(dòng)互聯(lián)網(wǎng)、wifi,來隨意收發(fā)短信、彩信。和信在 Windows moblie 的客戶端,你們猜猜多大?才18K,我的功能當(dāng)然還沒有微信那么強(qiáng),但主要功能是完全有,就是收發(fā)短信、彩信、照片、視頻,郵件還可以發(fā),這些工具都具備,我不知道微信是現(xiàn)在有沒有一百兆,至少幾十兆是有吧,我是18K。 陶建輝:其實(shí)這是一個(gè)習(xí)慣的問題,每寫任何一行程序的時(shí)候,我都是想著項(xiàng)目,能不能少寫幾行,能不能效率更高一點(diǎn),你養(yǎng)成這個(gè)習(xí)慣,包括我們團(tuán)隊(duì)現(xiàn)在都養(yǎng)成這個(gè)習(xí)慣了,那你就一定會(huì)寫出很小的。因此這也是我們公司一個(gè)殺手锏的東西,為什么呢?到邊緣側(cè)優(yōu)勢(shì)就顯示出來了。我們馬上就要ARM上二維的版本公開,那你邊緣側(cè)歷來都是嵌入式的盒子,資源極其有限,我這么小的體量,一定大受歡迎,其他時(shí)序數(shù)據(jù)庫都是幾十兆,就沒有辦法在ARM的盒子上跑,而 TDengine 就這么小,就可以。 ⑧ 社區(qū):陶老師開發(fā)這款大數(shù)據(jù)平臺(tái)軟件的初衷是什么?期間經(jīng)歷了什么有趣的事情? 陶建輝:開發(fā)的初衷是因?yàn)槲以?016年有接近一年的時(shí)間在休整,期間被邀請(qǐng)很多VC,基本上都是物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng),包括智能硬件的相關(guān)項(xiàng)目,我們那時(shí)候很想搞菜市場(chǎng)的智能秤,就想把菜市場(chǎng)的秤完全革命掉,變成智能化。包括我看電梯物聯(lián)網(wǎng)、農(nóng)業(yè)物聯(lián)網(wǎng),包括一些醫(yī)療項(xiàng)目。 看完之后也看了一些物聯(lián)網(wǎng)平臺(tái)的公司,我很難確定某個(gè)物聯(lián)網(wǎng)到底什么時(shí)候起來,智能硬件到底會(huì)怎么樣,但發(fā)現(xiàn)了大家有個(gè)共性的東西,就是數(shù)據(jù)處理沒有太大區(qū)別。我當(dāng)時(shí)做母嬰項(xiàng)目——快樂媽咪的時(shí)候,處理的是母嬰健康數(shù)據(jù),其實(shí)它跟電梯物聯(lián)網(wǎng)的數(shù)據(jù)沒有本質(zhì)的區(qū)別,農(nóng)業(yè)物聯(lián)網(wǎng)數(shù)據(jù)的處理跟工業(yè)物聯(lián)網(wǎng)數(shù)據(jù)的處理跟手環(huán)、摩拜單車、滴滴數(shù)據(jù)處理本質(zhì)上沒有區(qū)別。之后我發(fā)現(xiàn),大家?guī)缀醵际怯?Hadoop 這套體系,Hbase、ElasticSearch、Hadoop是個(gè)體系,不僅是這個(gè)詞,它包含很多東西,就是大家熟悉的這些,Kafka、Spark,這些工具在處理。 我認(rèn)為這完全搞錯(cuò)了,因?yàn)槲锫?lián)網(wǎng)這些數(shù)據(jù)采集,就像我講的,它很有特點(diǎn),那為什么不做一個(gè)更好的,更專業(yè)化的?我自己認(rèn)為在未來 5 到 10 年,最多不會(huì)超過10年,物聯(lián)網(wǎng)一定會(huì)起來,世界上 90% 的數(shù)據(jù)會(huì)是物聯(lián)網(wǎng)采集的數(shù)據(jù)。以前,大家都想不到自行車都會(huì)聯(lián)網(wǎng),所有的交通工具、電器都會(huì)聯(lián)網(wǎng),這個(gè)數(shù)據(jù)面能有多大?如果我能做一個(gè)極其高效的引擎來處理這些數(shù)據(jù),那是多有意義的事情。于是,我就是決定做這個(gè)。 ⑨ 社區(qū):TDengine 的成功離不開團(tuán)隊(duì)的支持,您最想感謝的是誰? 陶建輝:毫無疑問感謝我們團(tuán)隊(duì),存儲(chǔ)引擎是我自己寫的,像我們團(tuán)隊(duì)的廖博士,計(jì)算引擎幾乎是他一個(gè)人寫出來的;洪澤做壓縮,后來又解鎖整個(gè)存儲(chǔ)引擎,存儲(chǔ)引擎保證會(huì)有BUG,他接手處理了很多,包括勝亮他們,外圍的軟件很多,包括集群的管理,很多東西要做,我們整個(gè)代碼有十幾萬行,好多測(cè)試,case,那不是一個(gè)人做得到的,包括我們的女生都要感謝,她是我們團(tuán)隊(duì)唯一一個(gè)不寫程序的,濤思數(shù)據(jù)所有跟程序不相關(guān)的事情都是她一個(gè)人做的。 TDengine 幕后團(tuán)隊(duì) ⑩ 社區(qū):開源之后社區(qū)的反饋如何? 陶建輝:我覺得社區(qū)的反饋還是相當(dāng)正面的,至少已經(jīng)使用的人就是覺得 TDengine 真的很簡(jiǎn)單,只有 1.5 MB,也有一些人發(fā)現(xiàn)了我們的 Bug,也有很多人提供了建議,比如希望 Windows 版本盡快開源,有人希望我們 dark,就是好幾個(gè)開發(fā)者都主要搞了一個(gè) dark的版本讓大家用。最開心的事情就是連續(xù)兩天在 Github 全球趨勢(shì)榜上第一,目前在 github 上 Star 數(shù)已經(jīng)超過6000,F(xiàn)ork 的數(shù)也已經(jīng)超過1200,就這兩個(gè)數(shù)字已經(jīng)超過另外一個(gè)有相當(dāng)多用戶的開源時(shí)序數(shù)據(jù)庫,這個(gè)時(shí)候我很開心的,而且很多人在微信和微博上問我問題,反饋很強(qiáng)烈。 ? 社區(qū):TDengine 未來將向哪些方向發(fā)展? 陶建輝:初衷是我們想為整個(gè)物聯(lián)網(wǎng)提供一個(gè)全棧的大數(shù)據(jù)平臺(tái),目前從 Roadmap 上來看,我們還有一些不足。一個(gè)最明顯的例子,就是我們?cè)诹魇接?jì)算上,我們只做了一個(gè)滑動(dòng)窗口的流式計(jì)算,但我們?nèi)ビ?jì)算,事件驅(qū)動(dòng),它的實(shí)時(shí)性會(huì)更高,而且事件驅(qū)動(dòng)完了之后我們能做數(shù)據(jù)清洗之類的一系列的功能,而且還要做自定義函數(shù),因?yàn)槟壳拔覀兲峁┑暮瘮?shù),自定義聚合,計(jì)算的函數(shù)不可能滿足所有用戶的需求,但我希望自定義可以自己實(shí)現(xiàn),即便如此,在自定義函數(shù)的這些方面我們永遠(yuǎn)會(huì)采用 SQL,不用定性地腳本語言。 另外一方面 TDengine 還需要提供更多的數(shù)據(jù)協(xié)議接口,比如盡快提供 MQTT 和 OPC接口,這些都是工業(yè)物聯(lián)網(wǎng)最重要的協(xié)議,比如說我們有可能提供 Modbus 的接口,這樣的話我們的生態(tài)會(huì)漸漸更完善。 還有就是在應(yīng)用側(cè)也要提供很多的接口,現(xiàn)在已經(jīng)跟telegraf、grafana的這些軟件集成了,我們可能要跟很多流行的BI工具集成,現(xiàn)在已經(jīng)有一個(gè)BI的公司讓 TDengine 跟他們集成在一起了,我希望能夠和很多BI工具無縫集成在一起,這個(gè)生態(tài)要建立起來。 ? 社區(qū):您認(rèn)為 TDengine 大數(shù)據(jù)平臺(tái)對(duì)推動(dòng)中國IT技術(shù)進(jìn)步有哪些意義? 陶建輝:我覺得意義還是挺大的,中國 IT 產(chǎn)業(yè)已經(jīng)享受了開源社區(qū)無數(shù)的回應(yīng),但是中國 IT 對(duì)世界的開源的貢獻(xiàn)還比較有限,中國已經(jīng)有不少公司在為開源社區(qū)做貢獻(xiàn),但目前開源社區(qū)里做得特別好的還很少,比如 pingCAP 的 tidb 分布式數(shù)據(jù)庫,還有像華為、阿里、騰訊的一些開源項(xiàng)目也不錯(cuò),但數(shù)量還是不多。 比如說數(shù)據(jù)庫,數(shù)據(jù)庫有好多的分支,那沖在排行榜前幾名沒有一家是中國的公司。說一句豪言壯語,在時(shí)序數(shù)據(jù)處理這一領(lǐng)域,我認(rèn)為我們一年就能沖到全球排行榜前三名,時(shí)序數(shù)據(jù)庫的分支,我估計(jì)三年沖到第一名完全沒有問題,這樣的話,會(huì)給中國 IT 產(chǎn)業(yè)一個(gè)很大的信心,中國人照樣能做底層軟件,能把做開源做得很好,我相信會(huì)有很多IT公司像我一樣。 9月6日,GNSEC 高峰論壇,聽 35年碼齡老程序員、濤思數(shù)據(jù)創(chuàng)始人陶建輝為您深度揭秘 TDengine 的超高性能是如何實(shí)現(xiàn)的。 ?作為社區(qū)福利,本次活動(dòng)特放出限量39元福利門票: 1、購買此票需主辦方審核,審核通過后發(fā)送付款郵件 2、作為福利,凡是報(bào)名本次活動(dòng)的朋友可在活動(dòng)現(xiàn)場(chǎng)領(lǐng)取技術(shù)圖書一本(《持續(xù)交付2.0》 《風(fēng)向》)限量100本。 GNSEC 高峰論壇專注于全方位的軟件工程和技術(shù),致力于定義新一代軟件工程。 GNSEC 定義了新一代的軟件工程,旨在聚集軟件工程行業(yè)的專家、學(xué)者、從業(yè)者,講述重要的最新研究成果,并分享最前端的實(shí)踐經(jīng)驗(yàn),同時(shí)促進(jìn)產(chǎn)、學(xué)、研領(lǐng)域的專家互相交與合作。 本活動(dòng)為高端邀請(qǐng)制,擬邀嘉賓來自金融、通信、互聯(lián)網(wǎng)行業(yè)的處級(jí)、副總、高級(jí)經(jīng)理及以上領(lǐng)導(dǎo)。 |
|