大數(shù)據(jù)專家總的來說,可以分為兩大類:一類叫數(shù)據(jù)分析師,另一類叫數(shù)據(jù)工程師。 數(shù)據(jù)分析師 數(shù)據(jù)分析師,都是偏業(yè)務(wù)的,專注于對業(yè)務(wù)數(shù)據(jù)的分析,以及業(yè)務(wù)應(yīng)用的分析。你聽說過的數(shù)據(jù)分析、數(shù)據(jù)挖掘、數(shù)據(jù)建模以及機(jī)器學(xué)習(xí)等等,都是數(shù)據(jù)分析師常用的術(shù)語。他們關(guān)注的是選擇合適的分析方法、分析模型來探索業(yè)務(wù)的規(guī)律、業(yè)務(wù)的變化、業(yè)務(wù)間的相關(guān)性,并對業(yè)務(wù)的未來做出趨勢判斷(預(yù)測)。他們側(cè)重于如何基于數(shù)據(jù)來找到業(yè)務(wù)問題的解決方案,用數(shù)據(jù)來支撐業(yè)務(wù)決策和商業(yè)決策。 數(shù)據(jù)工程師 數(shù)據(jù)工程師,都是偏技術(shù)的,專注于大數(shù)據(jù)應(yīng)用開發(fā),以及大數(shù)據(jù)系統(tǒng)建設(shè)。你聽說過的云平臺、Hadoop/Spark/Storm等等的概念就是數(shù)據(jù)工程師常用的術(shù)語。他們關(guān)注是大數(shù)據(jù)系統(tǒng)如何建設(shè)、如何開發(fā)大數(shù)據(jù)產(chǎn)品、如何做大數(shù)據(jù)系統(tǒng)運(yùn)維。 關(guān)于要掌握什么知識?(見黑色字體) 1)數(shù)據(jù)分析師,要求熟悉數(shù)據(jù)分析過程,掌握數(shù)據(jù)分析方法,理解數(shù)據(jù)分析模型,熟練操作數(shù)據(jù)分析工具(比如Excel、SPSS、SAS等);當(dāng)分析工具無法滿足你的分析需求的時候,你還可能需要掌握類似Python和R等腳本分析語言,以實(shí)現(xiàn)自定義的自動化的分析流程。當(dāng)然,最重要的是要熟悉業(yè)務(wù)邏輯和業(yè)務(wù)模型,從而掌握數(shù)據(jù)分析思路,能將數(shù)據(jù)進(jìn)行可視化,能夠?qū)Ψ治鼋Y(jié)果進(jìn)行正確的業(yè)務(wù)數(shù)據(jù)解讀,等等。 2)數(shù)據(jù)工程師,最基礎(chǔ)的要求熟悉程序開發(fā)語言和系統(tǒng)設(shè)計(比如JAVA等),然后掌握大數(shù)據(jù)系統(tǒng)架構(gòu)(Hadoop/Spark等),懂大數(shù)據(jù)平臺運(yùn)維,等等。 當(dāng)然,如果要繼續(xù)進(jìn)一步細(xì)分崗位,你要學(xué)的東西也會有不同的側(cè)重點(diǎn)。 一般來說,數(shù)據(jù)分析師都是偏業(yè)務(wù)的,就是常說的“三分技術(shù),七分業(yè)務(wù)”。 當(dāng)然,狹義地說,如果你說的是數(shù)據(jù)分析師中偏技術(shù)的,指的是在數(shù)據(jù)分析師中偏技術(shù)的,也可以理解為數(shù)據(jù)建模師、算法師,那么你要掌握的技術(shù)就是懂Python或R語言,能夠自行設(shè)計算法和分析模型,并使用python語言來實(shí)現(xiàn)(此時,肯定沒有現(xiàn)成的分析工具供你使用的)。 詳細(xì)的請看我以前寫的文章《大數(shù)據(jù)專家職位體系》 當(dāng)前大數(shù)據(jù)職位,從總的來說,主要有兩大類: 一類是應(yīng)用類,另一類是系統(tǒng)類。 應(yīng)用類 應(yīng)用類,偏向于數(shù)據(jù)分析和數(shù)據(jù)應(yīng)用,經(jīng)常說到的數(shù)據(jù)分析、數(shù)據(jù)挖掘,就是典型的應(yīng)用技術(shù)。這一類職位,要求采用適當(dāng)?shù)姆治龊屯诰蚍椒▽?shù)據(jù)進(jìn)行分析,提取數(shù)據(jù)中隱含的業(yè)務(wù)信息,來支撐企業(yè)決策。 最典型的職位就是:大數(shù)據(jù)分析師。 大數(shù)據(jù)分析師 大數(shù)據(jù)分析師,主要是指,基于業(yè)務(wù)問題,能夠選擇最合適的數(shù)據(jù)分析和數(shù)據(jù)挖掘方法,提取數(shù)據(jù)中的業(yè)務(wù)信息,從而支撐業(yè)務(wù)決策。要求熟悉數(shù)據(jù)分析/挖掘過程,掌握數(shù)據(jù)分析/挖掘方法,理解數(shù)據(jù)分析模型,熟練操作數(shù)據(jù)分析工具(比如Excel、SPSS、SAS等)。一般對于大數(shù)據(jù)分析師,其能力要求比較全面,不管是業(yè)務(wù)邏輯、還是分析方法、模型、可視化,都要求全面掌握。 業(yè)務(wù)數(shù)據(jù)分析師 業(yè)務(wù)數(shù)據(jù)分析師:側(cè)重于商業(yè)理解,要求能夠?qū)I(yè)務(wù)問題和商業(yè)問題,轉(zhuǎn)化為大數(shù)據(jù)的問題,并將分析結(jié)果從業(yè)務(wù)層面進(jìn)行解讀,從而形成業(yè)務(wù)建議和業(yè)務(wù)策略。要求熟悉業(yè)務(wù)邏輯和業(yè)務(wù)模型,掌握數(shù)據(jù)分析思路,能將數(shù)據(jù)可視化,對數(shù)據(jù)解讀等。當(dāng)然,類似的職位還有大數(shù)據(jù)觀察員、大數(shù)據(jù)研究員等等,這些都側(cè)重于商業(yè)理解。 大數(shù)據(jù)建模師 大數(shù)據(jù)建模師:側(cè)重于數(shù)據(jù)建模,能夠圍繞業(yè)務(wù)問題,構(gòu)建合適的數(shù)據(jù)分析框架和分析模型,將業(yè)務(wù)問題進(jìn)行分解,從而達(dá)到定性或定量來描述業(yè)務(wù)的目的。要求熟悉數(shù)據(jù)建模、模型評估、模型優(yōu)化、模型應(yīng)用等等。 大數(shù)據(jù)算法師 大數(shù)據(jù)算法師:側(cè)重于數(shù)據(jù)模型的實(shí)現(xiàn)算法研究、設(shè)計與實(shí)現(xiàn),為達(dá)到分析目的,對實(shí)現(xiàn)算法進(jìn)行分析、選擇與優(yōu)化,確保實(shí)現(xiàn)性能及效果。一般情況下,算法師往往和建模師在一起工作。 系統(tǒng)類 系統(tǒng)類,偏向于系統(tǒng)研發(fā),比如Hadoop系統(tǒng)、云計算,就屬于系統(tǒng)類技術(shù)。這一類職位,要求熟悉Hadoop大數(shù)據(jù)平臺的核心框架和組件,能夠基于大數(shù)據(jù)平臺來寫代碼開發(fā)應(yīng)用,支撐業(yè)務(wù)應(yīng)用。 最典型的職位就是:大數(shù)據(jù)工程師。 大數(shù)據(jù)開發(fā)工程師 大數(shù)據(jù)開發(fā)工程師:負(fù)責(zé)大數(shù)據(jù)系統(tǒng)的開發(fā)工作,能夠運(yùn)用編程語言進(jìn)行應(yīng)用程序的開發(fā)、測試和維護(hù),實(shí)現(xiàn)產(chǎn)品功能。要求掌握編程語言,如JAVA、R、Python等等。 大數(shù)據(jù)架構(gòu)師 大數(shù)據(jù)架構(gòu)師:負(fù)責(zé)大數(shù)據(jù)系統(tǒng)的平臺架構(gòu)設(shè)計、平臺構(gòu)建。要求熟悉Hadoop/Storm/Spark等平臺,熟悉整個生態(tài)系統(tǒng)的組件,有平臺級開發(fā)和架構(gòu)設(shè)計能力等等。 大數(shù)據(jù)運(yùn)維工程師 大數(shù)據(jù)運(yùn)維工程師:側(cè)重于大數(shù)據(jù)平臺運(yùn)維管理,包括系統(tǒng)運(yùn)維規(guī)劃、系統(tǒng)監(jiān)控、系統(tǒng)優(yōu)化等等,保障大數(shù)據(jù)平臺服務(wù)的穩(wěn)定性和可用性。掌握平臺各組件的安裝、配置與調(diào)試,有良好的系統(tǒng)性能優(yōu)化及故障排除能力。 大數(shù)據(jù)庫管理員 大數(shù)據(jù)庫管理員:側(cè)重于數(shù)據(jù)庫/數(shù)據(jù)倒倉庫的設(shè)計、開發(fā)、管理和優(yōu)化,監(jiān)控數(shù)據(jù)庫的性能、故障檢測和排除,包括數(shù)據(jù)采集,數(shù)據(jù)庫架構(gòu)設(shè)計,空間和容量規(guī)劃,性能優(yōu)化,數(shù)據(jù)安全和隱私,數(shù)據(jù)容錯,等等。 當(dāng)然,在不同的企業(yè)中,職位的名稱和叫法有所不同,或者會衍生出新的職位,但基本的崗位職責(zé)是類似的。
|
|