ML:機器學(xué)習(xí)工程化之團隊十大角色背景、職責(zé)、產(chǎn)出物劃分之詳細攻略
背景:在機器學(xué)習(xí)團隊的組建過程中,我們需要具有系統(tǒng)的工程化思考方式與角色設(shè)定,以盡可能的避免“技術(shù)債務(wù)”與“軟實力欠缺”引起的潛在的“技術(shù)災(zāi)難”與“交付災(zāi)難”。
機器學(xué)習(xí)團隊十大角色背景、職責(zé)、產(chǎn)出物劃分

Minimum Viable Product,MVP,最簡化可實行產(chǎn)品。
1、Product Manager/產(chǎn)品經(jīng)理—A1角色
背景 | 機器學(xué)習(xí)算法由一項“技術(shù)成果”→“可落地交付應(yīng)用的“產(chǎn)品”,實現(xiàn)滿足客戶功能需求的同時,在可接受的指標(biāo)范圍(精度、速度等)內(nèi)穩(wěn)定交付運行這一商用目標(biāo)。 |
職責(zé) | (1)、緊跟行業(yè)動態(tài),結(jié)合公司能力,探討產(chǎn)品創(chuàng)新 (2)、提供產(chǎn)品解決方案:負責(zé)具體產(chǎn)品設(shè)計,競品調(diào)研分析,結(jié)合運營數(shù)據(jù)提出優(yōu)化方案并設(shè)計產(chǎn)品功能,提供產(chǎn)品/項目解決方案 (3)、對客宣講交流、招投標(biāo)文件編寫:配合銷售/解決方案架構(gòu)師等前線角色, (4)、產(chǎn)品/項目落地交付:達成業(yè)務(wù)收入 (5)、產(chǎn)品迭代管理,提升用戶體驗 |
主要工作產(chǎn)出物 | (1)、PRD產(chǎn)品需求文檔:包括流程圖等 (2)、產(chǎn)品白皮書/售前文檔、招投標(biāo)文件 (3)、項目解決方案 |
優(yōu)秀特質(zhì) | (1)、洞察力:沒有比較科學(xué)的“先驗知識”,大多只能通過產(chǎn)品結(jié)果去做后驗。提高洞察力,沒有捷徑,只有對目標(biāo)領(lǐng)域做深度認知,不斷思考、深度思考,反復(fù)推演。 需求挖掘:如何發(fā)現(xiàn)“潛在”需求,很多時候“隱性需求”或更有價值。 需求判斷:識別“偽需求”,尋找驅(qū)動需求產(chǎn)生的“本質(zhì)”。 需求分析:需求背后的“動機”是什么,需求的“場景”是什么,需求的“因果鏈”是什么。 用戶識別:是否找準(zhǔn)了“真實”用戶,“典型用戶”需求是否具有“普適”性。 價值分析:需求實現(xiàn)對用戶、產(chǎn)品的價值,產(chǎn)品實現(xiàn)后對用戶的價值。 (2)、風(fēng)險預(yù)知力:模型預(yù)測錯誤的后果是什么? 風(fēng)險分析:需求實現(xiàn)的代價、周期及需求消退周期。 (3)、敏感力:對用戶產(chǎn)品體驗敏感 |
工作流程 | (1)、需求調(diào)研/分析 (2)、產(chǎn)品設(shè)計/產(chǎn)品解決方案定義 (3)、項目解決方案定義 (4)、產(chǎn)品開發(fā)過程管理 |
2、Project Manager/項目經(jīng)理—B1角色
公司在某些技術(shù)領(lǐng)域,比如“人臉識別”、“車輛識別”、“語音轉(zhuǎn)文字”、“目標(biāo)檢測”等技術(shù)方向取得了比較好的精度,基本達到或者超過了 SOTA(State-of-the-art)水平,具有商業(yè)化落地應(yīng)用的可能,也會有一些行業(yè)客戶咨詢相關(guān)技術(shù)的應(yīng)用情況,更堅定了商業(yè)化信心。??
背景 | 當(dāng)我們完成產(chǎn)品開發(fā),或者產(chǎn)品可能還是半成品或者僅僅是MVP,在向政企客戶成功銷售后,那么項目就需要正式啟動了。 產(chǎn)品經(jīng)理和項目經(jīng)理分別作為產(chǎn)品和項目的“總經(jīng)理”,是實現(xiàn)技術(shù)→產(chǎn)品→落地交付的最核心的中堅力量。既有各自獨立完成的部分,又有共同協(xié)作完成的部分。 |
職責(zé) | 項目經(jīng)理需要完成管理、協(xié)調(diào)、控制、交付等項目生命周期內(nèi)的工作。但是,事實上,在實際操作層面,大量存在“以項目養(yǎng)產(chǎn)品”的情況。 (1)、制定項目計劃:充分理解目標(biāo),制定實施計劃; (2)、按計劃完成項目預(yù)定目標(biāo)的交付:協(xié)調(diào)內(nèi)外資源,跟進執(zhí)行進度,控制風(fēng)險,為端到端交付負責(zé); (3)、項目周會:組織項目各項評審會議及項目例會 (4)、協(xié)調(diào)和跟進落地:內(nèi)外部合作事項落地 |
主要工作產(chǎn)出物 | (1)、項目文檔 (2)、項目解決方案 (3)、項目交付方案 |
優(yōu)秀特質(zhì) | (1)、產(chǎn)品感的洞察力:尤其是人工智能相關(guān)的項目,項目經(jīng)理除了管理能力外,還需具備產(chǎn)品經(jīng)理的“產(chǎn)品感”與“洞察力”。 |
工作流程 | 項目解決方案 項目實施計劃、項目交付(實施)方案 需求調(diào)研 項目管理 平衡好項目管理“鐵三角” |
如何去快速實現(xiàn)商業(yè)化的產(chǎn)品?
那么,如何去實現(xiàn)商業(yè)化的產(chǎn)品?對于技術(shù)驅(qū)動的公司,大概率是沒有相關(guān)完備產(chǎn)品與行業(yè)解決方案的知識儲備,所以,需要在政企客戶的市場小步快跑,走“捷徑”,快速形成產(chǎn)品、解決方案與產(chǎn)品矩陣?;具^程如下:
(1)、借鑒同行解決方案作為本方案基礎(chǔ) | 按照客戶需求,在行業(yè)對標(biāo)中,尋找競爭對手現(xiàn)有產(chǎn)品與方案內(nèi)容組成、產(chǎn)品架構(gòu)、技術(shù)架構(gòu)以及核心功能。 |
(2)、業(yè)務(wù)與技術(shù)團隊定義解決方案 | 解決方案的路線,必須具有足夠的競爭力。 |
(3)、業(yè)務(wù)與產(chǎn)品團隊設(shè)計PPT方案 | 解決方案的PPT,必須具有高水準(zhǔn)。 |
(4)、快速完成Demo和MVP的開發(fā) | 基于公司技術(shù)積累、歷史案例、現(xiàn)有產(chǎn)品,結(jié)合用戶核心需求及其痛點,快速完成Demo和MVP的開發(fā)。 |
(5)、組建需求團隊 | 經(jīng)過投標(biāo)拿下項目后,接著組建項目團隊。 在項目團隊中,會特別安排產(chǎn)品經(jīng)理與解決方案團隊的部分成員,組成“需求團隊”。 |
(6)、總結(jié)產(chǎn)品需求 | 基于合同內(nèi)容要求,結(jié)合現(xiàn)場用戶需求調(diào)研,獲取一手需求,同時分析行業(yè)競爭對手的產(chǎn)品功能。 項目經(jīng)理帶領(lǐng)“需求團隊”,完成既能滿足項目交付,又足夠具有行業(yè)通用性的“產(chǎn)品需求”—這是比較理想的狀態(tài),實際操作中各中痛苦,冷暖自知。 |
(7)、確定架構(gòu)和技術(shù)路線 | 需求團隊與架構(gòu)團隊共同討論確定三件大事: 產(chǎn)品基礎(chǔ)/通用/支撐功能, 產(chǎn)品特性功能, 項目功能, 基于這種認識,開始設(shè)計架構(gòu)層面與選擇技術(shù)路線;強調(diào)一下,項目是有時間限制的,不能為了追求“理想”忽略了進度。 |
(8)、項目正式開發(fā)(分支/合并) | 研發(fā)團隊快速完成在 master(Dev)分支,完成第一部分基礎(chǔ)和通用功能開發(fā); 然后,分支出“pd-xx”進行項目所需的產(chǎn)品特性功能開發(fā),測試合并入master后;分支出“pj-xx”進行項目功能的開發(fā)。 在項目開發(fā)未完成前,產(chǎn)品分支的開發(fā)依然是服務(wù)于項目的,以便快速合并。 |
(9)、完善和拓展需求 | 鑒于單一客戶的需求必然有一定片面性與局限性,在做項目開發(fā)同時,需求團隊需要進一步研究行業(yè)需求,快速對產(chǎn)品部分的需求做出更新與完善。 |
(10)、構(gòu)建完整的項目版本和產(chǎn)品版本 | 理想狀態(tài)下,項目交付后,在我們的版本控制系統(tǒng)里就有一個完整的項目版本和一個基本成熟的產(chǎn)品版本,這樣就實現(xiàn)了以項目養(yǎng)產(chǎn)品,同時最大限度的降低了研發(fā)周期與成本。 |
3、Business Consultant/業(yè)務(wù)咨詢顧問(配合PM)—角色概念—A2角色
背景 | 業(yè)務(wù)咨詢顧問更多的是一種“角色”概念,并非所有公司都會設(shè)置專職崗位。一般情況下,業(yè)務(wù)咨詢顧問角色由兩類人員擔(dān)任。 第一類,業(yè)務(wù)專家,在目標(biāo)行業(yè)領(lǐng)域具有豐富工作經(jīng)驗,作為業(yè)務(wù)專家參與業(yè)務(wù)咨詢工作; 第二類,社會新人,有志于成為業(yè)務(wù)咨詢顧問,一般從熟悉模塊功能、參與業(yè)務(wù)需求調(diào)研開始培養(yǎng),視個人發(fā)展意愿,后期會向產(chǎn)品經(jīng)理、項目經(jīng)理或者銷售方向轉(zhuǎn)崗。 |
職責(zé) | (1)、溝通業(yè)務(wù)和市場需求 (2)、整理行業(yè)解決方案:對現(xiàn)有方案進行評審、反饋 (3)、配合PM 設(shè)計需求文檔:配合產(chǎn)品經(jīng)理/項目經(jīng)理完成產(chǎn)品/項目的需求調(diào)研,并形成對應(yīng)的需求文檔; 設(shè)計售前咨詢方案PPT:配合銷售經(jīng)理,完成項目的售前咨詢與產(chǎn)品/方案介紹,并形成售前咨詢方案/PPT; 出產(chǎn)品方向建議:行業(yè)/競品分析,了解發(fā)展趨勢與動態(tài),給出產(chǎn)品方向性建議; |
主要工作產(chǎn)出物 | (1)、需求調(diào)研報告→PRD (2)、解決方案 |
優(yōu)秀特質(zhì) | |
工作流程 | 需求調(diào)研 解決方案 業(yè)務(wù)分析 |
4. Data Scientist/數(shù)據(jù)科學(xué)家—C1角色
背景 | 數(shù)據(jù)科學(xué)家是進幾年新興的一個工作崗位,不同的公司、行業(yè)領(lǐng)域?qū)τ凇癉ata Scientist”這個角色的定義可能不盡相同,但做為一個跨學(xué)科的職位,總體來說具有以下工作內(nèi)容: |
職責(zé) | (1)、參與項目售前咨詢 (2)、數(shù)字化創(chuàng)新和解決方案制定和實施 (3)、挖掘數(shù)據(jù)價值:數(shù)字驅(qū)動給客戶帶來價值,創(chuàng)新性實現(xiàn)業(yè)務(wù)需求。數(shù)據(jù)處理與數(shù)據(jù)分析,商業(yè)價值分析與匯報。進行復(fù)雜的建模并從中發(fā)現(xiàn)數(shù)據(jù)的商業(yè)價值與意義。 (4)、指導(dǎo)建模:應(yīng)用各類的統(tǒng)計建模、機器學(xué)習(xí)和深度學(xué)習(xí)方法解決實際問題。主要參與ML的工作,通過數(shù)據(jù)分析指導(dǎo)業(yè)務(wù)建模、模型訓(xùn)練。 |
主要工作產(chǎn)出物 | (1)、數(shù)據(jù)分析報告 (2)、Models |
優(yōu)秀特質(zhì) | (1)、數(shù)據(jù)敏感能力: (2)、總結(jié)能力:能對發(fā)掘價值進行總結(jié)與宣講。 (3)、表達能力:有良好的書面、口頭溝通、匯報能力 |
工作流程 | |
5. ML Researcher/機器學(xué)習(xí)研究員—C2角色
背景 | 研究員的主要任務(wù)更偏向于前瞻性的探索與研究,跟蹤行業(yè)技術(shù)趨勢,解決新場景下的建模問題,進行算法的精度與性能調(diào)優(yōu)以及思考、推動算法的應(yīng)用與落地。 |
職責(zé) | (1)、技術(shù)追蹤:前瞻性研究與跟蹤技術(shù)趨勢,提出創(chuàng)新性的idea; (2)、可行性論證:算法落地應(yīng)用可行性論證、項目可行性論證 (3)、架構(gòu)設(shè)計:推理系統(tǒng)架構(gòu)與設(shè)計 (4)、模型訓(xùn)練、算法調(diào)優(yōu) |
主要工作產(chǎn)出物 | (1)、Models (2)、Paper (3)、分析/評估報告 |
優(yōu)秀特質(zhì) | |
工作流程 | |
6. Data Engineer/數(shù)據(jù)工程師—C3角色
背景 | 數(shù)據(jù)工程師的主要任務(wù)是維護數(shù)據(jù)pipelines,完成 data management pipeline 的數(shù)據(jù)抽取、聚合、清洗、存儲以及自動化流水線的監(jiān)控工作,確保后續(xù) ML工作的數(shù)據(jù)可用性。 |
職責(zé) | (1)、開發(fā)項目中數(shù)據(jù)存儲設(shè)計、開發(fā)和性能優(yōu)化工作 (2)、數(shù)據(jù)聚合/存儲→數(shù)據(jù)”建模”:此處的數(shù)據(jù)模型是指數(shù)據(jù)庫中的table (3)、取數(shù)→數(shù)據(jù)清洗→數(shù)據(jù)挖掘 (4)、數(shù)據(jù)監(jiān)控 |
主要工作產(chǎn)出物 | (1)、數(shù)據(jù)庫/數(shù)據(jù)倉庫 (2)、sql取數(shù)相關(guān)代碼 |
優(yōu)秀特質(zhì) | |
工作流程 | |
7. ML Engineer/機器學(xué)習(xí)工程師—C4角色
背景 | 機器學(xué)習(xí)工程師一般在數(shù)據(jù)科學(xué)家和研究員的工作基礎(chǔ)上,進一步進行模型的訓(xùn)練與調(diào)優(yōu),以匹配項目/產(chǎn)品設(shè)定的技術(shù)指標(biāo),并完成推理系統(tǒng)與模型的部署以及與業(yè)務(wù)軟件系統(tǒng)的集成。 |
職責(zé) | (1)、解決需求:利用數(shù)據(jù)挖掘/機器學(xué)習(xí)/深度學(xué)習(xí)等相關(guān)算法,解決核心業(yè)務(wù)需求 (2)、算法選型→工程實現(xiàn)→優(yōu)化創(chuàng)新:模型訓(xùn)練、算法調(diào)優(yōu) (3)、推理系統(tǒng)部署:模型部署、推理系統(tǒng)接口開發(fā) (4)、軟件系統(tǒng)集成:推理系統(tǒng),與軟件產(chǎn)品集成 (5)、構(gòu)建機器學(xué)習(xí)工具和代碼庫 |
主要工作產(chǎn)出物 | (1)、Models (2)、推理系統(tǒng) (3)、軟件集成 |
優(yōu)秀特質(zhì) | (1)、編碼能力:對于機器學(xué)習(xí)工程師來說,具備一定的代碼實現(xiàn)能力以及掌握一種主流的后端開發(fā)語言(Java、C#、.NET Core、C++、Go 等)是有必要的。 |
工作流程 | |
8. DevOps Engineer/DevOps工程師—C5角色
背景 | DevOps 的理念已經(jīng)得到了廣泛的認同與實踐,相關(guān)工具鏈從開源免費到閉源商用、從私有化部署到 SaaS 服務(wù),極為豐富與完善,當(dāng)選項太多后,如何選擇與應(yīng)用成了一個新問題。選擇適當(dāng)?shù)墓ぞ邔崿F(xiàn)過程自動化,DevOps 其中涉及的知識點與技能棧的要求相對較高,所以 DevOps 工程師誕生了。 |
職責(zé) | (1)、構(gòu)建DevOps 流程:并分析、優(yōu)化 DevOps 實踐 (2)、搭建基礎(chǔ)設(shè)施平臺:DevOps pipeline工具鏈的選型,部署、維護與監(jiān)控 (3)、建立持續(xù)的 CI/CD環(huán)境:加速軟件開發(fā)和部署過程,規(guī)避風(fēng)險 |
主要工作產(chǎn)出物 | (1)、DevOps 文化引導(dǎo) (2)、DevOps 基礎(chǔ)設(shè)施平臺 (3)、用戶私有化環(huán)境的產(chǎn)品部署 |
優(yōu)秀特質(zhì) | |
工作流程 | |
| |
9、Software Develop Engineer/軟件開發(fā)工程師—D1角色
如前述,本文主要探討的是機器學(xué)習(xí)方法的任務(wù),所以對于Traditional Software Engineering部分所涉及的不同角色,比如:架構(gòu)師、UI、UE、前端、后端、移動端及功能測試、自動化測試等,全部合并為“Software Develop Engineer(SDE)”統(tǒng)一指代。
背景 | 對于軟件開發(fā)工程師,實際上,做為一個產(chǎn)品或者項目交付的系統(tǒng)來說,機器學(xué)習(xí)/深度學(xué)習(xí)的model部分的時間占比重并不高,更多的是偏向于傳統(tǒng)軟件工程的架構(gòu)、工具、數(shù)據(jù)、代碼等內(nèi)容,而這部分內(nèi)容是 SDE 團隊更加擅長和熟悉的。 |
職責(zé) | (1)、架構(gòu)設(shè)計 (2)、接口設(shè)計:APIs、MQ、JSON 等規(guī)約內(nèi)容提前約定、設(shè)計; (3)、軟件(前/后端)開發(fā)、測試 |
主要工作產(chǎn)出物 | (1)、與DL推理系統(tǒng)集成 (2)、軟件產(chǎn)品 |
優(yōu)秀特質(zhì) | |
工作流程 | 對于 SDE 部分的工作內(nèi)容,不做過多介紹,大家都非常清楚分工、工作內(nèi)容與交付物。對于涉及到深度學(xué)習(xí)的部分,有如下建議: (1)、對于 CV 類的項目有可能 Web 頁面需要展示實時視頻流與標(biāo)注框,提前約定好: A:傳坐標(biāo)前端繪制; B:推理平臺OpenCV繪制標(biāo)注框,以及是否需要轉(zhuǎn)碼為視頻流; (2)、還需評估抽幀后的前端展示效果,是否滿足需求; (5)、業(yè)務(wù)端對 DL Servin端的調(diào)用需求、任務(wù)等接口設(shè)計; |
| |
10. Delivery Engineer/交付工程師—D2角色
背景 | 在傳統(tǒng)的軟件交付領(lǐng)域有這種“共識”——三分軟件,七分實施。 交付環(huán)節(jié)對于軟件項目來說,是非常、非常、非常重要的,千萬不可輕視。這項工作,絕非安排一個項目經(jīng)理,帶上幾個剛畢業(yè)愿意出差、能吃苦的小孩就可以順利完成的。 再考慮到深度學(xué)習(xí)部分帶來的項目技術(shù)概念復(fù)雜性、結(jié)果不可預(yù)測性、不可解釋性,會使得項目交付工作更加艱難,更需要有專業(yè)化的團隊去完成交付工作。 |
職責(zé) | 機器學(xué)習(xí)項目的落地交付環(huán)節(jié),是在項目經(jīng)理的帶領(lǐng)下,由一批具有各種不同技能與能力的交付工程師組成團隊,完成項目交付與實施工作。 (1)、項目需求調(diào)研 (2)、現(xiàn)場測試、實施 (3)、完成項目交付、驗收 (4)、完成軟件系統(tǒng)的客戶培訓(xùn)、技術(shù)支持:解決客戶遇到的問題 |
主要工作產(chǎn)出物 | (1)、項目需求調(diào)研報告 (2)、項目計劃、實施方案 (3)、項目過程文檔 (4)、產(chǎn)品開發(fā)交付文檔 |
優(yōu)秀特質(zhì) | (1)、情商:溝通、協(xié)調(diào)與項目管理的能力、需求溝通與需求判斷能力, (2)、知識儲備:行業(yè)理解、流程認知與行業(yè)專屬名詞熟知程度 (3)、文案功底:公文寫作與匯報能力 (4)、技術(shù)能力:系統(tǒng)架構(gòu)評估與代碼實現(xiàn)評估能力,機、網(wǎng)絡(luò)、存儲等系統(tǒng)集成的工程與技術(shù)能力 (5)、綜合能力:開會能力、風(fēng)險管理能力,問題定位與排查能力;抗壓能力與心里素質(zhì);綜合布線、施工管理及與工人溝通能力;變通能力與處事靈活性 |
工作流程 | (1)、項目需求調(diào)研 (2)、制訂項目交付計劃、策略 (3)、系統(tǒng)部署與現(xiàn)場測試 (4)、培訓(xùn)用戶使用 (5)、上線后監(jiān)控 |
參考文章
AI 項目落地應(yīng)用指南--3.機器學(xué)習(xí)項目團隊組成 - 知乎