?

世界正在信息化，數(shù)據(jù)越來(lái)越多，基于數(shù)據(jù)開發(fā)的產(chǎn)品也越來(lái)越多，越來(lái)越多！

一般數(shù)據(jù)產(chǎn)品，都包括如下典型流程：

1.數(shù)據(jù)獲取

2.數(shù)據(jù)轉(zhuǎn)換

3.數(shù)據(jù)應(yīng)用

數(shù)據(jù)產(chǎn)品經(jīng)理的工作，如果按上面的數(shù)據(jù)流程來(lái)看，主要包括三種類型的工作，不同的數(shù)據(jù)PM工作偏向不同（以下分類也不是嚴(yán)格劃分的）。

一.數(shù)據(jù)獲取、清洗

要做數(shù)據(jù)產(chǎn)品，首先要有數(shù)據(jù)，數(shù)據(jù)來(lái)源，大概有2種方式：別人給、自己找。

別人給，當(dāng)然好，但是要么得掏錢，要么會(huì)有使用限制。

別人給的數(shù)據(jù)，數(shù)據(jù)質(zhì)量也可能會(huì)是問(wèn)題，亂碼、缺字段是常有的事。

自己找，會(huì)比較麻煩，自己的系統(tǒng)，可以加碼、埋點(diǎn)，地圖的產(chǎn)品，會(huì)需要定期更新地圖。

數(shù)據(jù)不受自己掌控的話，看看能不能通過(guò)爬蟲抓取（爬蟲幫你圓大數(shù)據(jù)的夢(mèng)），有很多基于爬蟲的數(shù)據(jù)分析產(chǎn)品，用戶分析、輿情分析、物價(jià)分析、量化投資等。

在數(shù)據(jù)獲取和清洗環(huán)節(jié)，數(shù)據(jù)PM需要：

1.會(huì)將業(yè)務(wù)需求進(jìn)行解讀。

最終轉(zhuǎn)化成不同的數(shù)據(jù)需求，數(shù)據(jù)PM首先要確定這些數(shù)據(jù)如何獲取，確定最終的方案。

2.特別注意數(shù)據(jù)質(zhì)量和數(shù)據(jù)穩(wěn)定性。

上游數(shù)據(jù)質(zhì)量就差的話，下游的每個(gè)環(huán)節(jié)都要浪費(fèi)很多時(shí)間來(lái)處理。

數(shù)據(jù)質(zhì)量可以靠校驗(yàn)、對(duì)比，數(shù)據(jù)穩(wěn)定性可以靠監(jiān)控。

數(shù)據(jù)的上游，需要勇于懷疑數(shù)據(jù)的質(zhì)量，這是最容易出問(wèn)題的環(huán)節(jié)，在這里，各種抽樣、枚舉、對(duì)比、假設(shè)，各種SQL、ES、Hive查詢，善于對(duì)數(shù)據(jù)做各種圖表分析。

要比用戶更早的發(fā)現(xiàn)問(wèn)題，比工程師更快的排查問(wèn)題原因。

3.評(píng)估數(shù)據(jù)的成本和收益。

數(shù)據(jù)是有成本的，量越大，質(zhì)量越高，成本越高。所以，要合理的設(shè)計(jì)數(shù)據(jù)獲取的策略：

走接口、FTP、還是硬盤郵寄；

數(shù)據(jù)多久更新一次，是否去重，如何去重；

熱數(shù)據(jù)怎么存，存多久，冷數(shù)據(jù)怎么存；

雖然說(shuō)數(shù)據(jù)越全，數(shù)據(jù)質(zhì)量越高越好，但是一分錢一分貨，最終的數(shù)據(jù)獲取和清洗方案，需要綜合考慮成本、收益、開發(fā)難度、開發(fā)排期（似乎每個(gè)產(chǎn)品都這樣，不止是數(shù)據(jù)產(chǎn)品@@）。

經(jīng)常需要談數(shù)據(jù)合作，找數(shù)據(jù)找破頭；

經(jīng)常需要看API文檔，接口查字段；

經(jīng)常需要和人撕，別人的東西總是容易出問(wèn)題的。

二.數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)服務(wù)

基礎(chǔ)數(shù)據(jù)已經(jīng)有了，開始要大干一場(chǎng)了，數(shù)據(jù)轉(zhuǎn)換的環(huán)節(jié)，高端的說(shuō)法，是ETL，我簡(jiǎn)單的理解為：拿到基礎(chǔ)數(shù)據(jù)后，會(huì)根據(jù)不同的業(yè)務(wù)需求再做數(shù)據(jù)清洗，然后將數(shù)據(jù)導(dǎo)入各個(gè)數(shù)據(jù)轉(zhuǎn)換或計(jì)算模型，并對(duì)更下游的應(yīng)用提供數(shù)據(jù)服務(wù)。

這里的模型，不一定是用戶畫像、推薦這些，也可以是基礎(chǔ)的篩選、排序、匹配、簡(jiǎn)單的邏輯計(jì)算。

為了讓應(yīng)用層拿到更高質(zhì)量的數(shù)據(jù)，減少應(yīng)用層的計(jì)算，這一層做有很多很多的小的計(jì)算模塊，也經(jīng)常做服務(wù)分層，分為基礎(chǔ)數(shù)據(jù)服務(wù)層（業(yè)務(wù)弱相關(guān)層）、業(yè)務(wù)強(qiáng)相關(guān)層。

數(shù)據(jù)轉(zhuǎn)換層，可以對(duì)外提供商用的計(jì)算、存儲(chǔ)服務(wù)，還可以直接數(shù)據(jù)變現(xiàn)，比如ID匹配，或者直接賣數(shù)據(jù)。

在數(shù)據(jù)轉(zhuǎn)換環(huán)節(jié)，數(shù)據(jù)PM特別需要和架構(gòu)師深入溝通（或者工程師），數(shù)據(jù)PM的職責(zé)包括：

1.需要了解很多數(shù)據(jù)存儲(chǔ)、計(jì)算的知識(shí)

MySQL、Hadoop、HBase、Spark、Redis、Kafka...很多很多，不需要都深入了解，但至少了解他們的功能、特點(diǎn)、差別，然后能更好的和工程師溝通，更好的參與方案設(shè)計(jì)。

2.全局設(shè)計(jì)能力

PM更了解業(yè)務(wù)，工程師更了解技術(shù)，兩者協(xié)作，完成數(shù)據(jù)處理流程的設(shè)計(jì)或優(yōu)化。

但是，大公司，可能分了很多很多層，基礎(chǔ)服務(wù)層，可能不需要PM，PM提需求就行。這部分比較虛，沒(méi)什么經(jīng)驗(yàn)的時(shí)候也沒(méi)法做，做久了、思考深了，慢慢就會(huì)了（其實(shí)，這一層，和應(yīng)用層的關(guān)聯(lián)很大）。

3.成本收益評(píng)估、數(shù)據(jù)質(zhì)量、服務(wù)穩(wěn)定性

數(shù)據(jù)轉(zhuǎn)換層，會(huì)消耗更多的計(jì)算資源，這里通常有著龐大的集群，所以，這里設(shè)計(jì)的好，能節(jié)省大量的資源，同樣也要評(píng)估成本收益，要勇于拒絕應(yīng)用層妙想天開的需求。

這一塊的數(shù)據(jù)質(zhì)量、服務(wù)穩(wěn)定性，同樣重要，對(duì)上要擔(dān)心數(shù)據(jù)供應(yīng)的問(wèn)題，還需要對(duì)下游的數(shù)據(jù)應(yīng)用負(fù)責(zé)，三明治的感覺(jué)，出問(wèn)題的時(shí)候容易感覺(jué)鴨梨山大！

數(shù)據(jù)轉(zhuǎn)換層，需要更強(qiáng)的邏輯分析能力，業(yè)務(wù)那邊反應(yīng)的問(wèn)題，很可能是他們自己的問(wèn)題，也可能是上游數(shù)據(jù)供應(yīng)的問(wèn)題，當(dāng)然，更有可能是漫長(zhǎng)的數(shù)據(jù)轉(zhuǎn)換流程，有環(huán)節(jié)出了問(wèn)題。

這一層，除了要會(huì)各種SQL、ES、Hive查詢，還需要熟練Excel或者SPSS，還需要熟練使用業(yè)務(wù)端的產(chǎn)品（故障復(fù)現(xiàn)很重要），還需要做好業(yè)務(wù)級(jí)指標(biāo)的監(jiān)控告警，最最重要的是，要提前想好各種情況的應(yīng)急方案，是艱難的提供服務(wù)，還是提供有損服務(wù)，還是人工支持。

三.數(shù)據(jù)應(yīng)用、數(shù)據(jù)展現(xiàn)

應(yīng)用層，各個(gè)公司的數(shù)據(jù)應(yīng)用層就豐富多彩千差萬(wàn)別了，有流量分析、廣告分析、用戶分析、銷量分析、財(cái)務(wù)分析、傳播分析、ERP...(額，本狗知道的有限)。

但是，本狗認(rèn)為用戶畫像、反作弊、廣告投放策略、推薦、NLP等模型或策略類的產(chǎn)品，才算是數(shù)據(jù)PM，像BI類的產(chǎn)品，各種業(yè)務(wù)的指標(biāo)維度，以及可視化展現(xiàn)（業(yè)務(wù)有多豐富，BI系統(tǒng)就有多么龐大），應(yīng)該分類為是商業(yè)（數(shù)據(jù)分析）產(chǎn)品，這類的PM工作和具體的業(yè)務(wù)嚴(yán)重綁定，而且經(jīng)常有很多定制化功能要做。

本環(huán)節(jié)的數(shù)據(jù)PM，能力偏向如下：

1.數(shù)學(xué)功底及數(shù)據(jù)分析能力

懂算法、建模、調(diào)參，是必不可少的，貝葉斯、隱馬、協(xié)同過(guò)濾…撿起矩陣論、數(shù)理統(tǒng)計(jì)的課本，掏出機(jī)器學(xué)習(xí)、人工智能的經(jīng)典，親手?jǐn)]起R、python、java，準(zhǔn)備一大疊白紙推公式...

但是大公司，會(huì)有專門的算法工程師，PM只要能理解就行。數(shù)據(jù)分析能力也是必須的，這里更需要去解讀數(shù)據(jù)，特別是異常的數(shù)據(jù)。

2.深度理解業(yè)務(wù)

用戶畫像、反作弊、廣告投放策略、推薦、NLP這些，是和業(yè)務(wù)緊密關(guān)聯(lián)的，比如廣告、打車兩個(gè)領(lǐng)域，都有反作弊。

這些應(yīng)用離錢更近，一點(diǎn)點(diǎn)的指標(biāo)的改進(jìn)，都能帶來(lái)很多錢。

數(shù)據(jù)產(chǎn)品和商業(yè)產(chǎn)品、用戶產(chǎn)品，差別很大，每天都是和數(shù)據(jù)打交道，需要深入了解各種數(shù)據(jù)分析方法、數(shù)據(jù)的存儲(chǔ)計(jì)算。

數(shù)據(jù)PM也需深入理解業(yè)務(wù)，否則就變成數(shù)據(jù)分析師或者數(shù)據(jù)科學(xué)家了。

經(jīng)常發(fā)出這樣的感慨：數(shù)據(jù)質(zhì)量怎么這么差啊！前面的人清洗了么？尼瑪清洗了過(guò)后怎么還這么差...

經(jīng)常忙于這樣的事情：找好樣本、維護(hù)黑名單、挑語(yǔ)料、人工標(biāo)注…吃力而且不討好。

End.

作者：楠楠 （中國(guó)統(tǒng)計(jì)網(wǎng)特邀認(rèn)證作者）

原文鏈接：http://www./cms/article/articledetails?articleid=4752