在做本篇介紹之前,有以下幾個(gè)方向需要做一個(gè)界定,這些界定是做本篇的前提: 該項(xiàng)目流程是面向業(yè)務(wù)層的,直接通過模型做代碼優(yōu)化或者以BI技術(shù)為方向的不同; 在以上的界定下,我們放心的來談本篇的核心,我相信大多數(shù)一線的數(shù)據(jù)分析師都能適用這套流程。完整的數(shù)據(jù)分析(挖掘)流程包括:需求提報(bào)審核、商業(yè)理解、數(shù)據(jù)理解、專項(xiàng)分析(建模)、部署與實(shí)施優(yōu)化、項(xiàng)目總結(jié)六大部分。 任何數(shù)據(jù)分析的起點(diǎn)都是從業(yè)務(wù)需求開始的。在收到業(yè)務(wù)需求后,首先要做的還不是業(yè)務(wù)夠通,是考量這個(gè)需求是否可以受理。導(dǎo)致需求不能受理的原因包括業(yè)務(wù)需求本身是個(gè)偽命題以及目前的數(shù)據(jù)無法支撐該需求的分析。 目的:第一步需求提報(bào)的審核目的是找到最佳需求命題,并確定該命題的可行性。 二、商業(yè)理解 商業(yè)理解包括業(yè)務(wù)語言轉(zhuǎn)化成數(shù)據(jù)語言的整個(gè)過程,目的是確定業(yè)務(wù)通過數(shù)據(jù)需要實(shí)現(xiàn)的具體緯度,粒度,數(shù)據(jù)范圍等,通過方案思路進(jìn)行二次確認(rèn)。確認(rèn)思路后,會(huì)正式開始項(xiàng)目的數(shù)據(jù)部分工作。 目的:確認(rèn)業(yè)務(wù)邏輯、數(shù)據(jù)分析需求、數(shù)據(jù)產(chǎn)出內(nèi)容方向及分析思路。 三、數(shù)據(jù)準(zhǔn)備 數(shù)據(jù)準(zhǔn)備是對(duì)即將進(jìn)行的分析和挖掘工作進(jìn)行預(yù)處理,包括從數(shù)據(jù)倉庫中取數(shù),驗(yàn)證數(shù)據(jù)質(zhì)量,數(shù)據(jù)特征提取,異常值處理,數(shù)據(jù)轉(zhuǎn)換,合并等,為最終的數(shù)據(jù)分析挖掘做準(zhǔn)備。這個(gè)階段是非常費(fèi)時(shí)但是重要的工作,前期這個(gè)工作做不好會(huì)直接影響數(shù)據(jù)質(zhì)量。 目的:數(shù)據(jù)前期清洗。 四、專項(xiàng)分析(建模) 經(jīng)過需求確認(rèn),數(shù)據(jù)清洗之后,開始了專項(xiàng)數(shù)據(jù)分析和挖掘工作,包括常用的描述性數(shù)據(jù)統(tǒng)計(jì)、數(shù)據(jù)分類、聚類、管理、序列、規(guī)則提取等建模工作,并在專項(xiàng)分析或建模結(jié)束后完成模型測(cè)試工作,保持模型的穩(wěn)定性和最佳擬合度。 目的:報(bào)告撰寫、模型搭建。 五、部署與實(shí)施優(yōu)化 本階段包括數(shù)據(jù)結(jié)果輸出,方式可能是郵件、會(huì)議類(通常是二者配合),在業(yè)務(wù)報(bào)告溝通中確認(rèn)落地執(zhí)行計(jì)劃,并安排排期和計(jì)劃方案,同時(shí)數(shù)據(jù)分析師進(jìn)行數(shù)據(jù)收集,等業(yè)務(wù)執(zhí)行完畢后進(jìn)行效果再評(píng)估,并根據(jù)評(píng)估結(jié)果優(yōu)化前期報(bào)告或模型結(jié)果。 目的:數(shù)據(jù)落地。 六、項(xiàng)目總結(jié) 在整個(gè)項(xiàng)目結(jié)束后,進(jìn)行整體總結(jié),反思本項(xiàng)目整個(gè)過程,包括前期需求溝通與確認(rèn)是否清晰,中期數(shù)據(jù)處理、分析和挖掘如何優(yōu)化,后期數(shù)據(jù)落地效果和建議等,對(duì)整個(gè)項(xiàng)目有新的認(rèn)知,最終為下一次項(xiàng)目積累經(jīng)驗(yàn)。如果有必要,可以跟業(yè)務(wù)一起溝通討論本次項(xiàng)目的優(yōu)劣得失。另外,不是所有的有效項(xiàng)目都是以成功結(jié)束,失敗的項(xiàng)目也可以為我們帶來啟發(fā),最起碼能說明業(yè)務(wù)的邏輯或出發(fā)點(diǎn)不可行。 目的:經(jīng)驗(yàn)總結(jié) 只會(huì)做挖掘、只會(huì)寫報(bào)告的數(shù)據(jù)分析師只能算一半,另一半就是如何把我們的思想、建議融入業(yè)務(wù)中,真正讓他們理解并付諸實(shí)踐。這才是數(shù)據(jù)分析師存在的真正價(jià)值。
|
|