大家好我叫劉凱鵬,花名治平,是阿里媽媽的算法專家和技術(shù)總監(jiān),今天我來和大家聊一聊搜索營銷算法模型的演進(jìn)。 在阿里,人人都會(huì)有一個(gè)花名,我的花名很簡單,取自“修身齊家治國平天下”中的治平兩字,借此表達(dá)一下對古代詩人家國情懷的憧憬之情。 我與阿里的緣分也一樣的簡單,從哈工大博士畢業(yè)以后就進(jìn)入了阿里,一路也算順風(fēng)順?biāo)徊贿^區(qū)別在于,我畢業(yè)的時(shí)候工業(yè)界還是以傳統(tǒng)機(jī)器學(xué)習(xí)方法為主,而到了現(xiàn)在,短短六七年間人工智能已經(jīng)遍地開花,這給業(yè)界造就了巨大的機(jī)會(huì),也衍生出了大量的挑戰(zhàn),因此我才來此討論這樣的一個(gè)話題。 在入職阿里之前,我在很多國內(nèi)外的互聯(lián)網(wǎng)公司實(shí)習(xí)過,在經(jīng)過了多個(gè)角度的審視感覺,淘寶這一領(lǐng)域?qū)砜隙〞?huì)有所發(fā)展,我入職阿里后的 7年里就見證其從一個(gè)簡簡單單的購物網(wǎng)站,發(fā)展成今天的巨大規(guī)模。 在阿里工作的技術(shù)人普遍更關(guān)心兩個(gè)方面,一是在今天的環(huán)境下,所面臨的數(shù)據(jù)業(yè)務(wù)到底是怎樣的,阿里有著豐富完整閉環(huán)的大數(shù)據(jù)體系,能夠隨時(shí)看清行業(yè)會(huì)面臨著哪些挑戰(zhàn),這是我工作中最興奮的一點(diǎn);電商是一個(gè)以數(shù)字化為基礎(chǔ)的商業(yè)設(shè)施,技術(shù)是其不斷發(fā)展的核心驅(qū)動(dòng)力,這給技術(shù)人提供了一個(gè)廣闊的舞臺。 舉例來講,我初入阿里時(shí)是從事模型類的工作,會(huì)接觸到大量的數(shù)據(jù)特征,從特征量級和樣本量級等方面都無法達(dá)到世界頂尖,但在師兄的引導(dǎo)下,我所在的團(tuán)隊(duì)不斷思考應(yīng)該如何達(dá)成世界頂級的技術(shù),數(shù)據(jù)規(guī)模、訓(xùn)練平臺、數(shù)據(jù)處理方案不斷的討論,結(jié)果發(fā)現(xiàn)好像事情也沒有想象中的困難,經(jīng)過了幾個(gè)月的討論和著手模型制作之后甚至發(fā)現(xiàn)我們的一些技術(shù)甚至已經(jīng)達(dá)到世界頂尖。 我覺得這并非因?yàn)槲覀兪翘觳?,而是因?yàn)槲覀儷@得了這樣一個(gè)舞臺,夢想、舞臺和這些條件激發(fā)了我們的潛力,阿里這種世界級的舞臺就為那些聰明皮實(shí)樂觀自省、有技術(shù)基礎(chǔ)、技術(shù)熱情和技術(shù)成果的人敞開大門。 我的團(tuán)隊(duì)主要負(fù)責(zé)阿里的搜索營銷業(yè)務(wù)。傳統(tǒng)購物需要人找貨,當(dāng)用戶在平臺搜索想買的商品時(shí),搜索引擎會(huì)找用戶感興趣的產(chǎn)品進(jìn)行展現(xiàn),這些商品就獲得了展現(xiàn)流量。商家獲取流量只能通過被動(dòng)的分配。搜索營銷業(yè)務(wù)就是希望給商家提供一些主動(dòng)獲取流量的手段,加快其觸達(dá)到用戶的速度和發(fā)展速度。提高購物效率,幫助商家完成貨找人的過程。 搜索營銷并非一開始就能達(dá)到這一目的的,其發(fā)展分為了三個(gè)階段。第一個(gè)階段是傳統(tǒng)的基于競價(jià)詞營銷階段。商家購買關(guān)鍵詞,系統(tǒng)通過關(guān)鍵詞來完成用戶匹配,通過排序模式運(yùn)作,在這個(gè)時(shí)代里最核心的工作是對于關(guān)健詞的理解,把用戶的意圖去改寫成相關(guān)的關(guān)鍵詞進(jìn)行匹配,進(jìn)行點(diǎn)擊率的預(yù)估,然后去把最終的排序做到面向平臺收益最大化。這種模式的問題很明顯,在相對較小的樣本規(guī)模和特征下才能完成。 第二階段是伴隨著移動(dòng)時(shí)代所造成的個(gè)性化服務(wù)時(shí)代。這個(gè)時(shí)代面臨的兩大難題一在于如何讓匹配和排序有個(gè)性化表現(xiàn);二則是如何幫助商家更好的定位消費(fèi)者。這就需要深入的理解用戶意圖,個(gè)性化的分配流量;同時(shí),還要幫助商家解決好流量的控制問題,幫助他們更好的表達(dá)營銷意圖。在受眾選擇、出價(jià)、預(yù)算、創(chuàng)意制作等各方面適應(yīng)個(gè)性化變化?。 第三個(gè)階段以人工智能技術(shù)為代表的智能營銷時(shí)代。這個(gè)時(shí)代深度學(xué)習(xí)驅(qū)動(dòng)新工具和技術(shù)理解非結(jié)構(gòu)化數(shù)據(jù),以用戶整個(gè)的行為序列完成基于記憶的深度學(xué)習(xí),推動(dòng)購物體驗(yàn)的完善;在商家層面,對用戶意圖更好的理解,對長中短用戶興趣的刻畫都會(huì)更精準(zhǔn),營銷更高效。 但這個(gè)時(shí)代依然有很多挑戰(zhàn),比如如何利用深度學(xué)習(xí)的技術(shù)對用戶認(rèn)知過程進(jìn)行更好的建模和學(xué)習(xí)、如何更精準(zhǔn)的了解商家訴求、如何進(jìn)行宏觀調(diào)控、如何優(yōu)化市場機(jī)制等問題依然存在,在這種情況下,技術(shù)與業(yè)務(wù)將會(huì)結(jié)合的更為緊密。 我們現(xiàn)在面臨的很多業(yè)務(wù)問題都需要最頂尖的技術(shù)手段來解決,所以同工業(yè)界和學(xué)術(shù)界保持良好的互動(dòng)關(guān)系就很有必要。希望能形成一個(gè)學(xué)習(xí)、應(yīng)用到創(chuàng)新循環(huán)。 第一,從業(yè)務(wù)問題出發(fā),去研究界找到最佳匹配研究領(lǐng)域,把研究成果應(yīng)用到業(yè)務(wù)問題里,這就是一個(gè)借鑒過程。第二就是應(yīng)用的過程,把它具體應(yīng)用到我們業(yè)務(wù)里,然后產(chǎn)生自己的想法,能夠去讓整個(gè)業(yè)務(wù)發(fā)展的更好;第三,從本身的業(yè)務(wù)問題出發(fā),找到所借鑒技術(shù)可提升的點(diǎn),基于豐富的數(shù)據(jù)和技術(shù)平臺得到更加具有創(chuàng)造性成果,進(jìn)而反饋到學(xué)術(shù)界,這樣就形成了一個(gè)循環(huán)。在這種方式下,對團(tuán)隊(duì)個(gè)人的技術(shù)能力成長會(huì)有很強(qiáng)的驅(qū)動(dòng)力,對團(tuán)隊(duì)的業(yè)務(wù)目標(biāo)貢獻(xiàn)也會(huì)形成正向循環(huán)。 那么應(yīng)當(dāng)如何理解阿里媽媽的技術(shù)水平在世界上的地位呢?我認(rèn)為技術(shù)應(yīng)該是能夠完整、系統(tǒng)化解決業(yè)務(wù)問題的。阿里媽媽的技術(shù)是依托于阿里的閉環(huán)數(shù)據(jù)和業(yè)務(wù)挑戰(zhàn)而產(chǎn)生的,這是世界上獨(dú)一無二的業(yè)務(wù)場景,因而我們構(gòu)建了一個(gè)完整的技術(shù)棧,從最底層的數(shù)據(jù)處理到中間的實(shí)時(shí)系統(tǒng)、訓(xùn)練平臺、模型應(yīng)用再到一系列的平臺分析等,從而形成一個(gè)完整的技術(shù)圖譜。在搜索營銷的場景中,建立了高水準(zhǔn)的技術(shù)體系,回饋到業(yè)務(wù)訴求中。 如果來看未來技術(shù)的發(fā)展趨勢,我覺得可以從搜索的趨勢來入手就會(huì)明晰。最初的 PC時(shí)代,搜索承載著互聯(lián)網(wǎng)的絕大部分流量,而移動(dòng)時(shí)代到來后,場景碎片化、數(shù)據(jù)個(gè)性化使得獲取信息的方式趨向于推薦等被動(dòng)獲取。但隨著技術(shù)的發(fā)展,被動(dòng)獲取信息并不是最高效的一種手段,因此在未來隨著人工智能的發(fā)展,甚至是語音交互、人機(jī)交互等方式的普及,主動(dòng)獲取信息將又成為主流。屆時(shí),搜索可能會(huì)再次成為主流,這時(shí)可以結(jié)合物聯(lián)網(wǎng)等新的技術(shù)讓用戶更主動(dòng)更好的獲取所需信息, 搜索營銷也會(huì)有相應(yīng)的變化。 技術(shù)的發(fā)展越來越快,想走在時(shí)代的前沿就需要不斷的學(xué)習(xí)。我個(gè)人學(xué)習(xí)的方式比較簡單,一種是知識驅(qū)動(dòng),一種是問題驅(qū)動(dòng)。所謂知識驅(qū)動(dòng)就是在當(dāng)前最流行的領(lǐng)域,緊跟時(shí)代的發(fā)展學(xué)習(xí)各類知識、算法和編程語言等。但我個(gè)人更看好的是問題驅(qū)動(dòng),這需要去看當(dāng)前面臨的核心問題是什么,解決這個(gè)問題需要怎樣的知識網(wǎng)絡(luò)。從問題出發(fā)不僅可以幫助建立健全的知識體系,彌補(bǔ)不足,還可以進(jìn)而激發(fā)自身潛力結(jié)合到實(shí)踐當(dāng)中。 對于技術(shù)人來講,我希望大家能夠做到聽的清楚,想的深刻,說的明白,干的認(rèn)真。也就是說能夠在任何場景下聽清楚別人說的話,然后進(jìn)行思考,想通問題所在,接下來去訓(xùn)練自己,去讓別人也能夠聽清楚,過程中可以通過別人的反饋完成對自己能力的提升,最后投入到實(shí)干之中,以認(rèn)真的態(tài)度完成業(yè)務(wù),不斷進(jìn)步。 以我目前的團(tuán)隊(duì)來看,目前分為了算法策略團(tuán)隊(duì)和工程架構(gòu)團(tuán)隊(duì)。算法策略團(tuán)隊(duì)主要負(fù)責(zé)深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、自然語言處理、圖形處理等技術(shù)領(lǐng)域,然后將這些技術(shù)應(yīng)用到業(yè)務(wù)場景中,一方面幫助用戶找到合適的商品,另一方面幫助商家提升營銷效果和效率。而工程架構(gòu)團(tuán)隊(duì)則主要負(fù)責(zé)解決高并發(fā)條件下如何提升系統(tǒng)服務(wù)性能,保障系統(tǒng)服務(wù)的穩(wěn)定性。這就包含了機(jī)器學(xué)習(xí)的內(nèi)容,如從簡單的線性模型的機(jī)器學(xué)習(xí)升級到深度模型的機(jī)器學(xué)習(xí),增強(qiáng)計(jì)算力應(yīng)對更大挑戰(zhàn)。 在團(tuán)隊(duì)的人才培養(yǎng)方面,首先會(huì)建立團(tuán)隊(duì)的愿景和使命,需要讓所有人都明確我們的愿景使命是什么,然后再制訂出團(tuán)隊(duì)的文化。我們鼓勵(lì)個(gè)人自我超越,讓個(gè)人找到自我超越的方向,然后給予動(dòng)力,幫他們找到自己成長的主要舞臺。另一方面整個(gè)團(tuán)隊(duì)希望能夠共同成長。團(tuán)隊(duì)中有各種各樣的分享機(jī)制,內(nèi)部分享的內(nèi)容可以接受團(tuán)隊(duì)成員的意見,建立團(tuán)隊(duì)內(nèi)部的共同學(xué)習(xí)共同成長的機(jī)制,形成這樣的循環(huán)。在團(tuán)隊(duì)的共同愿景下,達(dá)到共同成長這樣一個(gè)循環(huán),讓團(tuán)隊(duì)成員能夠找到成長的路徑。而且,目前團(tuán)隊(duì)的成員基本上都是來自國內(nèi)外頂尖的學(xué)校和公司,有超過百分之三四十的同學(xué)都是博士畢業(yè)的,這種情形可以幫助團(tuán)隊(duì)快速的成長。 在公司層面來看,阿里對人才有一個(gè)通用的描述:聰明、皮實(shí)、樂觀、自省。而我們團(tuán)隊(duì)對人才的觀念是,第一要有創(chuàng)新力。目前團(tuán)隊(duì)面臨巨大的數(shù)據(jù)挑戰(zhàn),日新月異的業(yè)務(wù)變化場景下,團(tuán)隊(duì)希望所有人有對技術(shù)和業(yè)務(wù)高度的敏感性,這種情況下創(chuàng)新力尤為重要;第二能夠有信念力。相信技術(shù)的力量,相信技術(shù)能夠改變世界,也相信世界能夠因?yàn)槲覀冞@樣的人而變得不同。 近日,我們阿里媽媽聯(lián)合國際人工智能聯(lián)合會(huì)議(IJCAI-2018)以及阿里云天池平臺舉辦了國際廣告算法大賽。賽題是搜索營銷場景下的轉(zhuǎn)化率預(yù)估。轉(zhuǎn)化率是衡量商家營銷效果的一個(gè)重要指標(biāo)。對轉(zhuǎn)化率的準(zhǔn)確預(yù)估是我們提高平臺營銷效率的重要一環(huán)。在這次大賽中,我們會(huì)提供平臺積累的海量真實(shí)交易數(shù)據(jù),希望和學(xué)界、業(yè)界一起來探索這里面的技術(shù)問題。 我發(fā)起這次大賽的初衷有三個(gè)。第一,我希望通過這樣的一個(gè)算法大賽去讓更多的業(yè)界和學(xué)界能夠了解我們的業(yè)務(wù)形態(tài)和我們在這里面真正關(guān)心的一些核心的技術(shù)問題。第二。從工業(yè)界和學(xué)界關(guān)系來講,學(xué)界沒有數(shù)據(jù),他們很少能拿到數(shù)據(jù),我們把這些數(shù)據(jù)脫敏,讓大家可以利用這些數(shù)據(jù)來進(jìn)行研究。從中看到挑戰(zhàn)在哪,技術(shù)的關(guān)注點(diǎn)在哪,這里面重點(diǎn)難點(diǎn)是什么樣的,這樣能夠吸引大家對技術(shù)關(guān)注。同時(shí)也希望通過這個(gè)去對外輸出阿里媽媽的一些技術(shù)成果,擴(kuò)大和大家的交流合作,把技術(shù)做的更好。第三,我們希望能夠鼓勵(lì)創(chuàng)新,也能發(fā)現(xiàn)人才,這次的賽題與我們工作中的很多題目類似,我們希望能夠發(fā)現(xiàn)一些隊(duì)伍和選手有更多新的想法,也希望能夠找到優(yōu)秀的人才。 |
|