就在google涉嫌操縱盲測調(diào)研報告的“報告門”事件鬧得沸沸揚揚之時,曾經(jīng)參與過百度IPO的投行人士向記者秘密透露,有關搜索引擎的“盲測”其實早在雅虎和google搜索大戰(zhàn)中被證實這是一個非常不科學的搜索引擎分析方法。
他在郵件中向記者介紹說,2002年的雅虎已經(jīng)隱隱感覺到來自google巨大威脅,決心在搜索服務上大規(guī)模投入。隨即雅虎一位科學家發(fā)明了一種盲測的方法,即編寫一個小程序同時顯示雅虎和Google對同一關鍵詞的搜索結(jié)果,并把他們并排顯示,但顯示時隱去了各自的品牌。雅虎找來了很多普通的用戶,讓他們選擇哪個引擎的結(jié)果更好。并根據(jù)用戶選擇的統(tǒng)計結(jié)果來判定雅虎和Google的技術(shù)差距。雅虎的工程師們不斷改變自己的搜索引擎,盲測的結(jié)果也表明雅虎和Google的搜索質(zhì)量越來越接近。
“最后甚至超過了google。然而,后來的事情人們都知道了,雅虎沒有能夠阻止Google從它那里不斷搶走用戶,也永遠的丟失了美國搜索引擎老大的地位?!痹撊耸繜o不遺憾的說。
而雅虎似乎也開始坦然面對這次致命的失敗,2006年1月,時任雅虎CFO的Susan Decker公開承認:“我們的目標不是成為互聯(lián)網(wǎng)搜索的No. 1,如果能保持現(xiàn)有的市場份額我們就很高興了”。
盲測又曾使雅虎棄購百度而選3721
他還透露了在2003年雅虎決定在中國進行收購時的故事。他認為,這個不科學的“盲測”方法,曾經(jīng)在雅虎收購3721案中起到關鍵的作用。
他透露,2003年,雅虎美國決定在中國尋找收購對象,百度和3721都曾經(jīng)是雅虎考慮的對象。當時百度強在技術(shù),而3721則是強在市場銷售。雅虎按照他們當時的盲測方法,得出的結(jié)論是百度的搜索質(zhì)量不如雅虎中文,所以武斷的認為沒有必要收購,轉(zhuǎn)而采取收購了市場銷售見長的3721,并積極希望這些優(yōu)勢和雅虎的技術(shù)優(yōu)勢形成互補。
但這個錯誤的武斷的收購目標,也正成就了今日的百度。如今,百度已經(jīng)在中國市場上占據(jù)接近70%的市場份額,而雅虎在中國份額不足4%。
盲測依然在愚民愚己
無獨有偶,美國有一家調(diào)查公司,Keynote Systems,2006年初也采用盲測的方法對百度、google、搜狗、雅虎等中文搜索進行評測,結(jié)果google的得分最高,于是該公司負責人稱中國用戶更加偏愛在google的整體體驗,并進一步預測google會在未來的一年里獲得更多的市場份額。但事實上,后來的一年里,google進一步丟失了10%左右的市場份額。而百度份額一直穩(wěn)升未降。
問題出在哪里?他認為,這只能說盲測是一個錯誤的搜索引擎分析方法,因為它屏蔽了用戶體驗的很多方面。比如用戶界面的差別,響應速度的差別等。參與評測的用戶由于是為了測試搜索引擎才進行搜索的,他們輸入的關鍵詞和判別結(jié)果的好壞也無意中使用了與平時不同的標準。這樣盲測結(jié)果好,不一定說明用戶體驗好,更不能說明盲測結(jié)果好的搜索引擎會獲得更多的市場份額。
該人士最后表示,現(xiàn)在在美國搜索業(yè)界,盲測已經(jīng)不能作為判別搜索引擎好壞的標準了,媒體也不再報道任何盲測的結(jié)果,但在中國,可能很多人還沒有明白這個道理。