|
這個問題真心能寫一本書，在百度有上百人從事和評估相關的工作 latent Z 說的七個維度，只是評估網頁搜索效果的指標之一：Q-U相關性的評價標準中的一部分（直接從文檔里抄下來的小標題?。I(yè)一點好不好……） 所謂檢索滿意度是個很虛的東西，但是可以從用戶行為中看到端倪。通過分析用戶點擊順序、停留時間，點擊數量等，能夠大概分析出一個用戶是否滿意，花了多長時間滿意，被哪一個結果所滿足?；蛘咄ㄟ^AB Test，Interleaving等方法，可以對比A、B搜索結果的好壞，得到一個相對值。舉個簡化了的栗子： 某用戶搜了【知乎】，然后直接點擊了首位的知乎網站，之后沒有點別的?；究梢耘袛酁闈M足了，而且滿足程度非常高； 某用戶搜了【蒼老師最新作品下載】，點了一個結果，過一會又來點另一個，過一會又來點……翻頁點了十幾個最后走了，他的滿足程度可能就很低（都是無效資源啊，下載不了，只能一個一個換） 這類方法的前提是你能夠得到大量的用戶行為統計，基于這些實際數據進行分析。但現實中并不是總有用戶數據，比如新策略還沒上線，或者你是競爭對手的人等等。 實際上還有五花八門的人工評估從各個角度判斷搜索結果質量。人工評估就是將現實中用戶的偏好抽象為幾個考察點，比如上面說的七個維度，然后模擬這個過程。我說一點眾所周知的思路吧： 對搜索結果中的前N條URL分別進行Query-URL相關性評估，并根據排名賦予權重，計算出一個值，名曰DCG，通過這個絕對數值反映單次搜索前N結果的質量 將同一query下的百度搜索結果和競品結果進行橫向對比，判斷好壞及程度，得出誰家搜索質量更好的結論，名曰Side-by-side。 在評估中如果隱去兩側所有品牌標識，并左右環(huán)境順序隨機互換，即為盲測，盲測的結論一般都會非?？陀^反應搜索引擎質量差距。 以上是僅關注搜索結果及其排序的評估方法舉例。除此之外，摘要、飄紅、sug等感知項目，也都會影響到結論，每種都有自己的評估方法。 最后如何評估，選取關注哪些指標，關鍵在于你評估的目的是什么了。“檢索滿意度” 也是個很大的話題??！ --------------------Update 2013-7-25-------------------- 鑒于有人還是覺得這事太抽象，我就舉個具體的栗子 第一步：明確評估的背景、目的、你所掌握的資源 在這里我們假設一個第三方研究者，想比較百度和谷歌搜索到底哪個好。這個問題在知乎經常有人討論，但大家大多只是說自己的使用感受，而沒有人能拿出信服的調研數據，現在我們就是要解決這個問題。由于作為第三方研究者很難獲取到兩個搜索引擎完整的用戶行為，即使有了不可控變量也太多，無法得到嚴謹的結論。但是抓取雙方的搜索結果是很容易的 第二步：確定評估方法 評估的基本方法是顯而易見的：選定N個query，把每一個query在兩邊同時搜一下就可以對二者進行橫向比較了，最后算一個平均指標。 重點在于指標如何選取，在這里我們可以用上面提到的兩種角度，即： 1 對前N結果（一般都是3，有時還有5或10）逐個判斷相關性，然后根據位置賦予權重，分別計算兩側搜索結果質量值（DCG） 2 對兩側結果進行綜合比較，給出一個相對值（左邊好？右邊好？好的程度？） 第三步：制定評估標準 這一步很重要，既然要評估，那就一定要先確定下來什么叫“好”，什么叫“差”，標準必須盡量反映用戶的真實感受而且始終保持一致。在這個方面，百度也好谷歌也好，都有厚厚的一坨規(guī)定，且基本思想大致相同。如果可以搞到一份，那么這個步驟就省力了。 第四步：數據準備 1 抽query：在本次評估的背景下，從數量上來說，使用1000個query作為樣本是性價比比較高的選擇。太少的話波動大，太多會標到吐血（熟練標注員每人每天可以標100Q左右）。Query必須隨機抽取于近期用戶自然產生的query，而不是自己憑空編出來的1000個詞，這樣能夠確保Query類型（長短冷熱中外...）的分布接近實際比例，進而才有可靠的結論 2 抓網頁：query確定下來，就要開始抓百度和谷歌的搜索結果了。為了保證結果公平可靠，應該進行盲測，即隱去兩邊品牌特征，再狠一點的，應該在評估過程中隨機調換左右順序。這里比較麻煩的是阿拉丁啊，知識圖譜啊這類特型展現，熟悉搜索引擎的人一眼就看出是誰家的，這個暫時就沒辦法了，評估時盡量保持客觀中立吧。 第五步：評估 最主要的部分來了，這里要對抓取的結果進行人工評估。你可以自己一個人連評10天；或者找?guī)讉€人一起做，但是要先對他們進行統一培訓，以免標準不一；也可以找一群人，每個人都做一遍，然后取他們平均數也好多數投票也好，當然也得培訓了，還得防著濫竽充數的。成本和靠譜程度依次遞增。 第六步：統計 這一步沒啥好說的，按照之前想好的方式統計一下結果，做個總結就OK了。百度和谷歌誰更好，哪里好，好多少，一清二楚。 然后下一次再和別人討論百度好還是谷歌好的時候，你“嗖”的一下掏出這份報告，小伙伴們都會驚呆的。那些只知道往外扔一兩個badcase來說明問題的人真是弱爆了……百度對網頁搜索的檢索質量評價 |
|
|
