許多用戶體驗專家傾向于采用定性的研究方法,原因在于他們認為:定性的研究方法要比定量的研究方法更容易操作和節(jié)約成本。其實,他們忽略了與定量分析聯(lián)系緊密的大樣本量以及數(shù)據(jù)統(tǒng)計的巨大前景。 如果你也是這樣認為的,那你也就錯了!定量的研究方法是任何有經驗的UX研究人員必須掌握的重要技能。定量用戶研究的方法允許你做以下事情:
這篇文章可以讓你清楚的知道,用戶研究的第一步是:確定要使用哪種定量的研究方法。接下來,我們將會給大家介紹一些當下最流行的定量研究方法:
以上每種方法都會產生有價值的定量數(shù)據(jù),但是這些方法在收集的數(shù)據(jù)類型以及所需的資源和工作量方面差別很大。 一、九種定量用戶研究方法概述本文列出了這些方法最常見的示例,并對每種方法的成本和難度進行了評估。與其它任何研究方法一樣,這些方法中的每一種都可以適用各種不同的需求。 根據(jù)具體情況,你的成本和困難可能與我們的粗略估計有所不同。此外,你應該意識到,這些方法中的每一種都需要不同的最小樣本量來確定統(tǒng)計的意義。 1.定量可用性測試(基本測試):
盡管不常用,但是,定量可用性測試(有時也稱為可用性基準測試)與定性可用性測試其實非常相似:兩種方法都要求用戶使用產品去執(zhí)行實際的任務。兩者的主要區(qū)別在于:定性可用性測試優(yōu)先考慮如何觀察用戶行為,比如,識別可用性問題。相比之下,定量可用性測試的重點則是收集數(shù)據(jù)指標,比如任務時間或者成功率。 一旦你收集了相對較大的樣本量(大約35個或者更多),你就可以使用它們來跟蹤產品的可用性,或者將其與競爭對手產品的可用性進行比較。 如果在產品的迭代過程中,你一直追蹤著一些產品的可用性指標,那么你就可以創(chuàng)建一張類似這樣的趨勢圖。這種類型的信息可以幫助你持續(xù)關注產品的用戶體驗,并確保它隨著時間的推移而逐步改進。 你所選擇的可用性測試的類型(現(xiàn)場測試、遠程引導測試或遠程無引導測試)將對成本產生影響,并且難以與此方法相關聯(lián)。由于定量和定性可用性研究的目標不同,測試的結構和進行的任務也需要有所不同。 2.網(wǎng)站分析(或者APP分析):
分析數(shù)據(jù),描述了用戶使用線上產品的各種操作行為,比如,他們去了哪里,點擊了什么,使用了什么功能,他們從哪里來以及到哪里去。這些信息可以幫助你做各種各樣的用戶體驗活動。特別是,它可以幫助你監(jiān)測各種內容、UI或產品功能,并識別哪些不能正常運行。 3.A/B測試或者多變量測試:
雖然,你可以使用分析指標來監(jiān)控產品的性能(如上所述),但你也可以創(chuàng)建一些實驗,來檢測不同的UI設計,然后,通過A/B測試或多變量測試來改變這些指標。 在A/B測試中,團隊需要創(chuàng)建同一界面的兩個不同的最新版本,然后將每個版本展示給不同的用戶,用來確定哪個版本的性能更好。 例如,你可以創(chuàng)建同一個操作按鈕標簽的兩個版本:“獲得定價”或“學習更多”。然后,你就可以跟蹤統(tǒng)計兩個版本中按鈕的點擊次數(shù)。多變量測試的操作方式也是類似的,但是,它與A/B測試不同的是:多變量測試需要同時測試多個不同的設計元素(例如,測試可能涉及不同的按鈕標簽、排版和頁面上的位置)。 這兩個基于分析的實驗,對于決定同一個設計的不同變體非常有用,并且可以結束團隊關于哪個版本最好的爭論。 A/B測試是將網(wǎng)站流量(用戶)拆分為兩部分:一部分導入到A方案,另一部分則導入到B方案。 這種方法的一個主要缺點是:它經常會被濫用。有些團隊沒有盡可能長時間地運行測試,收集不到足夠的樣本,就匆忙的下了結論,這樣的結論往往失敗的風險很大。 4.卡片分類法:
在卡片分類研究中,參與者會拿到一些內容項(有時是寫在索引卡上的),并要求以一種對他們有意義的方式對這些項目進行分組和標注。這個測試既可以親自進行,也可以使用物理卡片或者使用類似于OptimalSort這樣的卡片排序平臺進行遠程測試。 當卡片排序測試是親自進行時,用戶對物理卡片進行排序和分類,每張卡片都包含了它所代表的內容的描述。 這個方法可以讓你有機會了解用戶的心理模型。他們使用什么術語?他們是如何將這些概念組合在一起的? 對創(chuàng)建類似分組的參與者的百分比進行定量分析,可以幫助確定哪種分類方法對大多數(shù)用戶來說是可以理解的。 5.樹狀測試:
在樹狀測試中,會讓參與者嘗試使用網(wǎng)站的分類結構來完成任務。這種方法本質上是一種評估界面信息架構的方法,通過這種方法可以將界面上的其它信息區(qū)分開來。 例如,假設你的產品是一個寵物用品網(wǎng)站,而這是它頂層的層次結構。 網(wǎng)站信息層次結構的顯示可能看起來是這樣的,樹狀測試要求參與者在這樣的層次結構中找到一個特定的條目(例如,項圈),他們首先看到的只是頂層的分類(例如,狗狗、貓咪、小鳥等)。一旦他們做出一個選擇(例如,狗狗),就會看到自己選擇相應選項的子類別。 你可以要求你的參與者在一個任務中找到狗項圈。對樹狀測試結果的定量分析將顯示人們是否能夠在信息層次結構中找到該項的正確路徑,以及可以確定有多少參與者選擇了錯誤的類別。 這種方法有助于確定界面信息架構的結構、文案以及放置的位置是否符合用戶的心理預期。 6.調研或者問卷調查:
問卷調查是一種靈活的用戶研究工具。你可以在不同的環(huán)境中進行測試,比如,在一個實時網(wǎng)站、電子郵件或可用性測試之后進行簡短的攔截調查。 調研時可以同時獲得定量和定性的數(shù)據(jù),比如評分、多項選擇題中的答案的比例,再加上開放式問題的答案。你甚至可以把對調查的定性回答轉化為數(shù)字數(shù)據(jù)(參見下面的代碼質量評論部分)。 像這樣的語義差別等級量表,每個單選按鈕代表一個數(shù)值。被調研的用戶可以選擇:1.容易使用;5.難以使用;或選擇介于兩者之間的選項。對這個問題的平均回答來衡量你的應用程序在使用上的難易程度。 你可以創(chuàng)建自己的自定義問卷,也可以使用其它已經建好的問卷模版(例如,系統(tǒng)可用性量表或網(wǎng)絡推廣者評分)。 問卷的一個優(yōu)點是:可以經常將你的調研結果與行業(yè)或競爭者的分數(shù)進行比較,看看你做得怎么樣。即使你創(chuàng)建了自己的自定義問卷,也可以隨時間的推移對自己產品平均分數(shù)進行追蹤,來監(jiān)控產品的改進情況。 7.聚類定性評價:
這種技術不是數(shù)據(jù)收集的方法,而是定性數(shù)據(jù)的分析方法,它包括根據(jù)共同主題對定性研究(例如日記研究、調查、焦點小組或訪談)的觀察結果進行分組。如果你進行了大量的觀察,你就可以計算出一個特定主題被提及的實際數(shù)量。 例如,假設你做了一個日記本研究,讓參與者在他們的日常生活中,每周都要報告他們使用產品的時間,目的是理解他們使用產品的背景,你可以算一下用戶在工作、家中或外出的時候使用產品的比例。 這種方法可以識別特定主題或情況的流行程度或頻率,例如,用戶抱怨的頻率或UI問題。 這種方法可以很好地從大量的定性信息中挖掘數(shù)值數(shù)據(jù),但它可能耗時會非常長。 8.滿意度調研:
定量可用性測試試圖使用量化的方式來衡量產品的質量,比如:審美情趣、品牌實力、語氣等。這些研究可以根據(jù)你的研究問題進行定制,但這些方法通常會首先讓參與者接觸到產品(通過向他們展示靜態(tài)圖片或者要求他們使用現(xiàn)場產品或原型)。然后,要求用戶通過從描述性的詞語列表中選擇一個來描述當前設計。 如果你獲取自身目標用戶的樣本量足夠大,那么整體趨勢就會顯示出來。例如,你可能會有84%的受訪者將此設計描述為“最新”。 9.眼動研究:
眼球追蹤研究需要特殊設備來追蹤用戶的眼睛注意力軌跡,因為他們在界面間移動。當許多參與者(30個或更多)在同一個界面上執(zhí)行相同的任務時,有意義的趨勢就會出現(xiàn),你可以清楚地看出頁面的哪些元素會吸引用戶的注意力。 眼動跟蹤可以幫助你確定哪些界面和內容元素需要強調或者弱化,從而使用戶能夠輕松的實現(xiàn)他們的目標。 眼球追蹤軟件可以使用聚合的凝視數(shù)據(jù)(用戶在這里查看界面,用綠點表示)來創(chuàng)建各種可視化效果。 進行眼球追蹤研究的一個主要障礙是高度專業(yè)化、價格昂貴和不穩(wěn)定的設備,這些設備需要大量的培訓才能使用。 二、選擇一種方法(九種方法概況表)上表提供了上面討論的研究方法的概況。 三、從你的研究問題開始1.當你要確定使用哪種定量研究的方法時:首先,你得先確定你要研究的問題:你想知道什么?以上方法中有一些非常適合一般性的研究問題。例如:
對于這些類型的問題,你可能需要使用:定量的可用性測試、web分析或調查問卷。 2.當你有一個想要回答的具體問題時:以上方法中也會有好的方法來研究以下這些問題。例如:
對于這些研究問題,你可能需要使用:A/B測試,卡片分類,樹狀測試,編碼定性評論法,滿意度調研,或眼球追蹤。 然而,在這些建議的方法中有一些不可控的因素。例如,由于安全或者技術原因,你的公司可能不會選擇A/B測試的方法。如果是這樣的話,你能做的就是發(fā)起一個面對面的可用性研究來對比兩個原型。 然而,這并不是定量可用性測試的典型應用,所以我在這里就不討論它了。 四、考慮研究成本在研究問題之后,選擇研究方法的第二大影響因素是成本。這些方法在成本上的差異很大程度上取決于你如何實現(xiàn)該研究。你使用的工具,要求的參與者數(shù)量,以及研究人員花費的時間都將影響最終的成本。 更復雜的是,許多團隊的研究預算也有很大差異。再者,這里的成本估計是相對的。 預算相對較低的團隊可能需要依靠數(shù)據(jù)收集分析的方法,比如,使用遠程可用性測試、在線卡片排序平臺(如OptimalSort)、A/B測試以及網(wǎng)站分析(或APP分析)的方法。根據(jù)經驗,面對面的方法(比如面對面的可用性測試,面對面的卡片排序)往往成本比較高,因為它們需要很多的研究人員和時間成本。此外,他們還要求外出和租賃專業(yè)設備。 眼動測試應該是這里列出的最昂貴的方法了,只有那些擁有大量預算和專門的用研團隊才會使用它。 這張圖顯示了本文中討論的定量研究方法的位置,即它們適合于研究問題(一般到特定)的不同維度級別。 五、總結一旦你選擇了一個方法,就要去了解和學習!結束之后,確保你能夠按照你想要的方式和計劃進行研究,并保證能得到對自身有用的結果。 要注意的是:你不能只收集數(shù)據(jù)指標,不做任何統(tǒng)計分析就開始做決定。僅僅收集5個用戶的評級響應是不夠的,要取一個平均值,然后再繼續(xù)。 對于這里討論的每種方法,都有不同的建議最小樣本量。為了獲得可靠的數(shù)據(jù)和確定統(tǒng)計的意義,你可能需要收集數(shù)據(jù)點的數(shù)量需要達到最小樣本量才行。如果不這樣做,就不能保證你的發(fā)現(xiàn)或者結論是正確的。 不管你使用哪種方法,一定要把握好需要你研究相關統(tǒng)計學概念的時間,以及獲取正確的最小樣本量的成本。你要相信,這并不像表面看起來那么困難,而你最終獲取的定量數(shù)據(jù)一定是有價值的。 原文作者:Kate Meyer |
|
來自: evenho > 《用戶研究-心理/社會》