繼續(xù)討論可用性測(cè)試中各種原則的靈活運(yùn)用和注意事項(xiàng)。

五．發(fā)現(xiàn)問(wèn)題：真的 VS 假的

判斷發(fā)現(xiàn)問(wèn)題的真假，初看上去似乎不是個(gè)困難。多數(shù)或全部參與者都遇到的問(wèn)題毫無(wú)疑問(wèn)是明顯的可用性問(wèn)題?；蛟S有人會(huì)建議，根據(jù)參與者中發(fā)現(xiàn)該問(wèn)題的人數(shù)比例來(lái)判斷：比例高是真問(wèn)題，比例低是假問(wèn)題。前半句話可以接受，后半句話則有待商榷。
雖然可用性測(cè)試是相對(duì)嚴(yán)謹(jǐn)?shù)挠脩粞芯糠椒?，但是其?duì)無(wú)關(guān)變量控制的嚴(yán)格程度和真正的心理學(xué)實(shí)驗(yàn)還是有一定的差距；并且心理學(xué)實(shí)驗(yàn)對(duì)每組參與者數(shù)量的最低要求是30人，這樣得出的結(jié)論（數(shù)量比例）才具有推論至一般的意義。而可用性測(cè)試一般才8人左右的參與人數(shù)（盡管招募的參與者在質(zhì)的方面非常具有代表性），但卻無(wú)法把可用性測(cè)試中出現(xiàn)的所有數(shù)量比例簡(jiǎn)單推論至一般。8個(gè)參與者中有1人發(fā)現(xiàn)某個(gè)問(wèn)題，不代表現(xiàn)實(shí)中出現(xiàn)同樣問(wèn)題的真實(shí)用戶只有12.5%，更不代表這個(gè)問(wèn)題不是真正的/嚴(yán)重的可用性問(wèn)題。

問(wèn)題的真假除了根據(jù)問(wèn)題出現(xiàn)的次數(shù)比例，還有很重要的考慮點(diǎn)是：用戶“錯(cuò)誤行為”背后的認(rèn)知/思考方式是否合乎邏輯？

這里順便借用一下諾曼《設(shè)計(jì)心理學(xué)》里談到的理論：概念模型——系統(tǒng)表象——心理模型。概念模型可認(rèn)為是產(chǎn)品設(shè)計(jì)人員對(duì)產(chǎn)品的設(shè)計(jì)思想；系統(tǒng)表象可認(rèn)為是產(chǎn)品展現(xiàn)出的交互界面；而心理模型則是用戶按照既往經(jīng)驗(yàn)對(duì)如何操作該產(chǎn)品的設(shè)想。從這個(gè)角度來(lái)認(rèn)識(shí)，可用性問(wèn)題則是“概念模型、系統(tǒng)表象、心理模型”三者的不吻合或矛盾。

通過(guò)分析用戶行為背后的認(rèn)知是否符合邏輯，來(lái)判斷發(fā)現(xiàn)的問(wèn)題的真假，主要體現(xiàn)在以下幾點(diǎn)：

1.“概念模型、系統(tǒng)表象”的不一致

產(chǎn)品設(shè)計(jì)人員突然發(fā)現(xiàn)，界面的交互形式根本沒有反映出他原先的設(shè)計(jì)思想！

2.“系統(tǒng)表象、心理模型”的不一致

（1）用戶的思維方式受已有的同類產(chǎn)品的影響，并內(nèi)化接受，而新產(chǎn)品的“系統(tǒng)表象”和已有同類產(chǎn)品并不一致。

（2）用戶在日常生活經(jīng)驗(yàn)中形成了許多并不科學(xué)地通俗理解世界的方式（比如通俗物理學(xué)、通俗心理學(xué)），但產(chǎn)品設(shè)計(jì)人員沒有意識(shí)到用戶在以這樣一種“自認(rèn)正確”的錯(cuò)誤方式來(lái)理解和使用產(chǎn)品。

如果發(fā)現(xiàn)的可用性問(wèn)題屬于以上情況，那么即使只有一個(gè)參與者碰到，它也非常可能是一個(gè)真正的可用性問(wèn)題。

例如：讓用戶登錄購(gòu)彩網(wǎng)站，查看自己上次購(gòu)彩結(jié)果。大多數(shù)用戶點(diǎn)擊【個(gè)人中心】去查看，有2個(gè)用戶點(diǎn)擊【開獎(jiǎng)公告】去查看，發(fā)現(xiàn)只有開獎(jiǎng)號(hào)碼，沒有任何購(gòu)彩結(jié)果信息后，再去點(diǎn)擊【個(gè)人中心】。僅2個(gè)人出現(xiàn)了稍微的偏差，而且很快就找到了正確的頁(yè)面，這貌似應(yīng)該不算什么問(wèn)題。

但若追究其行為背后的邏輯，并與其他用戶的反饋（“我上次買的號(hào)碼沒有直接顯示出來(lái)？”“這里看不到開獎(jiǎng)的號(hào)碼??？”）聯(lián)系起來(lái)，可以判斷用戶的心理模型和產(chǎn)品的系統(tǒng)表象不一致。用戶希望能同時(shí)對(duì)照著開獎(jiǎng)號(hào)碼和自己買的號(hào)碼很方便地核對(duì)，而網(wǎng)站卻割裂兩部分放在不同的頁(yè)面，因此需要將這2個(gè)用戶碰到的問(wèn)題當(dāng)作真正的可用性問(wèn)題來(lái)對(duì)待。

六．研究方法：定性 VS 定量

可用性測(cè)試，很多時(shí)候被認(rèn)為是一種定性研究方法；但也有人說(shuō)它是一種定量研究方法。究竟是怎么回事呢？

個(gè)人認(rèn)為，可用性測(cè)試實(shí)質(zhì)上結(jié)合了定性和定量?jī)煞N方法的特點(diǎn)，到底哪種成分更多，要看你的使用目的以及細(xì)節(jié)上如何操作。

定量研究的思路是基于對(duì)一定數(shù)量樣本的測(cè)量，以將研究所得的結(jié)論推廣至總體。除了強(qiáng)調(diào)樣本的代表性，還對(duì)樣本的數(shù)量有具體的要求，同時(shí)會(huì)考慮抽樣誤差、置信度、置信區(qū)間的度量。并且定量研究過(guò)程中非常注重對(duì)某些自變量操控、及無(wú)關(guān)變量的控制。

而定性研究重視對(duì)主觀意義的理解（如背后隱藏的原因），采用解釋建構(gòu)的方法，比如訪談法等。

平時(shí)工作中以“形成式可用性”測(cè)試為主，即便它稍微偏向于定性研究，但在允許的范圍內(nèi)，我個(gè)人還是盡可能地遵循著定量研究的方法去實(shí)施。這樣整個(gè)測(cè)試過(guò)程的嚴(yán)謹(jǐn)性能得到保證，結(jié)論的客觀程度相對(duì)更高（近幾個(gè)世紀(jì)來(lái)，量化研究一直是科學(xué)研究的主要范式，也正是這個(gè)原因）。具體做法如下：

1.在任務(wù)的設(shè)置上：因?yàn)閰⑴c者可能存在差別較大的亞群體，不可能要求完成完全相同的任務(wù)。但必定會(huì)設(shè)置大部分基本的、都需要完成的公共任務(wù)，再針對(duì)不同亞群體設(shè)置少量的特殊任務(wù)。在后期統(tǒng)計(jì)分析的時(shí)候，基本的公共任務(wù)則可以進(jìn)行數(shù)量化的統(tǒng)計(jì)，并橫向比較。

2.在測(cè)試過(guò)程中：關(guān)注參與者完成任務(wù)時(shí)的相關(guān)行為，用數(shù)字來(lái)記錄（以0、0.5、1分別表示失敗、幫助/提示下成功、成功）。主試盡量少地言語(yǔ)及體態(tài)姿勢(shì)的干擾，只在必要時(shí)進(jìn)行適當(dāng)?shù)匮哉Z(yǔ)交流。

3.在報(bào)告呈現(xiàn)：對(duì)任務(wù)完成情況（效率、完成率）統(tǒng)計(jì)呈現(xiàn)，對(duì)不同任務(wù)的完成情況進(jìn)行比較，對(duì)亞群體間的任務(wù)完成情況進(jìn)行比較，對(duì)所有可用性問(wèn)題按數(shù)量化指標(biāo)進(jìn)行排序等。或者比較迭代前后獨(dú)特問(wèn)題的頻次是否減少，以及嚴(yán)重程度高的等級(jí)里面可用性問(wèn)題數(shù)量的變化情況。

4.測(cè)試過(guò)后，我們通常還會(huì)收集用戶自我報(bào)告式的數(shù)據(jù)，作為“感知可用性”的一個(gè)總體反映。

（1）推薦使用系統(tǒng)可用性量表（SUS），因?yàn)橛醒芯勘砻鱏US在少量樣本時(shí)即可產(chǎn)生較為一致的評(píng)分結(jié)果。

（2）為減少用戶在填寫這些量表時(shí)的反應(yīng)心向，不要求填寫任何個(gè)人信息，且主試最好暫時(shí)回避。

（3）只統(tǒng)計(jì)分析所有參與者SUS量表總分的平均值，切勿再拆分比較亞群體之間的差異，因?yàn)榧幢阈判Ф仍俑叩牧勘?，?dāng)樣本量極小時(shí)都會(huì)變得很不靠譜！

七．問(wèn)題優(yōu)先級(jí)：?jiǎn)沃笜?biāo) VS 多指標(biāo)

除了在可用性測(cè)試過(guò)程中，最終報(bào)告也必須體現(xiàn)出量化、客觀地特點(diǎn)。例如，報(bào)告發(fā)現(xiàn)的可用性問(wèn)題的列表，我也會(huì)以量化的方式排列出問(wèn)題的優(yōu)先級(jí)別。

這樣做的好處在于：首先，發(fā)現(xiàn)的可用性問(wèn)題肯定有一些比另一些更嚴(yán)重；其次，考慮到產(chǎn)品和設(shè)計(jì)人員的精力和資源總是有限的，必須幫助他們梳理出最亟需整改的問(wèn)題。站在別人的角度考慮問(wèn)題，這樣他們才能更“友好地”接受我們的報(bào)告。

可用性問(wèn)題列表的排序，涉及到采用單指標(biāo)還是多指標(biāo)、以及指標(biāo)分為幾級(jí)的問(wèn)題。

先就量化的客觀性而言，“出現(xiàn)頻率”指標(biāo)是最客觀、最易量化的；而其它三個(gè)指標(biāo)都需分析人員的主觀判斷。

就指標(biāo)的代表意義而言，“嚴(yán)重程度”、“出現(xiàn)頻率”與用戶體驗(yàn)最相關(guān)，與用研人員的職責(zé)也最相關(guān)。另兩個(gè)指標(biāo)可能更多地是產(chǎn)品人員的職責(zé)。

就指標(biāo)的價(jià)值而言，多個(gè)指標(biāo)的綜合顯然比單一指標(biāo)更有價(jià)值。

基于上述考慮，實(shí)際工作中我會(huì)選擇“嚴(yán)重程度”和“出現(xiàn)頻率”兩個(gè)指標(biāo)的綜合，作為可用性問(wèn)題的優(yōu)先級(jí)指標(biāo)?！皣?yán)重程度”分為3級(jí)，而不是5級(jí)（分析人員主觀判斷時(shí)，3級(jí)指標(biāo)的誤差率要低于5級(jí)指標(biāo)）；“出現(xiàn)頻率”采用計(jì)算的具體數(shù)值，而非4級(jí)分類。這兩個(gè)指標(biāo)合并時(shí)，采用1：1的權(quán)重，具體公式為：

問(wèn)題優(yōu)先級(jí)=嚴(yán)重程度的級(jí)別+出現(xiàn)頻率的具體值×3

八．報(bào)告呈現(xiàn)：優(yōu)點(diǎn) VS 問(wèn)題 VS 建議

當(dāng)產(chǎn)品設(shè)計(jì)人員辛辛苦苦做出的產(chǎn)品卻被你報(bào)告上羅列的各種問(wèn)題批評(píng)得一無(wú)是處時(shí)，即便理智上認(rèn)可你的成果，情感上也很難接受。因此報(bào)告中列出哪怕一條最重要的優(yōu)點(diǎn)，也會(huì)讓產(chǎn)品設(shè)計(jì)人員感到欣慰、感受到你中立的態(tài)度，增加對(duì)報(bào)告的接納程度。列出優(yōu)點(diǎn)的另一個(gè)好處是，在測(cè)試中被參與者多次自發(fā)提及的優(yōu)點(diǎn)確實(shí)帶給用戶某種驚喜；當(dāng)你在報(bào)告中再次強(qiáng)調(diào)時(shí)，可以避免在后期迭代開發(fā)中丟失掉原本的優(yōu)點(diǎn)。

問(wèn)題的列舉肯定是報(bào)告中非常重要的部分，但切勿羅列出清單就草草了事，因?yàn)椋?/p>

1.某個(gè)（些）問(wèn)題和另一個(gè)（些）問(wèn)題是有關(guān)聯(lián)的，但是報(bào)告中的問(wèn)題列表部分卻割裂了這些聯(lián)系。

2.產(chǎn)品設(shè)計(jì)人員無(wú)法一直參與旁聽/觀察可用性測(cè)試的過(guò)程，導(dǎo)致對(duì)報(bào)告中文字描述的問(wèn)題缺乏感性認(rèn)識(shí)。

3.只提問(wèn)題卻不提供解決方案，就不是“建設(shè)性地提問(wèn)”！

因此，我們需要在可用性測(cè)試報(bào)告的后半部分提出針對(duì)重要問(wèn)題的解決方案。其目標(biāo)并非是強(qiáng)迫產(chǎn)品設(shè)計(jì)人員一定要采納我們提出方案，而是：（1）把一些相關(guān)問(wèn)題聯(lián)系起來(lái)看，（2）加深報(bào)告閱讀者對(duì)于問(wèn)題的感性認(rèn)識(shí)和背后原因的理解，（3）使整個(gè)報(bào)告的思路更清晰、完整，（4）我們還可學(xué)到一些交互設(shè)計(jì)和產(chǎn)品的知識(shí)。

總之，可用性測(cè)試施行起來(lái)既簡(jiǎn)單又復(fù)雜。簡(jiǎn)單是因?yàn)椴还苣闳绾问┬?，終究能發(fā)現(xiàn)一些問(wèn)題；復(fù)雜則在于發(fā)現(xiàn)可用性問(wèn)題的質(zhì)量、重要性、對(duì)測(cè)試的利用效率、對(duì)產(chǎn)品設(shè)計(jì)人員的幫助程度可能相距甚遠(yuǎn)。一次成功的可用性測(cè)試體現(xiàn)在從前期策劃、測(cè)試過(guò)程、后期報(bào)告等整個(gè)過(guò)程中是否遵循了這些原則，并在某些難以兩全的原則面前做到合理的權(quán)衡取舍。

可用性測(cè)試的權(quán)衡之道（一）