系統(tǒng)測(cè)試（System Test, ST）是將經(jīng)過(guò)測(cè)試的子系統(tǒng)裝配成一個(gè)完整系統(tǒng)來(lái)測(cè)試。它是檢驗(yàn)系統(tǒng)是否確實(shí)能提供系統(tǒng)方案說(shuō)明書中指定功能的有效方法。

       系統(tǒng)測(cè)試的目的是對(duì)最終軟件系統(tǒng)進(jìn)行全面的測(cè)試，確保最終軟件系統(tǒng)滿足產(chǎn)品需求并且遵循系統(tǒng)設(shè)計(jì)。

      系統(tǒng)測(cè)試過(guò)程域是SPP模型的重要組成部分。本規(guī)范闡述了系統(tǒng)測(cè)試的規(guī)程，該規(guī)程的“目標(biāo)”、“角色與職責(zé)”、“啟動(dòng)準(zhǔn)則”、“輸入”、“主要步驟”、“輸出”、“完成準(zhǔn)則”和“度量”均已定義。

一、介紹

      系統(tǒng)測(cè)試流程如圖1所示。由于系統(tǒng)測(cè)試的目的是驗(yàn)證最終軟件系統(tǒng)滿足產(chǎn)品需求并且遵循系統(tǒng)設(shè)計(jì)，所以當(dāng)產(chǎn)品需求和系統(tǒng)設(shè)計(jì)文檔完成之后，系統(tǒng)測(cè)試小組就可以提前開始制定測(cè)試計(jì)劃和設(shè)計(jì)測(cè)試用例，而不必等到“實(shí)現(xiàn)與測(cè)試”階段結(jié)束。這樣可以提高系統(tǒng)測(cè)試的效率。

      系統(tǒng)測(cè)試過(guò)程中發(fā)現(xiàn)的所有缺陷必須用統(tǒng)一的缺陷管理工具來(lái)管理，開發(fā)人員應(yīng)當(dāng)及時(shí)消除缺陷（改錯(cuò)）。

圖1 系統(tǒng)測(cè)試流程圖

      項(xiàng)目經(jīng)理設(shè)法組建富有成效的系統(tǒng)測(cè)試小組。系統(tǒng)測(cè)試小組的成員主要來(lái)源于：
      ·機(jī)構(gòu)獨(dú)立的測(cè)試小組（如果存在的話）。
      ·邀請(qǐng)其它項(xiàng)目的開發(fā)人員參與系統(tǒng)測(cè)試。
      ·本項(xiàng)目的部分開發(fā)人員。
      ·機(jī)構(gòu)的質(zhì)量保證人員。

      系統(tǒng)測(cè)試小組應(yīng)當(dāng)根據(jù)項(xiàng)目的特征確定測(cè)試內(nèi)容。一般地，系統(tǒng)測(cè)試的主要內(nèi)容包括：
      ·功能測(cè)試。即測(cè)試軟件系統(tǒng)的功能是否正確，其依據(jù)是需求文檔，如《產(chǎn)品需求規(guī)格說(shuō)明書》。由于正確性是軟件最重要的質(zhì)量因素，所以功能測(cè)試必不可少。
      ·健壯性測(cè)試。即測(cè)試軟件系統(tǒng)在異常情況下能否正常運(yùn)行的能力。健壯性有兩層含義：一是容錯(cuò)能力，二是恢復(fù)能力。
      ·性能測(cè)試。即測(cè)試軟件系統(tǒng)處理事務(wù)的速度，一是為了檢驗(yàn)性能是否符合需求，二是為了得到某些性能數(shù)據(jù)供人們參考（例如用于宣傳）。
      ·用戶界面測(cè)試。重點(diǎn)是測(cè)試軟件系統(tǒng)的易用性和視覺效果等。
      ·安全性（security）測(cè)試。是指測(cè)試軟件系統(tǒng)防止非法入侵的能力。“安全”是相對(duì)而言的，一般地，如果黑客為非法入侵花費(fèi)的代價(jià)（考慮時(shí)間、費(fèi)用、危險(xiǎn)等因素）高于得到的好處，那么這樣的系統(tǒng)可以認(rèn)為是安全的。
      ·安裝與反安裝測(cè)試。

      系統(tǒng)測(cè)試過(guò)程域產(chǎn)生的主要文檔有：
      ·《系統(tǒng)測(cè)試計(jì)劃》，模板見 [SPP-TEMP-ST-PLAN]。
      ·《系統(tǒng)測(cè)試用例》，模板見 [SPP-TEMP-TEST-CASE]。
      ·《系統(tǒng)測(cè)試報(bào)告》，模板見 [SPP-TEMP-TEST-REPORT]。
      ·《缺陷管理報(bào)告》，由缺陷管理工具自動(dòng)生成。

二、系統(tǒng)測(cè)試規(guī)程

      1、目的
      對(duì)最終軟件系統(tǒng)進(jìn)行全面的測(cè)試，確保最終軟件系統(tǒng)滿足產(chǎn)品需求并且遵循系統(tǒng)設(shè)計(jì)。

      2、角色與職責(zé)
      項(xiàng)目經(jīng)理組建系統(tǒng)測(cè)試小組，并指定一名成員任測(cè)試組長(zhǎng)。
      系統(tǒng)測(cè)試小組各成員共同制定測(cè)試計(jì)劃、設(shè)計(jì)測(cè)試用例、執(zhí)行測(cè)試，并撰寫相應(yīng)的文檔。測(cè)試組長(zhǎng)管理上述事務(wù)。
      開發(fā)人員及時(shí)消除測(cè)試人員發(fā)現(xiàn)的缺陷。

      3、啟動(dòng)準(zhǔn)則
      產(chǎn)品需求和系統(tǒng)設(shè)計(jì)文檔完成之后。

      4、 輸入
      產(chǎn)品需求和系統(tǒng)設(shè)計(jì)文檔

      5、主要步驟
      [Step1] 制定系統(tǒng)測(cè)試計(jì)劃

      系統(tǒng)測(cè)試小組各成員共同協(xié)商測(cè)試計(jì)劃。測(cè)試組長(zhǎng)按照指定的模板起草《系統(tǒng)測(cè)試計(jì)劃》。該計(jì)劃主要包括：
      ·測(cè)試范圍（內(nèi)容）
      ·測(cè)試方法
      ·測(cè)試環(huán)境與輔助工具
      ·測(cè)試完成準(zhǔn)則
      ·人員與任務(wù)表

      項(xiàng)目經(jīng)理審批《系統(tǒng)測(cè)試計(jì)劃》。該計(jì)劃被批準(zhǔn)后，轉(zhuǎn)向[Step2]。

      [Step2] 設(shè)計(jì)系統(tǒng)測(cè)試用例
      ·系統(tǒng)測(cè)試小組各成員依據(jù)《系統(tǒng)測(cè)試計(jì)劃》和指定的模板，設(shè)計(jì)（撰寫）《系統(tǒng)測(cè)試用例》。
      ·測(cè)試組長(zhǎng)邀請(qǐng)開發(fā)人員和同行專家，對(duì)《系統(tǒng)測(cè)試用例》進(jìn)行技術(shù)評(píng)審。該測(cè)試用例通過(guò)技術(shù)評(píng)審后，轉(zhuǎn)向[Step3]。

      [Step3] 執(zhí)行系統(tǒng)測(cè)試
      ·系統(tǒng)測(cè)試小組各成員依據(jù)《系統(tǒng)測(cè)試計(jì)劃》和《系統(tǒng)測(cè)試用例》執(zhí)行系統(tǒng)測(cè)試。
      ·將測(cè)試結(jié)果記錄在《系統(tǒng)測(cè)試報(bào)告》中，用“缺陷管理工具”來(lái)管理所發(fā)現(xiàn)的缺陷，并及時(shí)通報(bào)給開發(fā)人員。

      [Step4] 缺陷管理與改錯(cuò)
      ·從[Step1]至[Step3]，任何人發(fā)現(xiàn)軟件系統(tǒng)中的缺陷時(shí)都必須使用指定的“缺陷管理工具”。該工具將記錄所有缺陷的狀態(tài)信息，并可以自動(dòng)產(chǎn)生《缺陷管理報(bào)告》。
      ·開發(fā)人員及時(shí)消除已經(jīng)發(fā)現(xiàn)的缺陷。
      ·開發(fā)人員消除缺陷之后應(yīng)當(dāng)馬上進(jìn)行回歸測(cè)試，以確保不會(huì)引入新的缺陷。

      6、輸出
      ·消除了缺陷的最終軟件系統(tǒng)
      ·系統(tǒng)測(cè)試用例
      ·系統(tǒng)測(cè)試報(bào)告
      ·缺陷管理報(bào)告

      7、結(jié)束準(zhǔn)則

      對(duì)于非嚴(yán)格系統(tǒng)可以采用“基于測(cè)試用例”的準(zhǔn)則：
      ·功能性測(cè)試用例通過(guò)率達(dá)到100％；
      ·非功能性測(cè)試用例通過(guò)率達(dá)到80％時(shí)。

      對(duì)于嚴(yán)格系統(tǒng)，應(yīng)當(dāng)補(bǔ)充“基于缺陷密度”的規(guī)則：
      ·相鄰n個(gè)CPU小時(shí)內(nèi)“測(cè)試期缺陷密度”全部低于某個(gè)值m。例如n大于10，m小于等于1。

      本規(guī)程所有文檔已經(jīng)完成。

      8、度量
      測(cè)試人員和開發(fā)人員統(tǒng)計(jì)測(cè)試和改錯(cuò)的工作量，文檔的規(guī)模，以及缺陷的個(gè)數(shù)與類型，并將此度量數(shù)據(jù)匯報(bào)給項(xiàng)目經(jīng)理。

三、 實(shí)施建議

      對(duì)系統(tǒng)測(cè)試人員進(jìn)行必要的培訓(xùn)，提高他們的測(cè)試效率。
      項(xiàng)目經(jīng)理和測(cè)試小組根據(jù)項(xiàng)目的資源、時(shí)間等限制因素，設(shè)法合理地減少測(cè)試的工作量，例如減少“冗余或無(wú)效”的測(cè)試。
      系統(tǒng)測(cè)試小組根據(jù)產(chǎn)品的特征，可以適當(dāng)?shù)匦薷谋疽?guī)范的各種文檔模板。
      對(duì)系統(tǒng)測(cè)試過(guò)程中產(chǎn)生的所有代碼和有價(jià)值的文檔進(jìn)行配置管理。
      為了調(diào)動(dòng)測(cè)試者的積極性，建議企業(yè)或項(xiàng)目設(shè)立獎(jiǎng)勵(lì)機(jī)制，例如：根據(jù)缺陷的危害程度把獎(jiǎng)金分等級(jí)，每個(gè)新缺陷對(duì)應(yīng)一份獎(jiǎng)金，把獎(jiǎng)金發(fā)給第一個(gè)發(fā)現(xiàn)該缺陷的人。

四、系統(tǒng)測(cè)試的目標(biāo)

      1、 確保系統(tǒng)測(cè)試的活動(dòng)是按計(jì)劃進(jìn)行的；
      2、 驗(yàn)證軟件產(chǎn)品是否與系統(tǒng)需求用例不相符合或與之矛盾；
      3、 建立完善的系統(tǒng)測(cè)試缺陷記錄跟蹤庫(kù)；
      4、 確保軟件系統(tǒng)測(cè)試活動(dòng)及其結(jié)果及時(shí)通知相關(guān)小組和個(gè)人；

五、系統(tǒng)測(cè)試的方針

      1、 為項(xiàng)目指定一個(gè)測(cè)試工程師負(fù)責(zé)貫徹和執(zhí)行系統(tǒng)測(cè)試活動(dòng)；
      2、 測(cè)試組向各事業(yè)部總經(jīng)理/項(xiàng)目經(jīng)理報(bào)告系統(tǒng)測(cè)試的執(zhí)行狀況；
      3、 系統(tǒng)測(cè)試活動(dòng)遵循文檔化的標(biāo)準(zhǔn)和過(guò)程；
      4、 向外部用戶提供經(jīng)系統(tǒng)測(cè)試驗(yàn)收通過(guò)的預(yù)部署及技術(shù)支持；
      5、 建立相應(yīng)項(xiàng)目的（BUG）缺陷庫(kù)，用于系統(tǒng)測(cè)試階段項(xiàng)目不同生命周期的缺陷記錄和缺陷狀態(tài)跟蹤；
      6、 定期的對(duì)系統(tǒng)測(cè)試活動(dòng)及結(jié)果進(jìn)行評(píng)估，向各事業(yè)部經(jīng)理/項(xiàng)目辦總監(jiān)/項(xiàng)目經(jīng)理匯報(bào)/提供項(xiàng)目的產(chǎn)品質(zhì)量信息及數(shù)據(jù)；

六、系統(tǒng)測(cè)試的過(guò)程

      1、 軟件項(xiàng)目立項(xiàng)，軟件項(xiàng)目負(fù)責(zé)人將項(xiàng)目啟動(dòng)情況通報(bào)給測(cè)試組長(zhǎng)，測(cè)試組長(zhǎng)指定測(cè)試工程師對(duì)該項(xiàng)目進(jìn)行系統(tǒng)測(cè)試跟進(jìn)和執(zhí)行。
      2、 測(cè)試工程師首先參與前期的需求分析活動(dòng)、前景評(píng)審、業(yè)務(wù)培訓(xùn)、SRS評(píng)審。目的是了解系統(tǒng)業(yè)務(wù)及范圍、了解軟件需求及范圍，驗(yàn)證需求可測(cè)性。并將所有收集到的測(cè)試需求匯總并輸出到《測(cè)試需求管理表》中。
      3、 測(cè)試工程師根據(jù)測(cè)試需求定義測(cè)試策略，并進(jìn)行工作量估計(jì)。
      4、 測(cè)試工程師根據(jù)測(cè)試需求制定測(cè)試策略和方法；系統(tǒng)測(cè)試工程師參與項(xiàng)目計(jì)劃和SDP評(píng)審，依據(jù)項(xiàng)目計(jì)劃（或周計(jì)劃）,編制《系統(tǒng)測(cè)試計(jì)劃》。
      5、 測(cè)試組長(zhǎng)周期性地根據(jù)事業(yè)部項(xiàng)目的測(cè)試情況，進(jìn)行總體測(cè)試工作量估計(jì)并進(jìn)行測(cè)試任務(wù)分派。
      6、 測(cè)試工程師組織《系統(tǒng)測(cè)試計(jì)劃》評(píng)審，測(cè)試組長(zhǎng)根據(jù)評(píng)審意見審批《系統(tǒng)測(cè)試計(jì)劃》。
      7、 測(cè)試工程師根據(jù)《系統(tǒng)測(cè)試計(jì)劃》中的測(cè)試環(huán)境要求搭建測(cè)試環(huán)境。特別技術(shù)要求的需要項(xiàng)目組及其它相關(guān)職能部門的配合。
      8、 測(cè)試工程師檢查測(cè)試設(shè)計(jì)入口條件；根據(jù)《用例規(guī)約》、《補(bǔ)充規(guī)約》、《界面原型》、《詞匯表》進(jìn)行測(cè)試用例設(shè)計(jì)。
      9、 測(cè)試工程師組織《系統(tǒng)測(cè)試用例》評(píng)審，測(cè)試組長(zhǎng)根據(jù)評(píng)審意見審批《系統(tǒng)測(cè)試用例》。
      10、 測(cè)試工程師定義系統(tǒng)測(cè)試用例執(zhí)行過(guò)程，并更新《系統(tǒng)測(cè)試用例》。
      11、 測(cè)試工程師檢查測(cè)試執(zhí)行入口條件，從受控庫(kù)獲取測(cè)試版本，執(zhí)行系統(tǒng)測(cè)試并記錄 測(cè)試結(jié)果。
      12、 系統(tǒng)測(cè)試進(jìn)入產(chǎn)品穩(wěn)定期，由測(cè)試工程師召開缺陷評(píng)審會(huì)議；測(cè)試工程師對(duì)整個(gè)系統(tǒng)測(cè)試過(guò)程進(jìn)行總結(jié)和評(píng)價(jià)，形成《軟件缺陷清單》、《系統(tǒng)測(cè)試評(píng)估摘要》《系統(tǒng)測(cè)試總結(jié)報(bào)告》，并將系統(tǒng)測(cè)試過(guò)程的文檔報(bào)送給項(xiàng)目組和測(cè)試組長(zhǎng)。測(cè)試組長(zhǎng)每月初或（事件驅(qū)動(dòng)）匯總、整編上月的《產(chǎn)品質(zhì)量簡(jiǎn)報(bào)》，報(bào)送給事業(yè)部總經(jīng)理和項(xiàng)目辦。
      13、 如果根據(jù)系統(tǒng)測(cè)試結(jié)果，產(chǎn)品得以批準(zhǔn)通過(guò)，系統(tǒng)測(cè)試工程師卸載被測(cè)軟件，進(jìn)行環(huán)境初始化，系統(tǒng)測(cè)試結(jié)束，轉(zhuǎn)入驗(yàn)收測(cè)試階段；否則視批示意見進(jìn)行。