autorunner產(chǎn)品技術(shù)白皮書(編輯修改稿)

　

【文章內(nèi)容簡介】 前對象的位置信息。靈活的驗(yàn)證方式。案例執(zhí)行的正確與否需要數(shù)據(jù)比對來驗(yàn)證。AutoRunner提供了強(qiáng)大驗(yàn)證方式，用戶可以非常簡便的通過編寫腳本來使用，如提供對字符串的正則表達(dá)式驗(yàn)證。良好的擴(kuò)展性。一般的腳本雖然很簡便，但是對于特殊的測試，往往需要更復(fù)雜的功能，例如：需要對網(wǎng)絡(luò)上的另一臺系統(tǒng)中的數(shù)據(jù)庫的某些數(shù)據(jù)進(jìn)行同步。基本的AutoRunner不提供這個功能。由于AutoRunner使用了標(biāo)準(zhǔn)的java（）那么用戶可以自己編寫一個同步方法（或者類）加入到系統(tǒng)中來使用，只要是java已經(jīng)提供的功能，都可以得到完善的支持。標(biāo)準(zhǔn)化。AutoRunner符合測試工具的基本要求，如：同步點(diǎn)、驗(yàn)證點(diǎn)、錯誤報告等，都遵守了國際化測試標(biāo)準(zhǔn)，便于用戶理解和使用，也便于用戶比較各個不同測試工具之間的差異。 產(chǎn)品設(shè)計目標(biāo)1. 提高回歸測試的覆蓋率，提高測試質(zhì)量。對于功能已經(jīng)完整和成熟的軟件，每次發(fā)布一個新的版本，其中大部分功能和界面都和上一個版本相似或完全相同，這部分功能特別適合于自動化測試， 從而可以讓測試達(dá)到測試每個特征的目的。通過AutoRunner來編寫回歸測試的測試案例，并且再每次發(fā)布版本的時候通過執(zhí)行所有的測試案例來進(jìn)行回歸測試，能夠覆蓋大量的功能——人工測試無法進(jìn)行測試的功能。2. 每日測試的高效率。DCC版本的發(fā)布周期往往比較短，也就是開發(fā)周期只有短短的幾個月，而在測試期間是每天/每2天都要發(fā)布一個版本供測試人員測試，一個系統(tǒng)的功能點(diǎn)有幾千個上萬個，人工測試是非常的耗時和繁瑣，這樣必然會使測試效率低下。AutoRunner通過高效率的自動執(zhí)行測試案例，允許每天對版本進(jìn)行測試，提高測試效率。3. 具有一致性和可重復(fù)性。由于每次自動化測試運(yùn)行的腳本是相同的, 所以每次執(zhí)行的測試具有一致性, 人是很難做到的. 由于自動化測試的一致性，很容易發(fā)現(xiàn)被測軟件的任何改變。4. 更好的利用資源－－周未/晚上。理想的自動化測試能夠按計劃完全自動的運(yùn)行, 在開發(fā)人員和測試人員不可能實(shí)行三班倒的情況下, 自動化測試可以勝任這個任務(wù), 完全可以在周末和晚上執(zhí)行測試. 這樣充分的利用了公司的資源,也避免了開發(fā)和測試之間的等待。5. 解決測試與開發(fā)之間的矛盾。通常在開發(fā)的末期,進(jìn)入集成測試階段, 由于每次發(fā)布一個版本的初期,測試系統(tǒng)的錯誤比較少,這時開發(fā)人員有等待測試人員測試出錯誤的時間. 事實(shí)上在迭代周期很短的開發(fā)模式中，存在更多的矛盾， 但自動化測試可以解決其中的主要矛盾。6. 將煩瑣的任務(wù)轉(zhuǎn)化為自動化測試。大量重復(fù)的測試是非常繁瑣的，并且需要消耗大量的人力才能夠完成。自動測試能夠很好的解決這個問題，不需要繁瑣的勞動，不需要大量的人員。7. 增加軟件信任度。只有經(jīng)過大量測試案例測試過的版本才是可靠的，而只有使用自動測試才能夠保證在段時間內(nèi)完成大量的測試案例。 系統(tǒng)要求操作系統(tǒng)環(huán)境：Windows XPWindows2000Windows 2003注：。系統(tǒng)要求： （針對IE的plugin）測試案例數(shù)據(jù)格式 XML EXCEL注：理論上支持jdbc接口的數(shù)據(jù)庫。AutoRunner是一個自動化的功能測試工具，它可以和測試管理工具、缺陷跟蹤工具一起來使用，以達(dá)到更好的效果：AutoRunner測試管理工具缺陷跟蹤工具測試需求管理測試案例管理測試計劃測試執(zhí)行測試結(jié)構(gòu)設(shè)計測試腳本錄制、編寫、調(diào)試查看測試結(jié)果查看缺陷查看缺陷跟蹤報告 系統(tǒng)性能AutoRunner針對與系統(tǒng)的功能測試自動化，對性能要求不高：自動測試的腳本執(zhí)行速度，超過人工執(zhí)行的速度。 擴(kuò)展能力l 擴(kuò)展驗(yàn)證點(diǎn)所謂的驗(yàn)證點(diǎn)，就是用來驗(yàn)證被測試系統(tǒng)返回數(shù)據(jù)或者狀態(tài)是否和預(yù)期一致的點(diǎn)。AutoRunner提供了完整的驗(yàn)證點(diǎn)功能，用來驗(yàn)證字符串、bitmap文件是否正確，對字符串可以驗(yàn)證是否符合定義的“正則表達(dá)式”。當(dāng)然，由于驗(yàn)證往往是非常復(fù)雜的，例如：當(dāng)我們使用一個功能向database中增加一條記錄后，通過jdbc來查看該記錄是否已經(jīng)被增加。這就需要用戶根據(jù)具體的數(shù)據(jù)庫來編寫一個功能來實(shí)現(xiàn)特殊的校驗(yàn)點(diǎn)。系統(tǒng)提供了基本的校驗(yàn)方法，允許用戶自己來通過編寫一個特殊校驗(yàn)的類，或者一個特殊的方法來定義特殊的校驗(yàn)點(diǎn)（調(diào)用的結(jié)果如果希望反映的標(biāo)準(zhǔn)的測試報告中，就需要調(diào)用系統(tǒng)提供的基本方法），最終實(shí)現(xiàn)對驗(yàn)證點(diǎn)功能的擴(kuò)展。l 自動錄制時候的針對用戶自定義組件的識別根據(jù)國外測試人員的經(jīng)驗(yàn)，編寫腳本的工作中，大量的工作都被用戶的自定義組件消耗了。由于很多的測試工具本身支持一組標(biāo)準(zhǔn)的控件，在自動錄制的時候，系統(tǒng)能夠根據(jù)這些組件來生成測試腳本，并且允許回放這個腳本來執(zhí)行測試。當(dāng)用戶自定義了一個組件之后，用戶定義的組件是基于基本組件的，系統(tǒng)就往往無法自動識別這些組件，導(dǎo)致測試人員錄制腳本的時候非常復(fù)雜：名稱不同、識別困難、運(yùn)行時刻同步點(diǎn)錯誤。AutoRunner提供了對組件的定義功能：所有的組件類型必須被定義，并且只有最上層的已定義類型組件被識別，其他的組件都不會被識別。如果用戶定義了自己的組件，那么他只需要把他自己定義組件的：類名、contexttype增加到組件定義文件中就可以了。AutoRunner的這個功能大大增強(qiáng)了對用戶自定義組件的支持，使得測試人員能夠錄制正確的腳本、編寫正確的腳本，減少差錯。l 對第三方測試管理工具的支持AutoRunner提供了對第三方測試管理工具的支持：通過數(shù)據(jù)文件或者數(shù)據(jù)庫，就可以傳遞測試案例信息、測試案例數(shù)據(jù)信息。AutoRunner提供了命令行的支持，支持用戶在遠(yuǎn)程啟動和調(diào)用，這就為第三方的測試管理工具提供了一個執(zhí)行調(diào)用接口。l 對第三方缺陷跟蹤工具的支持同樣的，AutoRunner可以提供針對缺陷跟蹤工具的API的調(diào)用，和第三方缺陷跟蹤工具達(dá)到“無縫連接”。系統(tǒng)的可用性和可靠性由幾個指標(biāo)來衡量：第一， 系統(tǒng)的出錯處理能力。也就是，當(dāng)系統(tǒng)出現(xiàn)錯誤之后，是否能夠提供完善的錯誤處理機(jī)制，跳過錯誤，繼續(xù)執(zhí)行允許執(zhí)行的下一個功能點(diǎn)測試。第二， 系統(tǒng)執(zhí)行過程中工具不會出現(xiàn)異常，導(dǎo)致測試無法正常執(zhí)行。第三， 測試腳本出現(xiàn)異常，提供強(qiáng)大的調(diào)試功能。第四， 當(dāng)AutoRunner升級之后，原有測試腳本能夠兼容，繼續(xù)使用。具體到AutoRunner，如下：l 系統(tǒng)的出錯處理能力對所有的測試