|
作者：Jim McGregor； 本文作者與共同作者Kevin Krewell皆為T(mén)irias Research的資深分析師 最需要產(chǎn)業(yè)界同心協(xié)力的議題，卻往往最具爭議性，這實(shí)在是個(gè)很諷刺的狀況；在那些議題中，爭議性最大的又莫過(guò)于性能基準測試(performance benchmarking)。幸好，我們正緩慢地朝正確的方向前進(jìn)，但還需要更多的努力。 測試基準被廣泛應用在評估各種電子裝置，為了取得高評價(jià)，芯片與系統供貨商都非常積極于目標測試基準的“優(yōu)化”；但有的時(shí)候那些優(yōu)化行動(dòng)卻更像是人為操縱�？萍夹侣劤涑庵�(zhù)不公平的基準檢驗案例，那些只是冰山一角。 測試基準還面臨其他的局限；技術(shù)創(chuàng )新的高速度使得透過(guò)能反映各種平臺上實(shí)際使用者體驗的方式，精準體驗測試一套系統所有功能的任務(wù)成為挑戰。舉例來(lái)說(shuō)，影像擷取以及編輯功能也許涉及眾多芯片以及應用程序編程接口(API)，要在Android、iOS與Windows手機平臺之間做有意義的比較，是白費力氣的。 
一套優(yōu)良的測試基準應該包含五項要素 首先，最基本的是透明度(transparency)。測試基準有時(shí)候只比黑盒子好一點(diǎn)，只提供測試結果數字，但對測試的過(guò)程或計分方法透露甚少；甚至有時(shí)候連被測試的功能或是所依循的標準都不明確。 測試基準的擁有者往往以機密為理由，表示測試本身?yè)碛兄R產(chǎn)權或是利用了專(zhuān)屬信息；但我們認為，測試基準應該是經(jīng)由一個(gè)跨產(chǎn)業(yè)的組織批準，且(或)所有的計分方式應是受公開(kāi)審查的。此外，測試基準應該要包含受測功能與標準的列表。 優(yōu)良測試基準的第二個(gè)要素，應該是能受獨立驗證的。通�；鶞蕶z驗執行機構會(huì )在公布結果之前先為其背書(shū)，有些使用者或供貨商也會(huì )自己上傳或進(jìn)行某些基準檢驗；雖然系統調節如超頻(overclocking)能對測試結果產(chǎn)生影響，與眾多用戶(hù)的平均測試成績(jì)差距太大的系統，通常會(huì )被懷疑。 第三個(gè)要素是，測試基準需要某種形式的監督，以確保測試程序的一致性；優(yōu)化在基準檢驗程序中是不應該被容忍的，所有的平臺所接受的測試程序應該都是相同的。 第四，一個(gè)真正的測試基準，特別是移動(dòng)裝置的測試基準，應該要以某種形式的系統及測試來(lái)呈現。 特定零組件如CPU、GPU與內存，很容易被挑出來(lái)測試，但其他如無(wú)線(xiàn)網(wǎng)絡(luò )鏈接性、傳感器性能、電池壽命、顯示器功能等卻很難量化；而任何一種移動(dòng)終端的終極測試應該是使用者體驗，優(yōu)良的測試基準至少必須要能呈現這一點(diǎn)。最后一個(gè)測試基準要素是會(huì )定期更新，最好是每年一次；產(chǎn)業(yè)界應該停止使用不合時(shí)宜的測試基準。 有鑒于眾多棘手的問(wèn)題，采用一系列基準來(lái)評估各種技術(shù)或平臺，似乎被視為最佳實(shí)踐方式；這通常導致有一長(cháng)串的測試基準，而且測試結果各不相同。當使用者看到那些讓人眼花撩亂的不同測試結果，恐怕感到非常沮喪。
一個(gè)新興的移動(dòng)終端測試基準 有個(gè)好消息是，一個(gè)最近推出的移動(dòng)終端測試基準AndEBench，可望能為以上種種問(wèn)題帶來(lái)解決方案；該基準是由嵌入式微處理器測試基準聯(lián)盟(Embedded Microprocessor Benchmark Consortium，EEMBC)所開(kāi)發(fā)，聯(lián)盟成員包括ARM、Imagination Technologies、Intel、Marvell、Nvidia、Qualcomm與Samsung等大廠(chǎng)。 EEMBC還有管理委員會(huì )，能針對測試基準的變更，以及可公布那些性能數據做最終裁決；該測試基準的最新版本為AndEBench-Pro，是一個(gè)針對CPU、內存、儲存、3D繪圖以及整體平臺性能的Java架構測試，測試結果能以各自獨立、也能以匯總的形式來(lái)呈現。
AndEBench-Pro測試基準的各功能計分比重（來(lái)源：EEMBC） 目前AndEBench測試基準只鎖定Android平臺，而且并不支持最新的標準如OpenGL ES 3.0、OpenCL等，此外也缺乏測試全系統功能，或者是可能與特定使用模式相關(guān)的特定應用。不過(guò)該測試基準符合所有上述的優(yōu)良測試基準要素，包括測試程序、計分方法的透明度，提供經(jīng)管理單位驗證的測試結果，測試程序的一致性，以及定期更新。 不過(guò)AndEBench還不夠完善，EEMBC還在為采用該測試基準的模式訂定標準；而EEMBC也坦承，還需要更多的努力，來(lái)自產(chǎn)業(yè)界其他更多關(guān)鍵技術(shù)供貨商、行動(dòng)裝置制造商的參與是必要的，才能改善基準檢驗的程序并確保該基準能支持不同的平臺。 長(cháng)久以來(lái)，測試基準一直是產(chǎn)業(yè)界的爭議焦點(diǎn)；不該再抱怨，現在正是整個(gè)產(chǎn)業(yè)界采取行動(dòng)、為行動(dòng)裝置系統測試基準開(kāi)發(fā)更完善標準的時(shí)候！ |
