Na poli testovania výdrže batérie mobilných zariadení sa toho za posledné roky udialo iba veľmi málo. Väčšina testov je už morálne zastaraných a práve tejto príležitosti sa chytil známy tvorca syntetických testov – spoločnosť Futuremark. Podarí sa Powermarku rozčeriť stojaté vody a stane sa z neho nový štandard alebo upadne do zabudnutia bez povšimnutia?
Powermark - Úvod, Standard Benchmarks
Úvod
Spoločnosť Futuremark je svetoznáma vďaka syntetickým testom 3DMark a PCMark, ktoré sú takpovediac povinná jazda každého recenzenta a inak tomu nie je ani v našej redakcii. Oba testy sa tešia veľkej popularite a uvedenie každej novej verzie je oznámené patrične včas (aktuálne 3DMark pre pripravovaný Windows 8), takže neohlásené vydanie aplikácie na test výdrže batérie notebookov, tabletov a iných zariadení s Windows 7 bolo prekvapením. Nakoľko sa na stránkach pc.sk venujeme aj recenziám notebookov, kde okrem výkonu meriame aj výdrž batérie notebooku v rôznych scenároch používania - Office, HD movie a Gaming, uvedenie Powermarku sme uvítali.
Powermark obsahuje sadu troch testov, ktoré by mali simulovať najčastejšie scenáre používania mobilného zariadenia, avšak tester má možnosť zvoliť jednotlivé čiastkové záťažové testy ako aj nastaviť ich váhu v rámci vytvoreného scenára. Nastavenia testov sú prístupné z jednoduchého grafického prostredia ako aj z príkazového riadku, čo je vhodnejšie pre automatizované testovanie.
Inštalačný súbor Powermarku má 505 MB, minimálne systémové požiadavky sú nasledovné:
| Operačný systém: | Microsoft Windows 7 |
| Grafická karta: | kompatibilná s DirectX 9 |
| Displej: | minimálne rozlíšenie 1024 x 600 |
| Pevný disk: | 2 GB voľného miesta pre inštaláciu |
| Batéria: | na spustenie testu je požadované zariadenie napájané batériou |
Na aktiváciu Powermarku v edícii Professional (10 aktivácií, $200) sa vyžaduje pripojenie do internetu, po aktivácií už pripojenie do internetu nie je nutné, nakoľko všetky testy bežia offline. Enterprise edícia zahŕňa neobmedzený počet aktivácií, pri ktorých nie je nutné pripojenie do internetu. Cena Enterprise edície je vystavuje na vyžiadanie. Powermark je určený pre profesionálne testovacie laboratórne prostredia, takže Personal licencia nie je dostupná (aspoň zatiaľ). Požiadavka na 2 GB voľného miesta pre inštaláciu je značne nadsadená, Powermark na disku zaberá do 600 MB.
Standard Benchmarks
Po spustení Powermarku sa zobrazí jednoduché grafické prostredie so záložkami. Na prvej záložke Standard je pred spustením niektorého z troch prednastavených testov vhodné nakalibrovať jas obrazovky a nastaviť ďalšie parametre testovaného zariadenia podľa používateľskej príručky. V nej Futuremark doporučuje dodržiavanie ECMA-383 štandardu, v skratke ide o nasledovné body:
- teplota: 23 ± 0,5 °C, relatívna vlhkosť vzduchu: 10 - 80%, svetelné okolie: 250 ± 50 lux
- nastav plán napájania na Balanced (Vyvážený)
- vypni všetky bezdrôtové pripojenia ako WLAN, Bluetooth a 3G/4G
- nastav jas obrazovky na 110 cd/m2 pomocou luminometra
- odpoj všetky externé zariadenia
- spusť všetky naplánované úlohy bežiace na pozadí, aby neprekážali Powermarku
Podľa Futuremarku sú na notebookoch, tabletoch a iných batériou napájaných zariadeniach pod Windows 7 najčastejšie tieto scenáre používania:
- Balanced
v teste trvajúcom 20 minút sa po piatich minútach striedajú čiastkové testy: prezeranie webovej stránky, spracovanie textu, prehrávanie videa a hranie hry - Productivity
v tomto teste sa v päťminútových intervaloch striedajú čiastkové testy: prezeranie webovej stránky a spracovanie textu - Entertainment
test simuluje typické rekreačné použitie testovaného zariadenia, konkrétne: päť minút pozerania videa a päťminútové hranie hry, opakované v nekonečnej slučke
Aj napriek tomu že neviem, ako sa najčastejšie používajú notebooky vo Fínsku, si dovolím tvrdiť, že prednastavené testy Balanced a Entertainment sú nezmyselné. Test Productivity vyzerá byť jediný použiteľný, som preto zvedavý, akú výdrž batérie v ňom nameriam na notebooku HP ProBook 4330s. Powermark našťastie umožňuje zostaviť si vlastný testovací scenár, na druhej záložke Custom popr. z príkazového riadku.
Powermark - Custom Benchmarks, Results
Custom Benchmarks
Vo vlastnom testovacom scenári opakovanom v nekonečnej slučke sa nastavuje, koľko minút majú jednotlivé testy bežať v rámci jednej iterácie (štandardné nastavenie je 5 minút) a do akej hodnoty zostávajúcej kapacity batérie v % má test bežať. Táto hodnota je v rámci prednastavených scenároch použitia zvolená na 15%. Ilkka Koho z Futuremarku odôvodňuje voľbu takto vysokej hodnoty výsledkami interných testov, kedy batérie niektorých notebookov už pri hodnote 10% neboli schopné dodávať dostatok energie na korektné ukončenie testu resp. rechod notebooku do stavu hibernácie.
Možnosti nastavenia sú pre potreby testovania nedostatočné. Medzi nastavaniami mi chýba možnosť behu čiastkového testu v nekonečnej slučke alebo aspoň možnosť nastavenia vysokej hodnoty behu testu. Tieto dve (ľahko opraviteľné) programátorské chyby majú totižto na použiteľnosť Powermarku ako takého zásadný vplyv.
Web browsing workload
Test otvorí okno Internet Explorera, v ktorom sa zobrazuje obsah generovaný lokálnym web serverom. Jedná sa o modifikovanú verziu stránky testu Peacekeeper, na ktorej JavaScript vykonáva nasledovné akcie: Encryption, XML parsing, Data filtering, String sorting a Window scrolling.
Word processing workload
Spracovanie textu je implementované použitím RichTextBox control z Windows Presentation Foundation (WPF), kde je písanie textu v editore prispôsobené rýchlosti písania používateľa. Obsah testu je založený na článku o batériách na Wikipédii.
Video workload
Na prenosnom zariadení sa simuluje prehrávanie H.264 1280 x 720 25 FPS videa o dĺžke 8:43 min a približným bitratom 5000 kbps. Tento test má ale niekoľko zásadných nedostatkov. Okrem toho, že neskutočne nudné neozvučené video je o pár sekúnd dlhšie a obraz je v rozlíšení 1016 x 526 s vodorovnými čiernymi pásmi o šírke 41 a 39 px, takže rozlíšenie zdrojového videa bolo 936 x 526 (AR 16:9), video sa neprehráva na celej obrazovke ale v okne. Ak pre Video workload nastavím váhu 5 minút, po dokončení testu sa zavrie okno prehrávača a po chvíľke sa znova otvorí pre ďalšiu 5 minútovú iteráciu, čo je úkon, ktorého náročnosť na procesor a tým aj batériu je výrazne väčšia ako samotné prehrávanie videa.
Na testovanom notebooku vyťažoval Video workload procesor iba na 1 - 3%. Keďže Powermark nemá možnosť nastaviť nekonečnú slučku pre čiastkové testy, nastavil som váhu testu na 600 minút (10 hodín), čo je hodnota značne presahujúca možnosti batérie notebooku, v blaženej nádeji, že video sa bude prehrávať nepretržite až do vybitia batérie (5% kapacity). Miesto toho sa prehrávalo iba 3 - 4 sekundy, pri nastavení hodnoty 60 minút sa prehrávalo 24 sekúnd, pri natavení hodnoty 9 minút sa prehralo video celé a ešte kúsok od začiatku (pretočenie videa a prehrávanie v slučke teda funguje), takže som evidentne prestrelil vstupnú hodnotu parametra, ktorá ale nikde nie je zdokumentovaná! Výpovedná hodnota tohto testu je teda nulová.
Gaming workload
Renderuje DirectX 9 Shader Model 2.0 scénu s cascaded shadow maps a high-resolution shadow mapped point lights čím sa simuluje hranie bežnej počítačovej hry. Jedná sa starý známy Game Test 2 - Firefly Forest z 3DMark05, ktorý beží v okne v divokom rozlíšení 1024 x 550. Výhrady k realizácii tohto testu sú rovnaké ako pre Video workload.
Results
Po dokončení zvoleného testu sa výsledok zobrazí na tretej záložke, výsledná hodnota v hodinách a minútach je jasná, horšie to je už s detailnými informáciami testu - tie sú na prvé pozretie dosť zmätočné. Screenshot zobrazuje výsledok nastavenia Custom Benchmarku s parametrami --cutoff-charge=5 --browsing-seconds=300 --wordprocessing-seconds=300.
V rozkliknutej časti Powermark result si je možné všimnúť, koľko percent kapacity batérie spotrebovali jednotlivé čiastkové testy a aj akú dobu ten ktorý čiastkový test bežal v rámci vytvoreného testovacieho scenára. V časti Battery figures je vidieť, aká hodnota --cutoff-charge bola nastavená a či sa test aj v momente dosiahnutia tejto hodnoty dokončil. Vo väčšine prípadov sa totižto stane, že z čiastkového testu s nastavenou váhou 5 minút zbehnú napr. 4 minúty, kapacita batérie nadobudne hodnotu --cutoff-charge takže sa test ukončí, výsledok nedokončeného testu sa zahodí a Powermark zráta hodnoty všetkých predchádzajúcich dokončených testov. Výsledné skóre pri nastavenej váhe čiastkového testu na 5 minút teda pracuje s chybou 4 minúty a 59 sekúnd! Výsledky sú navyše v Individual workload results zaznamenané v abecednom poradí a nie v chronologickom, na čo som Ilkka Koho upozornil s tým, že ak by boli výsledky zoradené chronologicky, bolo by veľmi jednoduché nakresliť graf priebehu vybíjania batérie. Ilkka priznal(a) že abecedné zoraďovanie je programátorská chyba takže ostáva veriť, že ju čím skôr opravia a že graf priebehu vybíjania batérie je dobrý nápad pre budúcu verziu.
Záložka Log nie je ničím zaujímavá, na záložke Help je možné odregistrovať Powermark na testovanom zariadení po testovaní. Tým sa ale neobnoví počet licencií na pôvodné množstvo.
Powermark vs. HP ProBook 4330s, záver
Powermark vs. HP ProBook 4330s
Testy výdrže batérie prebiehali na 13,3" notebooku HP ProBook 4330s [LW836EA] s procesorom Intel Core i3-2330M (3M Cache, 2.20 GHz), 1 x 4 GB DDR3-1333 DDR3 SDRAM, integrovanou grafickou kartou Intel HD Graphics 3000 a 250 GB 7200 RPM SATA-II HDD Hitachi. O napájanie notebooku sa starala 6 článková Lithium-Ion 10.8 V 4.4 Ah 47 Wh HP PR06 Notebook Battery [QK646AA], s ktorou by mal ProBook 4330s podľa QuickSpecs dosiahnuť až do 6 hodín výdrže v MobileMark07. Notebook nebol nastavený podľa ECMA-383 štandardu ako odporúča Futuremark, nakoľko tento štandard neodráža reálne podmienky používania notebooku, ale podľa našej internej metodiky. Zásadný rozdiel je v nastavení jasu na 70% (cca. 140 nit) a zapnutí WLAN adaptéra.
Výdrž batérie notebooku HP ProBook 4330s za cca. 500€ je na porovnateľnej úrovni ako dosahuje Ultrabook ASUS Zenbook UX31E. V Reader's teste programu Battery Eater som nameral o 18 minút dlhšiu výdrž ako deklarovaných 6 hodín, test New Calico z 3DMark Vantage spustený v nekonečnej slučke simulujúci hranie náročnej počítačovej hry bežal hodinu a 47 minút, 1080p 10,3 Mbps video je možné prehrávať 2 hodiny a 20 minút.
--cutoff-charge=5 --browsing-seconds=300 --wordprocessing-seconds=300
Výdrž batérie 4h 53m v upravenom (--cutoff-charge=5 vs. 15) Productivity teste určite skôr odráža reálne dosiahnuteľnú dobu práce na notebooku ako Battery Eater Reader's test resp. MobileMark 2007 modul Reader 2007, avšak výrobcovia notebookov udávajú práve túto hodnotu. V detailoch výsledku je vidieť, že čiastkový test Web browsing je na na spotrebu energie výrazne náročnejší ako čiastkový test Word processing (61% charge used vs. 27%).
--cutoff-charge=5 --browsing-seconds=300
Samostatne spustený čiastkový test Web browsing bežal v nekonečnej slučke na notebooku HP ProBook 4330s 4h 15m. Otázne ale ostáva, načo mi takýto údaj je. Pre študenta / manažéra píšuceho záverečnú prácu / správu vo Worde môže byť na pár dní síce zaujímavý, no po zvyšok kalendárneho roka sa notebook bude pravdepodobne využívať inak.
--cutoff-charge=5 --wordprocessing-seconds=300
Samostatne spustený čiastkový test Word processing je na spotrebu energie náročnejší ako Battery Eater Reader's test a pravdepodobne aj ako modul Reader 2007 z MobileMark 2007.
--cutoff-charge=5 --video-seconds=300
Prehrávanie údajne 720p videa bez zvuku, v okne je možné 4h a 47m. Výpovedná hodnota tohto údaju je minimálne diskutabilná, celý test má viacero logických aj programátorských nedostatkov, ktoré som načrtol v predchádzajúcej kapitole. Navyše nevidím žiaden dôvod, prečo by sme mali simulovať prehrávanie videa v neexistujúcom prehrávači, keď môžeme v slučke, na celej obrazovke prehrávať ozvučené video v reálnom prehrávači, v našom prípade MPC-HC. Nami nameraná výdrž batérie je síce polovičná, výsledok ale odráža prehrávanie na procesor / grafickú kartu a tým pádom aj spotrebu náročnejších videí, akými sú napr. 1080p videá na YouTube.
--cutoff-charge=5 --gaming-seconds=300
Dosiahnutá výdrž batérie simulovaným hraním počítačovej hry (Gaming workload) je paradoxne nižšia v prípade Powermarku (Game Test 2 - Firefly Forest z 3DMark05) - 1h 23m vs. 1h 47m New Calico z 3DMark Vantage a to aj napriek tomu, že hra beží v nižšom rozlíšení a v okne. Obe hodnoty sú ale porovnateľné.
Záver
Testovanie výdrže batérie v mobilných zariadeniach je tak zložité (jednoduché) ako zložité (jednoduché) je nastaviť kritériá testovania. Na jednej strane sú totižto štandardy (ECMA-383) a etablované testovacie aplikácie (MobileMark 2007), na strane druhej je nastavenie mobilného zariadenia tak, aby reálnejšie korešpondovalo s najčastejšími scenármi používania a tie by mali aj do istej miery odzrkadľovať aktuálne trendy.
A práve na túto scénu vstupuje Powermark. Podľa slov produktového manažéra Futuremarku, Ilkka Koho, má byť Powermark nový druh testu - na používanie jednoduchý, priamočiary nástroj slúžiaci na testovanie výdrže batérie zariadení s Windows 7, bez potreby zložitej inštalácie a komplexnej dodatočnej konfigurácie (pravdepodobne poukazoval na MobileMark). A v tom je ten problém.
Počas testovania v Powermarku som sa totižto nevedel zbaviť pocitu, že sa mi do rúk dostala alfaverzia a nie finálny produkt, že sa neinšpirovali konkurenciou, ktorú sa ani náznakom nesnažia prekonať, ale poskytujú iba základnú funkčnosť a hlavne, že nevyužili potenciál programu, ktorý vytvorili.
Powermark totižto má potenciál stať sa v komerčnej sfére, tlači a médiách úspešným produktom, ak doplnia potrebné nastavenia, vyladia funkčnosť a zapracujú na dokumentácii. Ak sa teda vrátime k pôvodnej otázke, či je Powermark nový etalón testovania výdrže batérie, tak minimálne za seba môžem povedať, že v podobe akej sa aktuálne program nachádza, určite nie.
Za poskytnutie licencie na Powermark ďakujeme spločnosti Futuremark.
Za poskytnutie notebooku HP ProBook 4330s ďakujeme spoločnosti Datalan.
Pridať nový komentár