EN
  1. Domov
  2. AMD bojkotuje benchmark SysMark, má byť nespravodlivý

AMD bojkotuje benchmark SysMark, má byť nespravodlivý

  • Gudas
  • 22.6.2011
  • prečítané 7477x

AMD vystupuje zo spoločenstva BAPCo, ktoré stojí za benchmarkom SysMark a ten nazýva nespravodlivým. Neberie vraj do úvahy výkon grafických čipov a nahráva konkurencii.

Téma testovania výkonu procesorov a iných IT produktov ako takých je veľmi háklivá a vždy živá. Ak už niekto porovnával čo i len dva procesory navzájom vie, aké ťažké je vybrať správne testy a taktiež správne interpretovať výsledky. Priznávame, aj naša metodika testovania procesorov by mohlo byť ďaleko lepšia, no nikdy nie ideálna. V týchto prípadoch majú pomáhať benchmarky od rešpektovaných spoločenstiev a firiem, ako napríklad PCMark od Futuremark či SysMark od organizácie BAPCo. Na základe týchto sa môže zákazník rozhodovať pri nákupe, preto je ich vyváženie a odladenie pre simuláciu reálnej prevádzky veľmi dôležité. Práve na tento aspekt sa sťažuje AMD.

Nigel Dessau, šéf marketingu z AMD, vysvetľuje na svojom blog-u viac k tejto kauze. AMD ako účastník tvorby SysMark-u 2012 vstupovala do návrhov testovacích procedúr, ktoré sa mali počas behu testu vykonávať. Poukazuje na to, že dnes je väčšina aplikácií ktoré používame založená na HTML5 a JavaScripte (čo uznávame, priznajte sa, koľko času strávite vo web prehliadači?) a taktiež že veľa digitálneho obsahu je už dnes vo forme videa alebo je akcelerovateľného pomocou grafických čipov. Návrhy AMD týkajúce sa zmeny skladby testov údajne neboli spoločenstvom BAPCo vypočuté, čo viedlo až k včera oznámenému odchodu AMD z tohto zoskupenia IT firiem.

Takýmto "riešením" sa údajne BAPCo malo vyhrážať už dávnejšie, keď sa na rovnakom blog-u objavila kritika súčasnej verzie SysMark 2007. AMD sa nakoniec rozhodla spoločenstvo opustiť sama a taktiež požiadala o odstránenie svojho loga z marketingových materiálov testu SysMark 2012.

Ako píše Dessau, jadrom sťažnosti je fakt, že SysMark sa skladá z testov ktoré nie sú reprezentatívne a ignorujú heterogénny computing (využitie CPU aj GPU) a taktiež že v podstate generuje nesprávne výsledky, ktoré môžu viesť k nesprávnym rozhodnutiam pri nákupe. Vymenúva aj nejaké konkrétnejšie čísla:

  • SysMark 2012 je prezentovaný ako celok osemnástich aplikácií a celkovo až 390 meraní, no v skutočnosti výsledné skóre v prevažnej miere ovplyvňuje len 7 aplikácií a menej ako 10% meraní. Teda malá časť testov určuje výsledok.
  • veľká časť skóre je ovplyvnená optickým rozpoznávaním znakov (OCR, používané pri skenovaní dokumentov a prevode do editovateľného textu) a kompresii dát, čo priemerný človek nemá podľa Dessau-a v bežnej náplni práce
  • SysMark 2012 sa orientuje len na výkon procesora a ignoruje paralelný výkon grafických kariet

AMD teraz chce skúmať iné možnosti testovania, prípadne aj založiť iné konzorcium s cieľom vývoja otvoreného benchmarku, ktorý by odrážal aj rastúcu dôležitosť GPU.


SysMark 2012 - podľa AMD neodráža skutočnú situáciu a nahráva konkurencii

Z tohto všetkého je zrejmé, že spoločnosť AMD sa snažila presadiť, aby sa v benchmarku lepšie presadili jej nové procesory z rodiny Fusion. Tieto integrujú staršie procesorové jadrá z Athlon II X4 s menšími úpravami a DirectX 11 grafické jadro pochádzajúce zo série grafických kariet Radeon HD5000. Je jasné, že v takom teste, kde sa berie ohľad predovšetkým na procesorový výkon, by tieto čipy viac či menej prepadli. No vo vyváženejšom teste, ktorý by využil aj silu grafického jadra, by sa dostali do popredia výhody nových procesorov.


AMD Fusion procesory - kombinácia priemerne výkonného CPU a najvýkonnejšej integrovanej grafiky

Možno sa pýtate, prečo toľko rozruchu kvôli jednému benchmarku? SysMark 2012 je považovaný za akýsi "štandard" a na jedno výsledné skóre simuluje prácu mnohými reálnymi aplikáciami, ako sú populárne nástroje od Adobe (Acrobat, After Effects, Photoshop, Flash, Dreamviewer, Premiere), Microsoftu (balík Office 2010, Explorer 8), Autodesku (3DSMax, AutoCAD), Mozilly (Firefox), Google (SketchUp), či Abby FineReader a WinZip. Na základe výsledkov testu sa rozhodujú mnohé spoločnosti, školy či dokonca vlády krajín pri nákupe počítačov, dobré čísla sú teda podmienkou "na prežitie". Ovplyvnenie testov v prospech výhod niektorého z konkurentov na trhu samozrejme vždy bude niečim "smrdieť", skutočnú pravdu sa ale zrejme tak skoro (ak vôbec) nedozvieme. Biznis takom o objeme miliárd dolárov ročne je veľmi lukratívny. AMD môže byť rozhorčená právom, alebo aj cúvať z iných dôvodov.

Tagy AMD Fusion SysMark
Komentáre (26)
pif666
22.6.2011 - 09:04
AMD ma evidentne vykonovy problem s novou architekturou, ze musi takto kricat. Keby mali rozum, tak sa ozvu vcas dopredu s navrhom novych testov a nie az vtedy ked sa bulldozer posuva na neskor kvoli roznym a zrejme aj vykonovym problemom. Mozeme polemizovat a aj suhlasit s AMD ohladne obsahu testov v SysMarku. Ze nezohladnuju GPU cast atd - len by ma zaujimalo ako chce AMD ukazat "rastucu dolezitost GPU". SW vyuzivajuce GPU je minimum, pre bezneho usera maximalne akceleracia videa, co ale tak ci tak robila predtym graficka karta. Robit bechmark, ktory mi ukaze teoreticky vykon na aplikacie co neexistuju fakt nepotrebujem. Ano, situacia s vyuzitim GPU sa casom zlepsi, ale to si pockam na realne testy aplikacii co pouzivam. AMD chce urobit zo SysMarku dalsi 3dMark - meria nove funkcie grafickych kariet, ale hry ktore ich realne pouziju pridu az po par rokoch ...
LordKJ
22.6.2011 - 10:50
ved presne o to ide , aplikacie na webe a rozruch nerobi koli zambezi cpus ale hlavne koli llano ktore zaklada na v podstate phenome a gpu
pif666
22.6.2011 - 11:07
Mas pravdu, je to kvoli llano ale ceria vodu - nech sa pozabudne na bulldozer. Kazdopadne preco sa ozyvaju az teraz? Su to marketingovi babraci. Mne je mi akceleracia a stabilizacia videa celkovo ukradnuta, prinosy GPU tu premna koncia, s nicim dalsim zatial neprisli a je dost neskoro presviedcat ludi, ze to je spravna cesta a dovod kupit si ich CPU (hoci aj benchmarkom) ked uz je produkt na trhu.
pietro sk
22.6.2011 - 12:03
Ty budes patrit do skupiny ludi ktori si vystacia intel grafikou. Budiz Kedy podla teba sa mali ozvat, ked Sysmark bol uvedeny tento mesiac ? Neviem kde si pochytil suvis BAPCO s BD architekturou? >SW vyuzivajuce GPU je minimum Niet sa comu cudovat, ked developeri zmyslaju stale singlethreadovo.. Aplikacie kde ma GPGPU zmysel, su na trhu, postupne pribudaju dalsie. Male (+singlethread) ulohy sa neoplati pocitat cez graf. karty, problemom su latencie. (Cakat ze sa objavi GPU verzia Kalkulacky ci Notepadu je nezmysel) Fusion je v tomto zmena vpred, to vsak Sysmark nezohladnuje, takisto rastuci trend GPGPU.
pif666
22.6.2011 - 13:38
Mam defikovanu grafiku. Ked dokaze nVivia spolupracovat pri priprave 3d Marku a vyvoji vela hier tak nevidim dovod preco AMD nemysli dopredu a nepodchyti si pripravu novej verzie benchmarku. Ked je pre nich dolezity, tak s tym predsa nieco robim. "Developeri myslia single thread" je dost sporne tvrdenie o ktorom tu nema zmysel diskutovat - kazdopadne mna nezaujima co procesor dokaze, ale co dokaze SW ktory pouzivam na konkretnom procesore. HW funkcie bez podpory v SW su uplne nanic. Fusion je dobra cesta, ale zatial nepredstavuje pre bezneho usera prinos. A s vyraznou mierou prehanania to ukazuje aj SysMark :)
LordKJ
22.6.2011 - 14:01
ty mas dedikovanu grafiku , pre teba llano nieje llano je dizajnovane pre domace PC , ako vidis vo vedlajsom clanku budu lacne , cize za maly peniaz mas schopny procesor a graficku kartu ktora ti na zakladne hry staci , ak sa chces na PC hlavne hrat , tak logicky si kupis dedikovanu grafiku , tak isto ked chces renderovat si nekupis 2 jadro. proste llano nie je procesor , pre entuziastov a pro gamerov , ale pre beznych ludi , ktorych ked sa spytas aky pc maju tak ti odpovedia Windows 7 :) btw , deDikovanu , nViDia ..
pif666
22.6.2011 - 14:21
Suhlasim, viem pre koho je Llano urcene a dokonca si myslim ze to je dobry produkt. Ale marketingovo to AMD nezvlada a ich neschonost ma rozculuje. Ked su teraz ukrivdeni, co budu robit ked bude bulldozer prepadak.
LordKJ
22.6.2011 - 14:23
neverim ,ze bulldozer bude prepadak , v kazdom pripade mam namierene na 8 jadro :)
pietro sk
22.6.2011 - 15:35
Ukrivdeni ? Si nepochopil o com to je To nieje o tom ze amd je "urazena princezna", ale o tom ze sysmark je hodne daleko od reality.
pif666
22.6.2011 - 18:09
Ja som pochopil o co ide. Vzdy je vela pohladov nato, co je realita a AMD sa nepaci konfiguracia testov - lebo v nich vychadza blbo a predovsetkym ich hlavna idea a spasa ""Fusion"" sa zrejme uplne ignoruje. "v SysMark ignorujú heterogénny computing (využitie CPU aj GPU)" Ja sa pytam, v kolkych programoch vymenovanych v clanku (Adobe (Acrobat, After Effects, Photoshop, Flash, Dreamviewer, Premiere), Microsoftu (balík Office 2010, Explorer 8), Autodesku (3DSMax, AutoCAD), Mozilly (Firefox), Google (SketchUp), či Abby FineReader a WinZip") sa pouziva heterogenny computing? To ze ich fusion nema masivne vyuzitie je ich chyba a akceleracia + stabilizacia videa ich proste nespasi. Ano, chcelo by to akcelerovane browsery IE9 a aj novsi Firefox, v dalsom sysmarku urcite budu A ano, da sa vybrat aj ina mnozina programov, taka co bude AMD viac vyhovovat. Intel ma vykonnejsie CPU a nemusi byt taky vyberavy, ale opat ked AMD vie kde ma slabiny tak natom zapracujem a trebars sa skusim dohodnut s BABCo na novom teste typu "Internet user productivity"
pietro sk
22.6.2011 - 20:28
Transparentnost nevyhnutný základ akehokoľvek úsilia http://goo.gl/vOhF0 >>trebars sa skusim dohodnut s BABCo na novom teste Predstav si ze sa nedalo, za tie roky http://semiaccurate.com/2011/06/20/nvidia-amd-and-via-quit-bapco-over-sysmark-2012/ Sarkazmus pre nechapavych: *Transparentny a ferovy benchmark* -- to by sme vela chceli od firmy zalozenou intelom, ktory ma na konte protimonopolnu pokutu vyse biliona $$.
pif666
22.6.2011 - 21:34
Ja skutocne neviem co si predstavujes pod transparentnym a ferovym benchmarkom - resp co by si zmenil na SysMarku 2012 ? Ano som za IE9 a novsi tiez akcelerovany Firefox. Dalej ? Myslim ze zvysok je(relativne) OK, AMD NEMA pre fusion realne vyuzitie. A neobhajujem kravinu typu SysMark, ze sa stal v niecom standartom je proste fakt. Dava cisla ktorym menezeri rozumeju AMD malo svoju sancu, vyjadrenie BABCo: Advanced Micro Devices (AMD) was, until recently, a long standing member of BAPCo. We welcomed AMD’s full participation in the two year development cycle of SYSmark 2012, AMD’s leadership role in creating the development process that BAPCo uses today and in providing expert resources for developing the workload contents. Each member in BAPCo gets one vote on any proposals made by member companies. AMD voted in support of over 80% of the SYSmark 2012 development milestones, and were supported by BAPCo in 100% of the SYSmark 2012 proposals they put forward to the consortium. To ze ma AMD problem ze benchmarky nevyuzivaju silu GPU, opakujem aku realnu silu to ma? Kde vsade mi to pomoze ?
SynkretizZz
23.6.2011 - 10:41
No ono ide aj o to akým spôsobom sú tie testy vyberané, prečítať (starší článok) http://dopice.sk/z3 Oni hlavne ukazujú na to ,že sa veľa firiem rozhoduje podľa tohto benchmarku, ktorý je zaujatý ( pre nich nevýhodný) a asi na tom niečo bude :) pri takomto "hromadnom" ochode. čítaj ďalej http://dopice.sk/z4 Nejde ani tak o aplikácie ako o to čo v nich sa testuje viď starší článok.
pietro sk
23.6.2011 - 11:09
1-preco sa bavime len o AMD, ked je oficialne ze odstupili VIA aj NVIDIA ????? Asi kvoli tomu ze Sysmark je "bezchybny"... (Nechapem preco branite tento benchmark ?) >>>To ze ma AMD problem ze benchmarky nevyuzivaju silu GPU, opakujem aku realnu silu to ma? 2- preco sa bavime len o AMD fusion GPGPU, ked v tom benchmarku finalne skore je rovnake ci je pouzita intel GMA alebo GTX570.. Preto sysmark skodi aj nvidii.. Opakujem Fusion summit bol iba tento mesiac, cakat ze IHNED vyroji milion aplikacii to sa neda, Llano este nieje v predaji. Zoznam prvych 20 app pre Fusion http://goo.gl/F8e73 3- BAPCO sice umoznil clenom si vybrat 80% z testov, co z toho ked vysledne skore malo najvacsiu vahu prave z tych zvysnych 20% (BAPCO) ! Priklad : Vyber si 80% ingrediencii, ja ti vyberiem zvysnych 20% , z toho sa navari jedlo a ty to budes MUSIET zjest.. Slubujem ze dodrzim presne 20%, postaram sa aby ti to hnile mäsko chutilo
pif666
23.6.2011 - 15:27
1. Ja sysMark rozhodne nebranim. Je to nastroj pre debilov a manazerov, jeho vypovedacia schopnost je miziva. Ale je to dost silny marketingovy nastroj rovnako ako 3DMark 2. No lebo v tych aplikaciach sa proste GPU nepouziva co je stale standart, ano mal sa pouzit novsi akcelerovany browser to je chyba. Ak sa sysmark 2012 pripravoval 2 roky tak asi je skoro cakat akceleraciu aplikacii cez GPU ked ako pisete "Fusion summit bol iba tento mesiac". Co chcete merat, neexistujuce aplikacie ? Z tych 20 aplikacii co ste poslali kolko myslite ze odzrkadluje pracu BFU (resp ten set aplikacii co je v clanku) ? Ja som tam nasiel len a len ten browser -> vaha GPU je mala a proste kym nebude vyuzivanie GPU kazdodenne u kazdeho BFU tak nech sa namna nehnevate, ale podla mna je spravne ze to sysmark nemeria - pretoze meria vplyv na existujuce aplikacie a nie synteticke benchmarky ani na aplikacie co este neexistuju. Je to rovnake ako ked sa zacne intel a amd nahanat kto da na trh viac jadrovy CPU. Dnes BFU stacia na 95% 2 jadra. Keby som mal 100 jadrovy CPU a 4 jadrovy ... prinos v meranych aplikaciach bude kolko ? myslim ze cislo blizke nule. Preco nula? Pretoze aj ked teoreticky mam 25x vacsi cpu vykon, nemam pre svoju pracu programy ktore to vedia vyuzit. 3. Pokial som to pochopil tak AMD suhlasilo s 80% testov, takze asi ich dalsi clenovia prehlasovali. To fakt neviem a myslim ze to netreba riesit. SysMark je len tak spravodlivy ako si to jeho clenovia odhlasuju asi aj preto ho nikto normalny na testy nepouziva. a k pointe "Priklad : Vyber si 80% ingrediencii, ja ti vyberiem zvysnych 20% , z toho sa navari jedlo a ty to budes MUSIET zjest.. Slubujem ze dodrzim presne 20%, postaram sa aby ti to hnile mäsko chutilo" Ked vedeli do coho idu preco sa rozculuju az teraz ked je SM2012 na trhu, ked maju svoju zhnitu porciu zjest? To mi vadi
pietro sk
23.6.2011 - 16:59
Rozumny clovek si kupi dualcore ked vie ako/naco bude vyuzivat pc, myslim ze na to nepotrebuje benchmark. Dalsia vec, ze mnohojadrove vykonne pc stoja nemalo €, a BFU castokrat nemaju € na rozhadzovanie, cize riziko ze BFU kupi prisilny pc mozme zanedbat. Sanca ze BFU dokaze postrehnut rozdiel vykonu medzi 2-jadrami intel/amd , je minimalna. Vznika tu nedorozumenie (pardon), fotka z clanku to napravi http://www.brightsideofnews.com/news/2011/6/22/bapco-post-mortem-is-sysmark-actually-intelmark.aspx Cize je lahke si domysliet preco NVidia tiez si zbalila kufre. (napriek tomu ze sa drzali komentaru) Dovod preco VIA odisla, napisal Tralalák ("We hope that the industry can adopt a much more open and transparent process for developing fair and objective benchmarks that accurately measure real world PC performance and are committed to working with companies that share our vision.” “We strongly believe that the benchmarking applications tests developed for SYSmark 2012 and EEcoMark 2.0 do not accurately reflect real world PC usage scenarios and workloads and therefore feel we can no longer remain as a member of the organization." ) Tym padom v Bapco, lntel ostal sam reprezentujuci skupinu vyrobcov cipov. . >>>Ked vedeli do coho idu preco sa rozculuju az teraz ked je SM2012 na trhu, ked maju svoju zhnitu porciu zjest? To mi vadi SM2012 bol uvedeny pred ~2 tyzdnami, preco reaguju teraz ? Chapem to tak ze sa im finalna (predajná) verzia dostala do ruk az teraz. To mi dava zmysel, kedze vsetci traja dali vypoved k rovnakemu datumu.
pif666
23.6.2011 - 20:12
No neviem, kazdopadne dik za link, ak je skutocne vsetko to podciarknute schopne plnohodne vyuzit GPU tak potom suhlasim ze ak je vplyv na vysledok nulovy tak je to podraz. Mne sa stale nezda ze by na problemy prisli az po uvedeni. Ked tvoris ten benchmark, platis si zato ze si clenom - aby si nemal moznost nic otestovat a videl konecnu verziu az tu ktora je v predaji to sa mi zda neuveritelne.
pietro sk
22.6.2011 - 15:13
Preco by mal niekto podchycovat nejake benchmarky? Benchmark musi byt neutralny, inak je riziko ze vysledky neodpovedaju realite. >>HW funkcie bez podpory v SW su uplne nanic. To sa da povedat aj o AVX, okrem benchmarkov prakticky nic z beznych apps. Ano momentalny status vyzera tak, ale fusion summit bol iba tento mesiac..
passco
22.6.2011 - 18:13
Ale AMD sa boji? :D
dexter
22.6.2011 - 19:43
AMD len zbiera úrodu toho čo zasadilo ked začala GPGPU do predu tlačiť NV proste to ignorovali,alebo rovno písali ako o zbytočnosti, ale teraz pritom plačú že nejaký bench nepoužíva ich kombináciu CPU a GPU, sranda tak im treba
pietro sk
22.6.2011 - 21:21
Place aj nvidia pretoze sa to tyka aj ich (aj oni uz niesu clenmi, +via) Nesuhlasim, nvidia a ati v 2006 mali gpgpu riesenia na trhu,sucasne. (Co sa tyka F@H, GPU klient zacal na ATI kartach-programov. shaders) Ignorovali , zbytocnost ? Rad by som vedel kde bola taka perla napisana Vzdy sa najdu ludia ktori zhltnu aj s navijakom co im synteticky benchmark vypluje, sranda tak im treba (:
flanker
22.6.2011 - 21:26
Musím se přidat. Je to otřesný benchmark, který možná smysluplně konkuruje PC Marku 11. A divili by jste se, jaké perly se dají v obou benchmarcích najít co do výkonu sestav. Hotové nesmysly
dexter
22.6.2011 - 21:55
aj tak je to ich večné vyplakávanie že im niekto zase krivdí už smiešne mno amd len píše o určitých veciach ale nerobí nič...
flanker
23.6.2011 - 12:19
obecně je to směšný benchmark, je to pro blbce, co nechtějí mít trochu starostí si to dohledat sami dle využití počítačů a bezhlavě věří tomu, co jim vypadne za skóre ze Sysmarku
jk2
24.6.2011 - 21:55
Ja by som to potiahol ešte ďalej - pre blbcov čo nakúpia kopu predraženého a naddimenzovaného hardware a toto použijú ako argument, podľa ktorého sa rozhodovali. Ten test je moloch, ktorý nesleduje vývojové treddy a tak sa k nemu treba postaviť. Treba mu dať nižšiu váhu pri rozhodovaní, alebo ešte lepšie jeho výpovednú hodnotu rovno ignorovať. A hotovo :-).
Tralalák
23.6.2011 - 07:45
VIA Agrees SYSMark 2012 Not Useful, Quits Too zdroj: http://www.maximumpc.com/article/news/agrees_sysmark_2012_not_useful_quits_too
Pridať nový komentár
Rady pre písanie
TOPlist