Výkonnostní testy počítačů - Grafika.cz - vše o počítačové grafice

5. listopadu 1999, 00.00 | Grafika a pre-press je v první řadě o počítačích. Různým způsobům jak provnat jejich výkon se budeme věnovat v tomto článku. Je váš počítač nejrychlejší?

Grafika a pre-press je v první řadě o počítačích. A když se na jednom místě sejde více strojů od různých výrobců, přijde zřejmě řeč i na výkon a jeho porovnávání. Aby nám ale tato čísla přinesla nějaký užitek, bude dobré si alespoň stručně principy a typy výkonnostních testů poodkrýt.

Všichni asi budeme souhlasit s tím, že výkon počítače je charakteristika velmi relativní. Velmi obecně si můžeme výkon představit jako množství provedených instrukcí v daném čase. Tak bychom mohli stavět vedle sebe například frekvence procesorů nebo o něco přesnější a "odbornější" charakteristiky - počty celočíselných a desetinných operací za sekundu. Obě se udávají v milionech, příslušnými jednotkami jsou MIPS (Milions of Instructions Per Second) a MFLOPS (Milions of Floating point Instructions Per Second).

Reálný svět jako vždy není až tak jednoduchý a výkon počítače nelze odvozovat jen od charakteristik procesoru. Z hardwarového hlediska musíme vzít v úvahu vlastnosti řady dalších funkčních celků. Velký vliv má typ použité paměti, její rychlost a šířka sběrnice; grafický subsystém a průchodnost vstupně - výstupních kanálů - jsou dalšími důležitými místy, a takto bychom mohli pokračovat. V okamžiku, kdy se oprostíme od hardware, zjistíme, že podle všech parametrů srovnatelné stroje vykazují při konkrétním nasazení velmi odlišné výsledky - výkon počítače je závislý i na konkrétní aplikaci a podmínkách zpracovávané úlohy. Není divu, že úloha objektivního srovnání počítačů není snadná. Uživatel často tápe, je vybaven sice na pohled slušnou sumou údajů, kterou ale není ve skutečnosti schopen navzájem mezi jednotlivými stroji porovnat.

Logicky se nabízí možnost vytvořit nějaké sady testů nebo programy, které na počítači necháme provést a zaznamenáme výsledek. Změříme spotřebovaný čas, počet vygenerovaných obrazců nebo počet vyřešených soustav rovnic - zkrátka získáme průkazné údaje, které bude možné vzájemně porovnávat mezi stroji různých výrobců a platforem. Z této myšlenky vycházejí konstrukce tzv. benchmarků, testovacích utilit a aplikací. Benchmarky navrhují a pro použití uvolňují pro ten účel založené organizace a sdružení, výzkumné instituce i samotní výrobci. Benchmarky mohou existovat v zásadě ve dvou podobách - standardní a aplikační. Jak názvy napovídají, standardní benchmarky jsou zaměřeny na obecné testy výkonu, zatímco aplikační zachycují výkon dané sestavy v konkrétní aplikaci.

Standardní benchmarky se často setkávají s námitkou, že prověřují jen separátní funkční část počítače, případně jen některou z jejích činností a mohou tak jen těžko poskytnout obraz o práci celé sestavy. To je pravda, ale jen zčásti. Kvalitní standardní benchmarky jsou pečlivě sestavené a určené opravdu k proměření dílčích subsystémů. Na druhou stranu máme k dispozici metody, jak z nich představu o celku odvodit. Každé zkoušce přiřadíme váhu podle důležitosti zkoumané charakteristiky pro plánované konkrétní použití počítače. Při konečném souhrnu všech benchmarků pak každý výsledek započítáme společně s jeho váhou (důležitostí).

Aplikační benchmarky mohou být použitelné i zavádějící stejně jako standardní. Protože jsou ale založeny na práci v důležité aplikaci, kterou budeme na počítači provozovat, mohou při dobrém návrhu přinést srovnání výkonů rychleji a snáze. Jejich výsledky mohou být často velmi překvapivé. Komplexní aplikace vyžadují jiné metody optimalizace sestavy, a tak se počítač může jevit v jedné aplikaci jako průměrný, zatímco v jiné může předstihnout ostatní stroje třeba o řád. Ve výjimečných případech se stejně může projevit i změna vstupních dat, z toho důvodu jsou některé testy doprovázeny pro větší objektivitu i příslušnými soubory.

Jak je vidět, návrh dobrého benchmarku není vůbec snadný. Jak standardní, tak aplikační benchmarky musí zachycovat podstatné, průkazné skutečnosti, ze kterých si odborná veřejnost může udělat odpovídající úsudek o výkonnosti počítačové sestavy. Každá zkouška musí být navíc prováděna podle metodiky předepsané jejími tvůrci - jen tak mohou být její výsledky seriózní. Některé zkoušky se mohou během času stát opravdu populárními, a pak se můžeme dočkat i toho, že výrobci optimalizují výkon sestavy právě pro některý benchmark. Výkony uváděné podle zkoušek pak rostou a tento nárůst může být i větší než nárůst výkonu v reálných aplikacích. Nemusí to být vždy jev tak říkajíc záporný. Vezměme příklad Photoshopu, který obsadil na trhu takovou pozici, že hardwarové firmy mluví o sestavě optimalizované pro práci právě v něm. Potom je jasné, že testy v aplikacích, pro které počítač optimalizován nebyl, nebo testy standardní zřejmě nedají o jeho výkonu tu správnou představu.

V následující části článku si stručně představíme některé, zejména pro testování pracovních stanic často používané, zkoušky. Vybrali jsme zkoušky opakovaně se objevující v materiálech výrobců pracovních stanic. Je pravda, že pracovní stanice jsou používány daleko častěji na pozicích 3D modelování, vědeckých simulací, CAD konstrukcí či serverů pro pracovní skupiny, zatímco jejich nasazení jako např. stanice pro retuš v Photoshopu je přece jen řidší. Tomu odpovídá i struktura běžně používaných benchmarků, které se právě do uvedených oblastí soustřeďují. Tím chceme říci, že bohužel (až na jednu výjimku) neuvedeme benchmark zaměřený přísně do pre-pressu. Proto rádi uvítáme od čtenářů tip na benchmark, který nám v hledání případně unikl.

Benchmarky rychlosti procesoru

Přesněji řečeno jde o benchmarky testující výpočetní výkon počítače, proto je výsledek ovlivněn architekturou výpočetní části - procesorem, pamětí, sběrnicemi apod. Jako zřejmě nejpopulárnějšího zástupce si zde uvedeme benchmarky společnosti Standard Performance Evaluation Corporation (SPEC, www.spec.org). Společnost vytváří sady benchmarků pro testování počítačů (podmínky získání a použití naleznete na stránkách firmy) a na svých stránkách rovněž pravidelně zveřejňuje zajímavé výsledky testů. Testy SPEC byly původně určeny pro operační systémy UNIX, ale jejich portace na jiné systémy je rovněž možná. Vzhledem k jejich popularitě se s testy podle SPEC můžeme v dokumentacích a marketingových materiálech setkat poměrně často. Benchmarky bývají označovány jako SPECint (CINT) a SPECfp (CFP) a jde v daném pořadí o testy v celočíselných a desetinných operacích. Celočíselné testy jsou napsány v jazyce C a zahrnují úlohy typu kompresí a dekompresí souborů, práce s prvočísly, databázové operace a umělé inteligence. Testy pro práci v plovoucí řádové čárce byly napsány ve Fortranu (pak že jsou tyto jazyky na ústupu) a počítají úlohy z 3D modelování, simulace fyzikálních jevů a složitých rovnic. Konečné výsledky jsou uváděny jako číslo udávající poměr výkonu testované sestavy a sestavy referenční (viz www), delší sloupce vyjadřují vyšší výkon.

Benchmarky pro testy zpracování složitých výpočtů

Sem můžeme zařadit benchmarky firmy ANSYS Inc., která produkuje aplikace pro oblast počítačem podporovaného navrhování (CAE), zejména pro výpočty metodou konečných prvků. My jsme tyto benchmarky vybrali, protože počítač by měl být podle testů výkonný i v náročných 2D a 3D grafických aplikacích. Testy se skládají ze sady výpočetních úloh, rozsáhlých i méně rozsáhlých, jejichž kombinací lze zachytit poměrně široké spektrum činností počítače (podrobnosti na www.ansys.com). Měřenou veličinou je přímo čas spotřebovaný na provedení testů. (Ne vždy se provádí kompletní sada, proto pozor na specifikaci testu.) Čas je uváděn v sekundách - samozřejmě čím kratší, tím lepší výsledek testu.

Další podobnou sadou benchmarků jsou zkoušky Linpack (www.netlib.org). Benchmarky Linpack řeší systémy lineárních rovnic a jejich významným rysem je, že řada z nich je zdarma. Měření dává opět číselný výsledek, jehož jednotkou je tentokrát již zmíněný MFLOPS. Obvykle se používají testy Linpack 100 x 100 a Linpack 1 000 x 1 000, kde čísla představují rozměr počítané matice. První z obou zkoušek se používá pro méně výkonné systémy, pro velmi výkonné systémy je nutné použít zkoušku náročnější.

Grafické benchmarky

Jako zástupce zkoušek výkonnosti grafického subsystému jsme vybrali sadu benchmarků Viewperf OpenGL 3D. Právě OpenGL 3D se poměrně rychle stal jedním ze standardů používaných výkonnými pracovními stanicemi i výkonnými počítači, které zatím do této kategorie neřadíme. Více informací o zkoušce i výsledky testů naleznete na www.specbench.org.

Viewperf se skládá ze sady zkoušek testujících výkon v OpenGL, nezávislých na platformě. Mohou tedy běžet na všech systémech, které podporují OpenGL, a výsledky jsou poměrně snadno srovnatelné. Každý benchmark obsahuje řadu testů, které provádějí operace jako mapování textur, renderování světel, vykreslování objektů a antialiasingem apod. Výsledkem je číslo udávající počet obrázků (frames) za sekundu, proto čím větší číslo, tím lepší výsledek. Častěji se přitom používá výsledek v souhrnné formě namísto uvádění detailních čísel z každého jednotlivého testu.

Jako speciální benchmark jsme si na závěr nechali původní českou zkoušku. Je určena pro měření výkonu počítačů v Adobe Photoshopu a jde právě o typický aplikační benchmark. Široká přenositelnost je zaručena tím, že benchmark je konstruován jako "akce", proto jí příslušné verze rozumějí bez ohledu na platformu. Benchmark sestavil Milan Tuček () a je volně ke stažení na Internetu (http://members.xoom.com/powercheck/index.html), kde by měly být umístěny i výsledky testu pro nejrůznější konfigurace počítačů. Je určen pro Photoshop 4.0 a vyšší. Typicky je velkým přínosem takovéhoto druhu zkoušky možnost porovnání velmi širokého spektra počítačů. Je dobře vidět (pokud to uživatelé samozřejmě pečlivě v hlášení vyplní), jaký vliv na výkon má platforma, typ procesoru, frekvence procesoru, množství a druh paměti i instalované disky. Výsledky takto pojatého testu mohou ostatním uživatelům pomoci ve stanovení priorit při navrhování konfigurace počítače.

V našem přehledu jsme se mohli zastavit jen u několika málo známých benchmarků a jistě by bylo možné vytknout nám opomenutí jiných (např. viz www.proe.com). Naším cílem ale přirozeně nebylo přinést vyčerpávající výklad o problematice testování počítačů. Chtěli jsme čtenářům ukázat, jak si vykládat výsledky zkoušek, které si mohou přečíst v materiálech výrobců, a přiblížit filozofii těchto zkoušek.

Je zřejmé, že každý benchmark je (pouze?) pomůckou či nástrojem. A jako každá pomůcka je užitečný jen když je s ním správně naloženo. Při hodnocení výsledků zkoušek si musíme uvědomit, na které funkce počítače je zkouška zaměřena, jaký je způsob měření. Již víme, že konkrétní zkouška může dávat lepší či horší výsledky v závislosti na architektuře počítače, aniž by dostatečně odrážela skutečný výkon v reálné aplikaci. Proto je lepší si vždy při závažnějším rozhodování (a nákup stanice v hodnotě i stovek tisíc korun pro většinu uživatelů závažným krokem je) obstarat široké spektrum informací a uvážit, které údaje budou mít potřebnou vypovídací schopnost.

Článek byl převzat ze říjnového čísla polygrafického měsíčníku Svět tisku. Časopis obsahuje 102 stran za cenu 49,- Kč vč. DPH, poštovného a balného!.