Timedemoilla vääristyneitä tuloksia näytönohjaintesteissä
HardOCP on julkaissut mielenkiintoisen artikkelin, jossa pohditaan ja testataan näytönohjaimien testausmetodeita. Monet pelit sisältävät sisäänrakennetun tai kolmannen osapuolen koodaaman timedemo-ominaisuuden, joka ajaa automaattisesti pelistä läpi tietyn pätkän ja ilmoittaa mitatun ruudunpäivitysnopeuden. Kyseinen testaustapa on testaajalle helppo, säästää aikaa ja vaivaa ja tulokset ovat identtisten testiajojen ansiosta vertailukelpoisia keskenään. Tietokonelehden tai verkkojulkaisun toimittajan pöydällä odottaa jatkuvasti vino pino uutta rautaa testausta, joten yhden tuotteen testaukseen ei voi käyttää rajattomasti aikaa. Joskus ainoat näytönohjaimella ajettavat testit saattavatkin jäädä pelkiksi timedemojen pyörittelyiksi, joiden perusteella artikkelissa annetaan lopullinen tuomio suorituskyvystä eikä itse peliä ole välttämättä pelattu hetkeäkään.
Toinen tapa testata näytönohjaimia on automatisoitujen timedemojen sijaan pelata peliä ja mitata ruudunpäivitysnopeus Fraps-ohjelmalla. Kyseinen mittaustapa on ollut Muropaketissa käytössä jo useamman vuoden ajan ja se on todettu erittäin toimivaksi menetelmäksi, vaikka tuottaakin testaajalle hieman enemmän työtä ja vaivaa. Muropaketin testeissä etsitään peliä pelaamalla sulavasti pyörivät asetukset (resoluutio, reunojen pehmennys, anisotroppinen suodatus ja pelin kuvanlaatuasetukset), jonka jälkeen pelaamme pelistä läpi tietyn testikohdan kolmeen kertaan ja laskemme minimin, keskimääräisen ja maksimin ruudunpäivitysnopeuden keskiarvot. Rutinoituneella testiosuudella kahden eri testikerran välinen ero saattaa jäädä 0,1 FPS:ään. Mielestämme pelitestejä on turha ajaa liian korkeilla kuvanlaatuasetuksilla, jolloin minimi ja keskimääräinen ruudunpäivitysnopeus tippuvat liian alas ja peli nykii eikä ole enää sulavasti pelattava.
HardOCP ajoi Benchmarking the Benchmarks -artikkelissaan testejä Crysis-pelissä, jossa kahdella identtisellä kokoonpanolla ajettiin suorituskykymittaukset ensin läpi timedemoilla ja perään peliä pelaamalla. Tulokset osoittavat hyvin selvästi, että timedemoilla keskimääräinen ruudunpäivitysnopeus on samoilla asetuksilla jopa noin 20 FPS korkeampi, kuin peliä oikeasti pelatessa. Testeissä verrataan Radeon HD 3870 X2- ja GeForce 8800 GTX -näytönohjaimia vastakkain ja tulosten perusteella AMD:n näytönohjain hyötyy timedemojen käytöstä prosentuaalisesti enemmän. Tästä syystä useissa ulkomaalaisissa Radeon HD 3870 X2 -artikkeleissa näytönohjaimen pelisuorituskyky vaikutti olevan NVIDIAn GeForce 8800 Ultraa parempi, vaikka Muropaketin tosielämän pelitesteissä tilanne ei näyttänyt aivan yhtä valoisalta.
Lukijoillemme muistutuksena mainittakoon, että näytönohjaintestejä lukiessa kannattaa aina tarkistaa, onko testitulokset ajettu timedemoja käyttämällä vai Muropaketin tavoin hieman vaivaa nähden peliä pelaamalla.
HardOCP, Benchmarking the Benchmarks
