Kirjaudu

Uutiskirje

Rekisteröidy Sektoriin ja tilaa itsellesi joko aamuisin tai iltaisin ilmestyvä uutiskirje sähköpostiisi.

Maanantai, 26.5.2003

3DMark2003 sai korjauspäivityksen Nvidia-ongelmaan

Suomesta maailmalle ponnistanut Futuremark ilmoitti perjantaina julkaisseensa päivityksen 3DMark2003-testisovellukseen. Futuremarkin sivuilla saatavilla oleva päivitys (patch 330) estää Nvidian GeForce FX -näytönohjaimia saamasta ansaittua parempia testituloksia. Futuremark julkaisi samalla seitsemänsivuisen pdf-dokumentin, joka kertoo päivityksen tekemiseen johtaneista syistä.

Nvidia jäi kiinni huijauksesta jo pari viikkoa sitten ExtremeTech-verkkopalvelun testeissä. ExtremeTechin mukaan DetonatorFX 44.03 -ajurisovellus huijasi 3DMark2003:ssa joko tahallisesti tai tahattomasti. Tuolloin Nvidian ajuritiimi kertoi ajurien olevan viallisia. Futuremark kuitenkin löysi Nvidian ajureista tietynlaisia tunnistusmekanismeja, joiden avulla testitulokset vääristyvät.

Nvidian edustaja kiistää Futuremarkin johtopäätökset. "Koska Nvidia ei ole mukana Futuremarkin beetatestausohjelmassa, meillä ei ole mahdollisuutta tehdä kehitystyötä yhteistyössä heidän kanssaan, kuten teemme todellisten sovelluskehittäjien kanssa. He ovat ilmeisesti pyrkineet tarkoituksella luomaan vaikutelman, että meidän tuotteemme olisivat huonoja", kommentoi Nvidian edustaja tilannetta.

Lue juttu K2, 26.5.2003 00:05. Lähde: ZDNet
Rekisteröidy ja kirjaudu sisään, jos haluat kommentoida.

Kommentit ( 13 uutta / 13 )
pistettä.
Näytä vain kommentit joilla on vähintään
Pyhimykset
Anonyymi kommentoija, 26.5.2003 00:46:44
Pisteet: 0
Kirjoittajalla taas ATI lasit päässä. Ohessa ote Futuremarkin forumeilta:

Our investigations reveal that some drivers from ATI also produce a slightly lower total score on this new build of 3DMark03. The drop in performance on the same test system with a Radeon 9800 Pro using the Catalyst 3.4 drivers is 1.9%. This performance drop is almost entirely due to 8.2% difference in the game test 4 result, which means that the test was also detected and somehow altered by the ATI drivers. We are currently investigating this further.
Re: Pyhimykset
Anonyymi kommentoija, 26.5.2003 06:55:28
Pisteet: 0
Kirjoittajalla taas ATI lasit päässä. Ohessa ote Futuremarkin forumeilta: This performance drop is almost entirely due to 8.2% difference in the game test 4 result, which means that the test was also detected and somehow altered by the ATI drivers. We are currently investigating this further.
Atin vastine asiaan:
"The 1.9% performance gain comes from optimization of the two DX9 shaders (water and sky) in Game Test 4 . We render the scene exactly as intended by Futuremark, in full-precision floating point. Our shaders are mathematically and functionally identical to Futuremark's and there are no visual artifacts; we simply shuffle instructions to take advantage of our architecture. These are exactly the sort of optimizations that work in games to improve frame rates without reducing image quality and as such, are a realistic approach to a benchmark intended to measure in-game performance. However, we recognize that these can be used by some people to call into question the legitimacy of benchmark results, and so we are removing them from our driver as soon as is physically possible. We expect them to be gone by the next release of CATALYST."
Re: Pyhimykset
Anonyymi kommentoija, 26.5.2003 19:36:22
Pisteet: 0
Jaahas: Ensin sanotaan että toiminnoista ei ole haittaa, vaan nopeuttavat pelejä huonontamatta kuvanlaatua...

. These are exactly the sort of optimizations that work in games to improve frame rates without reducing image quality

...mutta kuitenkin toiminnoista luovutaan?? Jotain järkeä, kiitos.


and so we are removing them from our driver as soon as is physically possible. We expect them to be gone by the next release of CATALYST."
Re: Pyhimykset
Anonyymi kommentoija, 27.5.2003 17:06:29
Pisteet: 0
Jaahas: Ensin sanotaan että toiminnoista ei ole haittaa, vaan nopeuttavat pelejä huonontamatta kuvanlaatua... . These are exactly the sort of optimizations that work in games to improve frame rates without reducing image quality
...mutta kuitenkin toiminnoista luovutaan?? Jotain järkeä, kiitos.
No jos niitä _jotkut pitävät_ huijauksena, eikä ne tuo kuin parin prosentin parannuksen, voihan se olla että jo PR-syistä muutokset poistetaan.
Tässä tapauksessa raja optimoinnin ja huijauksen välillä on hiuksen hieno...toisaalta voisi ihmetellä, miksi ihmeessä ATI käyttäisi aikaa testiohjelman tuloksen optimointiin muussa kuin mainosmielessä, se kun ei loppukäyttäjälle pahemmin vaikuta.
Re: Pyhimykset
K2, 26.5.2003 02:19:13
Pisteet: 0
Kirjoittajalla taas ATI lasit päässä. Ohessa ote Futuremarkin forumeilta:
Jep, löytyihän se sivulta neljä tuosta pdf-dokumentistakin. Mistä ne mainitsemasi ATI-lasit voi noutaa?
Re: Pyhimykset
Anonyymi kommentoija, 26.5.2003 10:10:43
Pisteet: 0
Jep, löytyihän se sivulta neljä tuosta pdf-dokumentistakin. Mistä ne mainitsemasi ATI-lasit voi noutaa?
Ihan turhia mokomat lasit, tulee vaan silmät kipeeks kun niitä käyttää. Eikä se "3d-efekti" ole mistään kotosin.
3DLottery2003
Anonyymi kommentoija, 26.5.2003 01:21:07
Pisteet: 0
Voiko noihin testeihin enää luottaa?
Re: 3DLottery2003
Anonyymi kommentoija, 26.5.2003 06:16:02
Pisteet: 0
Voiko noihin testeihin enää luottaa?
Ei kai mihinkään testiin pidä suhtautua koskaan pravdana. Aina pitää käyttää tervettä harkintakykyä (sitä kuuluisaa maalaisjärkeä) punnitsemaan sitä, onko nyt testattu mitään järkevää, millä olettamuksilla, laitteilla, jne. Testit eivät ole kuitenkaan tarpeettomia siinä mielessä, että ne antavat jotain suuntaa.
Re: 3DLottery2003
Anonyymi kommentoija, 26.5.2003 09:00:20
Pisteet: 0
Voiko noihin testeihin enää luottaa?
Ei kai mihinkään testiin pidä suhtautua koskaan pravdana. Aina pitää käyttää tervettä harkintakykyä (sitä kuuluisaa maalaisjärkeä) punnitsemaan sitä, onko nyt testattu mitään järkevää, millä olettamuksilla, laitteilla, jne. Testit eivät ole kuitenkaan tarpeettomia siinä mielessä, että ne antavat jotain suuntaa.
Eikä tämä mielestäni heikennä testien luotettavuutta aikaisemmasta milään tavalla. Näytönohjainajureita on optimoitu testejä varten kautta aikain.
Re: 3DLottery2003
Anonyymi kommentoija, 26.5.2003 09:25:49
Pisteet: 0
Voiko noihin testeihin enää luottaa?
Ei kai mihinkään testiin pidä suhtautua koskaan pravdana. Aina pitää käyttää tervettä harkintakykyä (sitä kuuluisaa maalaisjärkeä) punnitsemaan sitä, onko nyt testattu mitään järkevää, millä olettamuksilla, laitteilla, jne. Testit eivät ole kuitenkaan tarpeettomia siinä mielessä, että ne antavat jotain suuntaa.
Myös kannattaa ottaa huomioon (ei välttämättä tässä tapauksessa, vaan yleisesti), kuka tutkimuksen on rahoittanut. Muistuu mieleeni eräskin ison Amerikkalaisen virvoitusjuomayhtiön teettämä tutkimus, jossa todettiin että aspartaami on saatanasta. No tämä virvoitusjuomayhtiö ei käyttänyt aspartaamia, vaan sokeria, ja myöhemmin tutkijat pääsivät ko. yrityksiin kovapalkkaisiin töihin.
jampstamp Re: 3DLottery2003
jampstamp, 26.5.2003 11:25:46
Pisteet: 0
Voiko noihin testeihin enää luottaa?
Kyllä voi kun testaa ihan oikeilla peleillä. Kuvanlaatutestit myös niistä peleistä ettei huijausta pääse tapahtumaan(nopeutta kuvanlaadun kustannuksella).

Sitten jonnekkin väliin tuo 3dmark-testi mutta ei mihinkään ratkaisevaan asemaan.

Saisivat kyllä panostaa optimointinsa noihin yleisiin peleihin eikä noihin synteettisiin testeihin niin olis jotain käytännön hyötyä niistä.
Miten olis ajureitten asetuksista valittavat optimoinnit juuri tietylle pelille? :P
"Joka maataan viljelee huolella..."
Re: 3DLottery2003
Anonyymi kommentoija, 26.5.2003 11:42:54
Pisteet: 0
Kyllä voi kun testaa ihan oikeilla peleillä.
Ihan tasan samat huijaukset onnistuu myös pelien timedemoissa.

Kuvanlaatutestit myös niistä peleistä ettei huijausta pääse tapahtumaan
Kaikki huijaukset eivät kuvakaappauksissa näy.
Re: 3DLottery2003
Anonyymi kommentoija, 26.5.2003 12:31:21
Pisteet: 0
Kyllä voi kun testaa ihan oikeilla peleillä.
Ihan tasan samat huijaukset onnistuu myös pelien timedemoissa.
Juu jos käytetään esim Quake3:ssa mukana tulleita valmiita timedemoja. Lähimmäksi absoluuttista totuutta päästään kun tehdään jokaista suurempaa testiosuutta varten aina erilainen, omaperäinen timedemo (mätetään verkossa tovi kuakkaa ja nauhoitetaan se demoksi)