Jugabit

Hay una nota muy interesante que quiero comentar, por eso estuve leyendo un poco sobre timedemos.

Por lo que pude averiguar una timedemo es una grabación de un juego que se puede reproducir muchas veces, y al hacerlo el motor del juego genera los cuadros lo más rápido que puede, pero en general esto solo mide la parte gráfica y se desactivan cosas como a física o la inteligencia artificial.
Luego de ejecutarse la timedemo muestra los cuadros por segundo que se lograron.
Así lucen los resultados de ejecutar 4 veces la timedemo de Crysis:

==============================================================
TimeDemo Play Started , (Total Frames: 2000, Recorded Time: 111.86s)
!TimeDemo Run 0 Finished.
Play Time: 90.32s, Average FPS: 22.14
Min FPS: 3.67 at frame 258, Max FPS: 34.08 at frame 1005
Average Tri/Sec: 15939630, Tri/Frame: 719862
Recorded/Played Tris ratio: 1.27
!TimeDemo Run 1 Finished.

Play Time: 79.53s, Average FPS: 25.15
Min FPS: 3.67 at frame 258, Max FPS: 34.22 at frame 1013
Average Tri/Sec: 18342360, Tri/Frame: 729422
Recorded/Played Tris ratio: 1.26
!TimeDemo Run 2 Finished.

Play Time: 79.79s, Average FPS: 25.07
Min FPS: 3.67 at frame 258, Max FPS: 35.87 at frame 996
Average Tri/Sec: 18295050, Tri/Frame: 729875
Recorded/Played Tris ratio: 1.26
!TimeDemo Run 3 Finished.

Play Time: 79.59s, Average FPS: 25.13
Min FPS: 3.67 at frame 258, Max FPS: 35.87 at frame 996
Average Tri/Sec: 18336746, Tri/Frame: 729722
Recorded/Played Tris ratio: 1.26
TimeDemo Play Ended, (4 Runs Performed) 1280X800

Tomado de los foros de notebookreview.com.



La ventaja que tiene el uso de timedemos es que cada ejecución reproduce exactamente lo mismo del juego, algo que no se puede lograr al jugar el juego con una persona , ya que es muy difícil moverse siempre igual, disparar siempre igual, e interactuar con el mundo de la misma manera cada vez que se prueba una tarjeta de video.

La desventaja es que las timedemo desactivan partes de los juegos que tienen que ver con la inteligencia artificial o la física.
Por lo tanto una timedemo va a mostrar más cuadros por segundo que lo que tendremos al jugar el juego realmente.

Al correr una timedemo de un juego con varias placas de video lo que se tiene es una relación a un desempeño relativo de las placas de video respecto de esa timedemo, pero no del verdadero desempeño de las mismas al correr el juego.

Parece ser que es posible grabar ciertas partes de un juego y luego reproducirlas con una timedemo y de esa forma se hacen timedemos a gusto.

Fuentes: pcperc.com, guru3d.com, madboxpc.com


Otra forma de probar juegos es sin timedemos, jugándolos y midiendo los cuadros por segundo con una utilidad como el famoso FRAPS.
Pero acá las situaciones no son exactamente iguales cada vez que se corre el juego.


Estoy tratando de hacer correr la timedemo de Call of Duty 2, cualquier ayuda o corrección será apreciada.

No pude ejecutar la timedemo de Call of Duty 2 ...







Juegos versus timedemos

Kyle Bennett de hardocp.com ha escrito hace unos días un articulo polémico y bien interesante.

El dice que la metodología de probar hardware con productos del mundo real es muy superior a la mayoría de los testeos sintéticos o enlatados que se ven hoy en día.

En Hardocp testean jugando los juegos y no con demos o timedemos.
Juegan los títulos de principio a fin y eligen los escenarios más exigentes parecen para luego medír ahí el desempeño del juego.
Luego al evaluar una tarjeta de video informan la configuración más alta en la que el juego es jugable, según su criterio.
Con FRAPS miden los cuadros por segundo en la porción de juego elegida para los testeos.

Acá un ejemplo donde la recién lanzada 3870 x2 con dos procesadores 3870 y 1 GB de RAM que sale unos 460 dólares en newegg.com, pierde con la veterana 8800 GTX de 768 MB de memoria, que sale entre 440 y 500 dólares. En la imagen que sigue pueden ver como el producto de Nvidia tiene más cuadros por segundo con una mejor configuración de shaders, que la tarjeta con dos chips de video de ATI.


Tomado de acá

Al testear las diferentes placas tratan de jugar esa parte del juego lo más parecido posible, pierden la exactitud que dan las timedemo donde cada repetición es la misma, pero ganan en contar la realidad de lo que van a ver los jugadores al correr el juego.

Traduzco:
Las timedemos "enlatadas", o las que vienen incluidas en muchos juegos destacan por ser trampeadas. El desarrollador del juego o el vendedor de hardware puede "optimizar" su software, hardware y sus controladores para conseguir una marca más alta en esta timedemo específica cuando corre en el modo de prueba (benchmark en inglés), en un chip de video específico. Estas optimizaciones que incrementan la tasas de cuadros por segundo en la timedemo NO siempre se traduce en el mismo incremento cuando se juega el título.
...
¿Pero correr una prueba enlatada te dice algo sobre los cuadros por segundo que tendrás en el juego? ¿Y representa la diferencia real en desempeño entre diferentes tarjetas de video? Si la tarjeta A marca 50 y la B marca 25, ¿qué me dice esto realmente? La tarjeta A es el doble de rápida que la B en la timedemo, pero que pasa en el juego ?

Por ejemplo apalean a anandtech.com al decir que ellos solo usan el testeo incluido en Crysis y no el juego y con eso la 3870 X2 gana a la 8800 GTX, cosa que al correr el juego no se da.



Tomado de acá






Dos sitios diferentes usando las mismas placas de video con Windows Vista Ultimate obtienen resultados opuestos. Es cierto los equipos no son los mismos Hardocp : Intel Core 2 Duo X6800 a 2,93 GHz, 2GB de RAM, placa madre Gigabyte X38-DQ6. Anandtech: Intel Core 2 Extreme QX9650 a 3.00GHz, 4 GB de RAM, placa madre EVGA nForce 780i SLI.
Pero los resultados son demasido contrastantes, se oponen.
¿Quien tiene razón el que evaluó con la timedemo o el que jugó el juego y midió con FRAPS?
Yo le creo al segundo.


Continuará...

Hoy probe el Crysis, y para mi sorpresa funciona mucho mejor de lo que muestran todos estos graficos. Puse detectar automaticamente, y me tiro todo en "alto" (no maximo)

Corriendo fraps, y en momento de pura accion con casas enteras bolando por el aire, no baja de los 30 fps a 1280 de resolucion.

Incluso en un momento empezo a escanear el AVG y los fps apenas bajaron a 26

POP the Great escribió:Hoy probe el Crysis, y para mi sorpresa funciona mucho mejor de lo que muestran todos estos graficos. Puse detectar automaticamente, y me tiro todo en "alto" (no maximo)

Corriendo fraps, y en momento de pura accion con casas enteras bolando por el aire, no baja de los 30 fps a 1280 de resolucion.

:

ejem... ellos lo pusieron a 1600...

Bueno, pero mi monitor no llega a eso :3

Y ademas yo tengo todo High, ellos todo medium.
Y corrigo mis numeros anteriores, quise poner 40 fps, no 30.

Mas que conforme, le tenia miedo al juego, pero lo corre de maravillas.

de maravillas es toso al mango, igual no te preocupes que cuando tengas el nuevo moni, va a poner de rodillas a tu pc, dado que levanta mucho la resolucion

NO Math, de MARAVILLA y punto.

POP the Great escribió:NO Math, de MARAVILLA y punto.

jajajajajaja

Timedemo en modo normal, versus timedemo en tiempo real

Para probar su enunciado de que las timedemos pueden trampearse ejecutan la de Crysis normalmente y además la ejecutan en tiempo real y miden con FRAPS los cuadros por segundo.


Las diferencias que hallan son importantes miren.

Timedemo de Crysis en 1600 x 1200 sin antidentado ni filtros anisotrópicos con todos los parámetros gráficos en "medio":
Para la tarjeta ATI HD 3870 X2:
- modo tradicional de ejecución : en promedio 45,6 cps (cuadros por segundo)
- ejecutada en tiempo real y medido con FRAPS : 33 cps

Para la 8800 GTX:
- ejecutada en modo normal : 51,7 cps promedio
- ejecutada en tiempo real y medido con FRAPs : 38,8 cps.

Los cuadros por segundo para las dos tarjetas son mayores cuando se ejecuta la timedemo en modo normal.

Más graficamente esto que traté de resumir con letras, por acá


(Acá ya me perdieron, y pongo este tema de caradura, sólo comentando lo que dicen, no sé cuál es la diferencia entre correr una timedemo normalmente y en tiempo real ... ¿ustedes la conocen? no se lo callen por favor
Especulo sin certeza alguna, correr una timedemo en el modo tradicional es reproducir algo grabado lo más rapido que lo pueda la placa de video, ¿correrla en tiempo real será haciendo que eso que habitualmente está grabado se renderice en tiempo real ?).

Juego versus timedemo personalizada

Luego grabaron timedemos en ciertos lugares con mucha exigencia para el procesador de video. (Dicen que no es fácil conseguir esto, y que sufrieron limitaciones por parte de Crysis para dejarlos grabar estas timedemos, desactivaron cosas, inteligencia artificial de los personajes, sucesos guionados que no pasaban, etc).

Y para comparar, jugaron el juego en esos mismo lugares.

Con Crysis corriendo a 1600 x 1200, sin antidentado ni filtro anisotrópico y con todos los parámetros gráficos en "medio" obtuvieron:
Para la ATI Radeon 3870 X2,
- ejecutando en tiempo real y midiendo con FRAPS, 33,7 cps
- ejecutando la timedemo del mismo sector : 41,2 cps

Para la GeForce 8800 GTX:
- ejecutando en tiempo real y midiendo con FRAPS, 39,6 cps
- ejecutando la timedemo del mismo sector : 45,3cps


Al jugar en serio los cuadros por segundo son bastante menores.


Básicamente el artículo trata de dejar ver que una cosa son los desempeños al correr timedemos y otra diferente al correr los juegos.

Critican el uso de timedemos pues no miden lo que el jugador va a experimentar al correr el juego.

Dan un ejemplo más:
- En anandtech al ejecutar Crysis con una 3870 X2, timedemo en 1680x 1050 con los parámetros gráficos en "alto", obtenían 31 cps.
- Ellos jugando el juego con esa configuración consiguen 18,6 cps.



Kyle Bennett concluye afirmando que el testeo de placas de video usando timedemos está averiado.
Traduzco:
Muchos van a argumentar que el testeo con timedemo es la única forma de aproximación científica al análisis de desempeño de placas de video que es confiable. Por qué querías confiar en una métrica que no tiene forma de relacionarse con tu experiencia de juego está más allá de mí.


El artículo original se titula Benchmarking the Benchmarks, me enteré de su existencia gracias a slashdot.org.



De ahora en más voy a creer menos en los testeos que no jueguen el juego.
La timedemo del un título X puede no representar para nada lo que uno va a ver cuando lo juegue con una configuración similar , o sea, cuando ponen los cps del título X y no aclaran bien destacado que eso se obtuvo corriendo una timedemo y no el juego verdadero, están engañando a la gente.