Artificial Analysis ha cambiado las pruebas que componen su Intelligence Index. Para los equipos que eligen un modelo de IA, la consecuencia inmediata es comparar resultados dentro de la misma versión y comprobar las tareas, el nivel de esfuerzo y el coste que los produjeron.
El anuncio de v5 está fechado el 27 de octubre de 2026. La marca temporal del servicio de descubrimiento es del 28. La fecha de la propia página sitúa el anuncio; la entrada posterior del servicio no constituye otro lanzamiento.
Qué valora ahora el índice compuesto
El índice actualizado asigna el mismo peso al trabajo del conocimiento, la programación, la ciencia y las capacidades generales. Artificial Analysis afirma que el 60% del peso corresponde ahora a evaluaciones con conjuntos de prueba privados o respuestas reservadas. Es una propiedad del diseño, no una garantía de que desaparezca cualquier riesgo de contaminación.
Dos incorporaciones ilustran el cambio. FrontierCode 2.0 examina modificaciones en repositorios, mientras que Terminal-Bench-Science evalúa tareas científicas en un terminal. Cognition describe el objetivo de FrontierCode como valorar si un mantenedor aceptaría la contribución de un agente, incluidos sus criterios de diseño e integración.
Un equipo de software tiene así un motivo para revisar qué mide el resultado de programación. Eso no demuestra que una puntuación global alta prediga la aceptación en su propio repositorio. Un índice compuesto reparte la atención entre varios trabajos; una implantación puede depender sobre todo de uno.
Compara configuraciones antes de comparar costes
La metodología publicada detalla los pesos y las condiciones de evaluación. El análisis del lanzamiento también muestra que el esfuerzo de razonamiento cambia tanto la puntuación como el uso de recursos, y registra más tokens de salida por tarea que en v4.3.
Una comparación útil debe anotar juntos el modelo y su nivel de esfuerzo. El coste por token, aislado, no permite saber cuánto costará completar una tarea. El uso de herramientas, los intentos repetidos y la revisión humana también pertenecen a la evaluación local.
Utiliza v5 para formar una selección inicial y ejecuta después trabajos representativos con criterios de aceptación explícitos. Registra los resultados válidos y el trabajo necesario para corregir fallos. Es una propuesta de evaluación, no la afirmación de que TechKili haya reproducido las pruebas.
Otra escala para estudiar el progreso
La metodología del Progress Index indica expresamente que las puntuaciones del Intelligence Index de distintas versiones no están pensadas para comparaciones a largo plazo. El Progress Index estima en cambio la capacidad del modelo y la dificultad de las tareas en una escala común.
La distinción responde a dos necesidades: comparar candidatos actuales con el Intelligence Index vigente y estudiar tendencias de capacidad con el Progress Index. Ninguno demuestra por sí solo una rentabilidad empresarial; nuestro análisis de productividad de IA y resultados financieros explica por qué eso requiere pruebas propias.
Fuentes
Artículos Relacionados
El folleto de Anthropic vincula gran parte de sus 80.700 millones de pérdida a ajustes de valoración
El S-1 público recoge una pérdida operativa mucho menor y un flujo de caja operativo positivo para el mismo semestre. Cada medida explica una parte distinta del negocio.
La afirmación de Apollo sobre el retorno de la IA depende de cómo se mida la productividad
La nota de Torsten Slok del 24 de octubre cuestiona el retorno general de la IA. Sus comparaciones bursátiles y de productividad aportan contexto, pero no miden una implantación concreta.
Google Personal Intelligence puede llevar el contexto de las apps conectadas a los anuncios
La política de octubre y la ayuda de Google permiten usar contexto derivado de apps conectadas para anuncios. Conexiones, publicidad e historial se gestionan por separado.
Etsy prohíbe las guías prácticas escritas por IA y exige mostrar resultados reales
La actualización de Etsy distingue el arte asistido por IA de las instrucciones prácticas y refuerza las pruebas que deben aportar las imágenes de los anuncios.