Google actualiza Android Bench para la era de los agentes de programación
Google ha actualizado Android Bench, su benchmark y tabla de clasificación para medir cómo los modelos de lenguaje resuelven tareas de desarrollo Android. La publicación original del blog de Android Developers, publicada el 8 de julio de 2026 por Zoe Lopez-Latorre, indica que la versión de julio adopta el framework Harbor, incorpora nuevos resultados de modelos y abre más partes del flujo de evaluación a comentarios de la comunidad desarrolladora.
Android Bench se presentó en marzo como una forma de probar modelos con trabajo real de ingeniería Android, no solo con ejercicios genéricos de programación. Google afirma que esta actualización busca mantener la evaluación alineada con sistemas de desarrollo agéntico más recientes, en los que los modelos usan herramientas, inspeccionan repositorios, modifican código e iteran en arreglos de varios pasos.
Qué ha cambiado
El cambio metodológico principal es el paso a Harbor, que se define como un framework para especificar tareas de agentes en entornos aislados con fines de evaluación y optimización. Google dice que Android Bench ahora utiliza Harbor junto con un agente de benchmarking actualizado, y que volvió a ejecutar el benchmark en todos los modelos para establecer una nueva línea base.
Esto importa porque una migración de metodología puede mover las puntuaciones aunque los modelos no hayan cambiado. Google señala expresamente que las puntuaciones históricas siguen disponibles en el archivo, mientras que la clasificación actual refleja el nuevo proceso de evaluación.
La versión de julio también añade ocho modelos a la tabla: Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus y Qwen 3.7 Max. En la clasificación de Android Bench, Google muestra resultados con fecha 8 de julio y define la puntuación como el porcentaje medio de 100 casos de prueba resueltos en 10 ejecuciones. La misma tabla incluye intervalos de confianza, latencia media y coste medio por ejecución completa del benchmark.
Según los datos de Google del 8 de julio, Claude Fable 5 lidera la clasificación general con un 84,5 %, seguido de GPT 5.5 con un 80,2 % y Claude Sonnet 5 con un 76,2 %. Entre los modelos de pesos abiertos, Google sitúa a GLM 5.2 en el 72,2 % y a Kimi K2.7 Code en el 70,4 %.
Por qué debería importarle a los desarrolladores Android
Los benchmarks genéricos de software pueden pasar por alto problemas específicos del desarrollo móvil. La página de metodología de Google explica que Android Bench se basa en incidencias y pull requests reales de proyectos de código abierto, con tareas relacionadas con patrones de Android como Jetpack Compose, Coroutines y Flows, Room, Hilt, migraciones de navegación, configuración de Gradle, cambios de SDK, multimedia, cámara, plegables y permisos granulares en tiempo de ejecución.
Ese enfoque hace que el benchmark sea más útil para equipos Android que evalúan asistentes de programación con IA. Un modelo puede rendir bien en tareas algorítmicas generales y aun así fallar con estado en Compose, código sensible al ciclo de vida, casos límite de Gradle o migraciones de APIs de la plataforma. Android Bench no garantiza que un modelo funcione bien en un código base concreto, pero ofrece una señal más relevante que una clasificación basada solo en ejercicios generales de programación.
Las columnas de coste y latencia también son importantes. En flujos reales de desarrollo, la tasa de acierto de un modelo es solo una parte de la decisión. Los equipos también necesitan saber si un agente puede terminar tareas con suficiente rapidez, si las ejecuciones repetidas son asumibles y si una puntuación más alta implica un coste operativo mayor.
Más aportación comunitaria, pero con revisión
Google dice que los desarrolladores ya pueden enviar tareas Android para revisión y ejecutar o compartir evaluaciones del benchmark. El repositorio de Android Bench en GitHub describe el proyecto como un framework para evaluar LLMs en tareas de desarrollo Android, incluida su capacidad para entender bases de código móvil, generar parches y resolver problemas específicos de Android. El repositorio tiene licencia Apache-2.0 e incluye documentación para descargar resultados y generar resúmenes.
La cautela clave es que enviar una tarea no significa que se incluya de inmediato. Google afirma que las tareas enviadas se revisarán y evaluarán antes de incorporarlas. Es una restricción razonable para un benchmark que los desarrolladores pueden usar para comparar herramientas: más aportación puede mejorar la cobertura, pero el conjunto de datos necesita mantener un control de calidad coherente.
Qué conviene seguir
La lectura de fondo es que la evaluación de herramientas de programación con IA se está volviendo más específica por dominio. Android Bench se acerca ahora más al trabajo real de los desarrolladores móviles: editar repositorios, respetar convenciones de plataforma y medir compensaciones que van más allá de una sola puntuación. Si Google mantiene los cambios metodológicos, los archivos históricos y las métricas de coste, los equipos Android tendrán una forma más clara de comparar asistentes de IA sin tratar las clasificaciones genéricas de programación como si fueran toda la respuesta.