¡Descubre por qué la IA de Google se equivoca 1 de cada 10 respuestas

Google ha incorporado a sus resultados de búsqueda los “AI Overviews”, un resumen impulsado por el modelo Gemini que aparece en la parte superior de la página. Desde su lanzamiento en 2024, el servicio ha generado controversia por su precisión variable, y ahora un nuevo estudio revela que sus respuestas son erróneas aproximadamente una de cada diez.

El análisis, realizado por The New York Times con la colaboración de la startup Oumi, evaluó la exactitud de los AI Overviews mediante el conjunto de pruebas SimpleQA, que contiene más de 4 000 preguntas con respuestas verificables. Los resultados indican que la herramienta acierta el 90 % de las consultas, lo que implica que el 10 % restante son respuestas incorrectas.

Detalles del estudio y su repercusión

Oumi comenzó a probar los resúmenes en 2023, cuando el modelo dominante de Google era Gemini 2.5. En esa fase la tasa de precisión se situó en el 85 %. Tras la actualización a Gemini 3, la precisión subió al 91 % en pruebas repetidas. Si se extrapolan esos porcentajes a la totalidad de las búsquedas realizadas en Google, se estima que se generan decenas de millones de respuestas equivocadas cada día.

Algunos de los errores más llamativos incluyen:

• Al preguntar por la fecha en que la antigua casa de Bob Marley se convirtió en museo, el AI Overview citó tres fuentes; dos de ellas no mencionaban la fecha y la tercera, Wikipedia, presentaba dos años diferentes, de los cuales el resumen eligió el incorrecto.
• Cuando se le solicitó la fecha de inclusión de Yo‑Yo Ma en el Salón de la Fama de la Música Clásica, el sistema citó la página oficial del organismo que indica la fecha exacta, pero afirmó que tal salón de la fama no existe.

El estudio también señala que la naturaleza no determinista de la IA generativa dificulta la verificación de resultados: una misma pregunta puede recibir una respuesta correcta en una ocasión y una errónea si se repite inmediatamente después.

Google explica que el AI Overview no depende de un solo modelo, sino que combina varios según la disponibilidad. Para ofrecer respuestas rápidas, la mayoría de las consultas se procesan con Gemini Flash, una versión más ligera y veloz, mientras que Gemini 3.1 Pro, que brinda mayor precisión, se reserva para casos especiales debido a su mayor coste y latencia.

Ante los hallazgos, la compañía ha defendido que una precisión del 90 % es aceptable, recordando que sus pruebas internas de referencia sin acceso a la web sitúan la exactitud entre el 60 % y el 80 %. Google también advierte a los usuarios que la IA puede cometer errores y recomienda comprobar siempre las fuentes citadas.

Mira tambien: