Experimenté con mi agente OpenClaw: le di un cuerpo físico

Will Knight, reportero de WIRED, relata su reciente experiencia al dotar al agente de IA OpenClaw de un cuerpo físico, utilizando un brazo robótico de bajo coste llamado LeRobot 101. El objetivo era comprobar si un modelo de lenguaje capaz de generar código podía aprender a controlar un robot real sin intervención humana directa.

El experimento con OpenClaw

El LeRobot 101 está compuesto por dos brazos: uno “controlador”, manejado mediante una empuñadura y un gatillo, y otro “seguidor”, equipado con una cámara que replica los movimientos del controlador. Al conectar ambos brazos y calibrarlos, Knight intentó inicialmente mover el robot de forma manual, pero pronto se dio cuenta de que los motores se sobrecalentaban al aplicar ajustes incorrectos.

Con la ayuda del agente OpenClaw y del modelo de generación de código Codex, logró crear un programa que, mediante lo que la publicación denomina “vibe coding”, cerraba la pinza al detectar una pelota roja. Codex generó el script de Python necesario, configuró las conexiones con el robot y calibró sus articulaciones. El resultado fue que el robot pudo identificar, acercarse y agarrar la pelota sin que el autor tuviera que escribir código detallado.

Entrenamiento de un modelo de control

• OpenClaw asistió en la recopilación de datos al controlar el brazo “controlador” mientras el brazo “seguidor” observaba la escena a través de su cámara.
• El agente utilizó esos datos para entrenar otro modelo de IA que, a su vez, aprendió a mover el brazo seguidor en respuesta a la visión.
• Durante el proceso, OpenClaw supervisó la tasa de error del modelo y ofreció sugerencias para ajustar los hiperparámetros.
• Al final del entrenamiento, el robot fue capaz de recoger objetos de forma autónoma, demostrando que la cadena completa —de la generación de código a la ejecución física— es factible con la tecnología actual.

Estos resultados confirman que la programación impulsada por IA está acercándose a un punto de inflexión que podría democratizar la robótica, reduciendo la necesidad de conocimientos especializados en mecánica y control.

El enfoque “código como política”

La idea de que la programación mediante IA actúe como una política de control se describió por primera vez en un artículo de investigación de 2022. Desde entonces, los avances han sido rápidos. El grupo liderado por el profesor Ken Goldberg de la Universidad de Berkeley, en colaboración con investigadores de Nvidia, Carnegie Mellon y Stanford, ha desarrollado el benchmark CaP‑X, que evalúa la capacidad de los modelos de código para resolver tareas de manipulación robótica.

CaP‑X reveló que, sorprendentemente, el modelo Gemini de Google DeepMind supera a Claude y a ChatGPT en estas tareas, probablemente porque ha sido entrenado con un enfoque multimodal que incorpora visión y física del mundo. Junto a este benchmark, los investigadores crearon CaP‑Gym, un entorno que permite a los agentes de codificación controlar tanto simulaciones como robots reales, y CaP‑Agent0, una arquitectura basada en agentes que mejora el rendimiento de los modelos de código más allá de los modelos diseñados específicamente para el control directo de robots.

Spencer Huang, hijo de Jensen Huang y coordinador de hackatones de Nvidia, señaló que el proyecto busca ampliar la compatibilidad del enfoque “código como política” con más herramientas de software para robots, facilitando que cualquier persona pueda programar un robot mediante comandos de voz, texto o demostraciones.

Según Huang, “casi cualquiera puede dedicarse a la robótica, que es el verdadero santo grial”. La capacidad de traducir instrucciones naturales en acciones físicas representa, según él, el “desbloqueo crítico para los robots en la sociedad”.

Mira tambien: