Un equipo de investigadores de la Universidad de Tel Aviv (Israel) logró engañar al chatbot Gemini, a través de simples citas de Google Calendar, para que manipulara los dispositivos domésticos inteligentes de Google, en lo que podría ser el primer ejemplo de un ataque de ‘promptware’ con efectos reales.
Gemini posee capacidades de agente mínimas gracias a su conexión con el ecosistema de aplicaciones de Google. Puede acceder al calendario, llamar a los dispositivos domésticos inteligentes del Asistente, enviar mensajes y mucho más. Esto lo convierte en un objetivo atractivo para actores maliciosos que buscan causar estragos o robar datos.
Los investigadores utilizaron la red de conectividad de Gemini para realizar lo que se conoce como un ataque indirecto de inyección de avisos, en el que alguien ajeno al usuario asigna acciones maliciosas a un bot de IA. Y funcionó sorprendentemente bien.
¿Cómo funciona un ataque de promptware con Google Calendar?
El ataque de promptware comienza con una cita de Google Calendar que contiene una descripción que, en realidad, es un conjunto de instrucciones maliciosas: el usuario solicita a Gemini que resuma su agenda, lo que provoca que el robot procese el evento envenenado del calendario.
Este enfoque evadió astutamente las medidas de seguridad existentes de Google, vinculando las acciones maliciosas con interacciones posteriores inocuas con Gemini. Los investigadores demostraron que era posible controlar cualquier dispositivo doméstico inteligente vinculado a Google.
El equipo cree que este es el primer ejemplo de un ataque de inyección de prompts que pasa del mundo digital a la realidad.
La evolución del promptware
La técnica detallada en el artículo, titulado ‘Invitation Is All You Need’ (Todo lo que necesitas es una invitación), fue más allá de manipular las luces. Demostró que la misma superficie de ataque promptware basada en Google Calendar podría usarse para generar contenido insultante, enviar spam al usuario y eliminar citas del calendario aleatoriamente durante futuras interacciones.
Asimismo, el ataque también puede exponer a los usuarios a otras amenazas al abrir sitios web con código malicioso para infectar un dispositivo con malware y robar datos.
El artículo de investigación califica muchas de estas amenazas críticamente peligrosas. Retrasar las acciones para evadir la seguridad de Google también dificulta enormemente que el usuario comprenda qué está sucediendo y cómo detenerlo.
El estudio se presentó en la reciente conferencia de seguridad Black Hat, pero la falla se divulgó responsablemente. El equipo comenzó a trabajar con Google en febrero para mitigar el ataque.
Andy Wen, de Google, declaró al medio especializado en tecnología Wired que el análisis de este método «aceleró directamente» la implementación de nuevas defensas contra la inyección de prompts. Los cambios anunciados en junio están diseñados para detectar instrucciones inseguras en citas, documentos y correos electrónicos del calendario.
Google también introdujo confirmaciones de usuario adicionales para ciertas acciones, como eliminar eventos de Google Calendar.
Consideraciones finales
A medida que las empresas trabajan para mejorar la capacidad de los sistemas de IA, necesariamente tendrán un mayor acceso a nuestra vida digital. Un agente que pueda hacer tus compras o gestionar tus comunicaciones empresariales está destinado a ser el objetivo de los hackers. Como se ha visto en todas las demás tecnologías, ni siquiera las mejores intenciones te protegerán de todas las amenazas posibles.
Información de Ars Technica / Redacción Tecno Flash
No dejes de leer: El asistente de voz Bixby de Samsung potencia sus televisores con IA
Usa la tecnología con inteligencia, únete a nuestras redes sociales hoy
