Yoshua Bengio, considerado uno de los “padrinos” de la inteligencia artificial (IA) ha comparado esta tecnología, ahora omnipresente, con un oso. Cuando enseñamos al oso a ser lo bastante inteligente como para escapar de su jaula, ya no lo controlamos. Todo lo que podemos hacer después es intentar construir una jaula mejor.
Este debería ser nuestro objetivo con las herramientas de IA generativa que aparecen rápidamente en el mercado hoy en día, tanto como servicios independientes como en innumerables integraciones con productos existentes. Aunque esta adopción a la velocidad de la luz parece inevitable, aún estamos a tiempo de mitigar los crecientes riesgos que conlleva, pero debemos actuar con rapidez.
Entender la IA fraudulenta o Rogue IA
Mientras que la mayoría de las ciberamenazas relacionadas con la IA que ya acaparan titulares son llevadas a cabo por estafadores y delincuentes organizados, la IA fraudulenta es donde los expertos en seguridad están poniendo el foco atención a largo plazo.
El término “Rogue AI” hace referencia a los sistemas de IA que actúan en contra de los intereses de sus creadores, usuarios o de la humanidad en general. Aunque los ataques actuales como el fraude y los deepfakes son preocupantes, no son el único tipo de amenaza de IA para el que debemos prepararnos. Seguirán en el juego del gato y el ratón de la detección y la evasión. La IA fraudulenta es un nuevo riesgo, ya que utiliza recursos que no están alineados con su objetivo.
La rogue IA se divide en tres categorías: maliciosa, accidental o subvertida. Cada una de ellas tiene causas y resultados potenciales diferentes. Por ello, entender las distinciones ayuda a mitigar las amenazas de la IA fraudulenta.
- Los atacantes implementan programas maliciosos para utilizar los recursos informáticos de otros. Un atacante instala la IA en otro sistema para lograr sus propios objetivos. La IA hace aquello para lo que fue diseñada, pero con fines maliciosos.
- Los programas maliciosos accidentales se crean por error humano o limitaciones tecnológicas inherentes. Los errores de configuración, la falta de pruebas adecuadas de los modelos y un control deficiente de los permisos pueden provocar que un programa de IA devuelva respuestas erróneas (como alucinaciones), tenga más privilegios de los previstos en el sistema y gestione incorrectamente datos confidenciales.
- Los delincuentes subvertidos hacen uso de recursos e implementaciones de IA existentes. Un atacante altera un sistema de IA existente para usarlo de forma indebida y lograr sus propios objetivos. Las inyecciones rápidas y los jailbreaks son técnicas incipientes que alteran los LLM. El sistema de IA está diseñado para funcionar de forma diferente para lo que fue diseñado.
Construir la jaula
Las amenazas que plantea la IA fraudulenta son complejas y requieren una filosofía de seguridad que tenga en cuenta todos los factores implicados: identidad, aplicación, carga de trabajo, datos, dispositivo, red y más. Trend llega al mercado con una visión integral de este problema. Construir una nueva jaula para este oso de la IA no consiste solo en descubrir cuándo las cosas han ido mal: se trata de aprovechar la seguridad para garantizar que cada capa de datos y computación utilizada por los modelos de IA sea segura. Este es un principio básico de la seguridad Zero Trust, que es fundamental con esta nueva tecnología.
Al abordar la seguridad de la IA de forma holística, podemos prepararnos para la próxima generación de amenazas y vulnerabilidades provocadas por los actores malintencionados. Las medidas de seguridad deben incluir el cifrado, la autenticación y la supervisión de los datos, la infraestructura y las comunicaciones utilizadas por los servicios de IA.
La defensa en profundidad es clave para protegerse de la Rogue IA. Examinar los sistemas de IA en uso permite detectar errores en la alineación de los datos de IA o en el uso descontrolado. de los recursos. La detección de anomalías en el uso de la IA sigue siendo la última línea de defensa cuando se trata de algo totalmente inesperado.
La promesa de la era de la IA solo es poderosa si es segura. La IA fraudulenta o Rogue IA ya está aquí, pero todavía no es tan prolífica como lo será a medida que avancemos hacia agentes de IA predominantes. Al adoptar un enfoque integral y proactivo de la seguridad, podemos reducir los casos de IA fraudulenta.
Sigue toda la información de Open Hub News en X y Linkedin , o en nuestra newsletter.
