El avance incesante de la inteligencia artificial (IA) ha desatado preocupaciones en OpenAI sobre posibles "riesgos catastróficos" asociados a esta tecnología. Por tanto, la empresa ha formado un equipo llamado Preparedness para estudiar y prevenir estos escenarios distópicos. Este equipo está liderado por Aleksander Madry, un experto en aprendizaje automático del MIT. Su labor es crucial para abordar los múltiples desafíos que plantean estos riesgos.
Los diversos riesgos catastróficos de la IA según OpenAI
El equipo Preparedness de OpenAI tiene la misión de identificar y protegernos de una amplia gama de "riesgos catastróficos". Estos riesgos incluyen:
- Persuasión Individualizada: Se refiere a ataques como el phishing, donde la IA podría utilizarse para manipular de manera efectiva a individuos, lo que podría tener graves consecuencias en términos de privacidad y seguridad.
- Ciberseguridad: La IA puede ser tanto una herramienta de defensa como de ataque en el ámbito de la ciberseguridad. Identificar amenazas y proteger sistemas críticos es esencial.
- Amenazas Químicas, Biológicas, Radiológicas y Nucleares (CBRN): La IA podría utilizarse para prevenir o mitigar amenazas en el ámbito químico, biológico, radiológico y nuclear. También podría amplificar estos riesgos si cae en manos equivocadas.
- Replicación y Adaptación Autónomas: Este riesgo involucra la capacidad de la IA para replicarse o adaptarse de manera autónoma, lo que podría generar sistemas fuera de control y difíciles de gestionar.
OpenAI reconoce que no puede abordar todos los riesgos potenciales por sí solo. Por lo tanto, invita a la comunidad a presentar estudios sobre riesgos relacionados con la IA. Además, ofrecen incentivos atractivos: los 10 mejores estudios recibirán un premio de $25,000 y podrían obtener un puesto en el equipo Preparedness.
Imaginando el peor escenario
Para evaluar los riesgos, OpenAI insta a los interesados a considerar un escenario en el que se les proporciona acceso a sus modelos más avanzados, como Whisper, GPT-4V y DALL-E-3. La idea es que los participantes adopten un enfoque tóxico y se pregunten: ¿cuál sería el peor uso posible de estos modelos? Este ejercicio creativo es fundamental para identificar y comprender los riesgos.
El equipo Preparedness también tiene la responsabilidad de desarrollar directrices y documentos para implementar pruebas tanto antes como después del desarrollo de estos modelos avanzados. A pesar de que la IA continuará evolucionando y superando las capacidades actuales, también plantea amenazas cada vez más significativas. La infraestructura y el conocimiento necesarios para garantizar la seguridad de sistemas de IA altamente capaces son esenciales.
Via OpenAI.
