Los creadores de ChatGPT crean un equipo para evitar las catástrofes nucleares de la IA

Los últimos años en los que la inteligencia artificial ha revolucionado el mercado han estado marcados por las voces que advierten de sus peligros. Expertos, académicos y empresarios tanto de España como del resto del mundo han avisado de que esta tecnología sin control puede ser tremendamente perjudicial para el mundo. OpenAI, la desarrolladora de ChatGPT, se quiere anticipar a ello con su equipo Preparedness.

Según explica la compañía de Sam Altman, desarrolladora de programas como ChatGPT, se ha creado un grupo de expertos que pretende controlar todo "el espectro de riesgos de seguridad" relacionados con la inteligencia artificial. Más concretamente, Prepardness estaría destinada a evitar los "riesgos catastróficos" derivados de una explotación indebida de la IA.

Este grupo está liderado por Aleksander Madry, director del Centro de Aprendizaje Automático Implementable del MIT, y que actualmente desempeña el rol de 'jefe de preparación'. Entre sus tareas se encuentran no solo detectar los futuros peligros de la inteligencia artificial, sino pronosticarlos y brindar protección contra ellos.

El equipo contra catástrofes

¿De dónde nace esta idea? Lo cierto es que la misma OpenAI parece enormemente consciente de los peligros que entraña la IA y sobre todo de su futuro potencial. Explican que los modelos de inteligencia artificial de vanguardia serán mucho más potentes que los actuales, y por ende, plantean "riesgos cada vez más graves".

De hecho, los enumeran. Relacionan a estos futuros modelos con amenazas químicas, biológicas, nucleares y radiológicas, sin ir más lejos. Y no solo eso; también advierten de riesgos relacionados con la seguridad cibernética, la "persuasión individualizada" o la "replicación y adaptación autónomas".

ChatGPT en un montaje fotográfico. Reuters Reuters

Los frentes de Preparedness son muchos. Plantea debates sobre la peligrosidad de estos modelos de IA en manos de enemigos, y la construcción de marcos que permitan "el seguimiento, la evaluación, la predicción y la protección contra peligrosas capacidades de los sistemas fronterizos de IA".

La publicación de OpenAI detalla las labores del equipo, definiéndolas en un entorno de protección. "El equipo ayudará a rastrear, evaluar, pronosticar y proteger contra riesgos catastróficos que abarcan múltiples categorías", como las anteriormente mencionadas. 

Fotomontaje con una imagen de una IA y con el logo de OpenAI. Manuel Fernandez | ArtemisDiana en iStock iStock | Omicrono

Tanto es así, que OpenAI incluso ha planteado la posibilidad de estudiar áreas que no presenten tanto riesgo con la inteligencia artificial. De hecho, estarían estudiando solicitar ideas para estudios de riesgos en la comunidad. Las más relevantes podrían ser dotadas con premios de hasta 25.000 dólares, e incluso un trabajo en el propio equipo de Preparedness.

Por último, este equipo de OpenAI incluirá el desarrollo y mantenimiento de una serie de políticas bautizadas como RPD, por sus siglas en inglés, "Política de desarrollo basado en riesgos". En palabras de la firma de Sam Altman, estas políticas tendrán como principal enfoque detallar de forma concreta cómo crear evaluaciones para modelos de IA y herramientas de monitoreo de las mismas.

Unas políticas complementarias con el resto de la labor de OpenAI en materia de seguridad de inteligencia artificial. A ojos de OpenAI, debemos "asegurarnos de tener la comprensión y la infraestructura necesarias para la seguridad de los sistemas de IA de alta capacidad" que se vendrán en el futuro.

También te puede interesar...

• Biden advierte que la IA podría ser peligrosa: pide priorizar la seguridad en su desarrollo
• ChatGPT alerta: "La próxima superinteligencia artificial será un riesgo de la existencia humana"
• Crean una máquina que relaciona conceptos como los humanos: hito en inteligencia artificial
• El ingenioso sistema que evita incendios como el de Canarias: detecta y analiza el fuego en tiempo real