Desde hace semanas Sam Altman, CEO y Co-Fundador de OpenAI, reclama a las autoridades y a otros agentes del sector una mayor regulación de la inteligencia artificial de cara a minimizar los riesgos y peligros que alberga el desarrollo de soluciones tan potentes como ChatGPT, Midjourney o Bard. Pero adelantándose a todo ello, la compañía ha anunciado el establecimiento de un equipo dedicado a dirigir y controlar aquellos sistemas de inteligencia artificial que puedan resultar más inteligentes que el ser humano.
El objetivo del equipo será resolver los desafíos técnicos para el control de la IA “superinteligente”
A través de su blog corporativo, OpenAI ha anunciado “Superaligment", un equipo humano de investigadores e ingenieros de machine learning liderado por Ilya Sutskever, Co-Founder y Chief Scientist de OpenAI; y el investigador Jan Leike. Su misión será resolver los principales desafíos técnicos para el control de la inteligencia artificial “superinteligente” durante los próximos cuatro años, para lo que, según ha informado la compañía, tendrá acceso al 20% de la computación lograda hasta la fecha.
“La superinteligencia será la tecnología más impactante que la humanidad haya inventado y podría ayudarnos a resolver muchos de los problemas más importantes del mundo. Pero el vasto poder de la superinteligencia también podría ser muy peligroso y podría llevar a la pérdida de poder de la humanidad o incluso a la extinción humana”; explican desde la firma. “La gestión de estos riesgos requerirá, entre otras cosas, nuevas instituciones para la gobernanza y la solución del problema de la alineación de la superinteligencia”.
En OpenAI aseguran necesitar avances científicos y técnicos para controlar una IA potencialmente superinteligente y evitar que se vuelva problemática y deshonesta. Considera que sus técnicas actuales para alinear la IA, como el aprendizaje reforzado a partir de la retroalimentación humana, se basan en la capacidad de los humanos para supervisar la inteligencia artificial, pero no es una solución escalable para sistemas mucho más inteligentes que los actuales.
En este sentido, el enfoque de OpenAI pasa por la construcción de los que denomina “un investigador de alineación automatizado de nivel humano", cuyas capacidades serán escalables gracias a grandes cantidades de cómputo. Para ello, desde la compañía apuntan que será necesario desarrollar un método de entrenamiento escalable, validar el modelo resultante y hacer una prueba de alineamiento.
Noticias Relacionadas
La compañía espera que sus prioridades de investigación evolucionen a medida que vaya aprendiendo más sobre el problema y que se puedan agregar áreas de investigación nuevas. No obstante, es consciente de que su objetivo es ambicioso y que nada garantiza que el equipo de“Superaligment" vaya a tener éxito, pero se consideran optimistas ante la concentración de esfuerzos para resolver el problema.
Desde OpenAi comparten que están buscando nuevos investigadores e ingenieros destacados para que se unan al proyecto, y que irá compartiendo sus resultados con la industria. “Planeamos compartir ampliamente los frutos de este esfuerzo y consideramos que contribuir a la alineación y la seguridad de los modelos que no son OpenAI es una parte importante de nuestro trabajo”, explican.
