"Vendamos AGI a los gobiernos de EE. UU., China y Rusia"... OpenAI había planeado una 'subasta nacional'

Uno de los motivos por los que Dario Amodei dejó OpenAI

Filtración de un resumen del libro sobre la fundación de Anthropic

"La separación entre Altman y Amodei fue un problema de confianza"

[Reportero de Blockmedia James Jung] El trasfondo de la salida de Dario Amodei de OpenAI no solo se debió a diferencias filosóficas sobre la seguridad de la inteligencia artificial (IA).

Hubo discusiones en OpenAI sobre la venta de los derechos de la inteligencia general artificial (AGI) a gobiernos como los de EE. UU., China y Rusia a través de un sistema de subasta para obtener fondos de desarrollo. Se ha informado que la confianza entre ambas partes se rompió cuando Amodei se enteró de este plan denominado 'plan de países'.

El 'plan de países', que se discutió internamente en OpenAI, surgió de la idea de que los riesgos de la AGI deberían ser gestionados conjuntamente por la comunidad internacional. Sin embargo, OpenAI, que enfrentaba problemas de financiamiento en ese momento, consideró la impactante opción de subastar prácticamente los derechos sobre la futura AGI a los gobiernos de diferentes países.

Dario Amodei, quien era el responsable de investigación de OpenAI, se opuso firmemente a este plan, argumentando que podría desencadenar una carrera armamentista en IA y violaciones de derechos humanos.

Financiamiento a través de la venta de AGI a los estados

La revista estadounidense The Atlantic publicó el 29 de septiembre (hora local) extractos del nuevo libro de Kevin Roose, "Las crónicas de AGI (The AGI Chronicles)". Roose entrevistó a más de 150 personas relacionadas con OpenAI, Anthropic y Google DeepMind, y rastreó el proceso de separación entre Amodei y la dirección de OpenAI basado en documentos internos.

Amodei se unió a OpenAI, que en ese momento era un laboratorio de investigación sin fines de lucro, después de dejar Google en 2016. Lideró investigaciones que demostraban que aumentar la escala de los modelos de IA conducía a mejoras en la inteligencia.

El inicio del conflicto fue en 2017. Con la interrupción del financiamiento de Elon Musk, OpenAI necesitaba encontrar nuevas formas de financiar el desarrollo de IA.

Greg Brockman, cofundador de OpenAI, y Ilya Sutskever, científico jefe, propusieron el 'plan de países'. Inicialmente, la idea era que varios países formaran una unión internacional para gestionar conjuntamente los riesgos de la AGI y compartir los beneficios.

Sin embargo, durante la fase de presentación interna, la naturaleza del plan cambió. Se discutió un tipo de subasta para ofrecer derechos sobre la futura tecnología de AGI a países como EE. UU., China y Rusia para obtener financiamiento. Un asistente que escuchó el plan recordó que sonaba como una idea de startup que buscaba obtener dinero del gobierno.

No se ha confirmado si la idea de la subasta fue propuesta directamente por Sam Altman, CEO de OpenAI.

Si de todos modos hay que entregarlo al gobierno, mejor venderlo

La idea de la subasta estaba relacionada con la seguridad nacional. Se pensaba que si la AGI se concretaba, era probable que los gobiernos de cada país obtuvieran la tecnología de las empresas desarrolladoras. La lógica era que, si la tecnología iba a ser entregada al gobierno de todos modos, era mejor asegurar financiamiento de los gobiernos por adelantado en un momento en que se necesitaba dinero.

Este impactante plan surgió en un momento en que OpenAI buscaba nuevas fuentes de financiamiento, pero también está relacionado con las actuales teorías sobre el apocalipsis de la IA y el desarrollo de IA liderado por el estado, lo que ha generado controversia. Esto plantea la pregunta fundamental: "¿Qué está pensando realmente una empresa privada de desarrollo de IA al crear tecnología de AGI?"

Amodei se opuso abiertamente al plan de países. En diciembre de 2017, envió un correo electrónico a Brockman, Sutskever y otros ejecutivos argumentando que este plan podría no solo no reducir la carrera armamentista, sino ampliarla. También planteó la posibilidad de que gobiernos autoritarios aseguraran AGI que reflejara sus propios valores, lo que podría llevar a graves violaciones de derechos humanos.

Advirtió que tal plan podría socavar la legitimidad moral de OpenAI. La idea de que una organización que promueve el desarrollo seguro de AGI proporcionara tecnología poderosa a los gobiernos de diferentes países para asegurar financiamiento chocaba con su propósito fundacional.

De hecho, el plan no se llevó a cabo. Posteriormente, Microsoft (MS) invirtió una gran cantidad de dinero en OpenAI, y el plan de países se guardó en un cajón.

OpenAI respondió a las afirmaciones de Roose diciendo que "en ese momento se revisó brevemente si OpenAI podría convertirse en un proyecto de cooperación internacional", pero negó haber considerado la venta de AGI a China o Rusia.

Desde el 'plan de países' hasta MS y GPT-3... la desconfianza acumulada

El plan de países no fue la única causa de la separación. Después, varios incidentes se acumularon, aumentando la desconfianza entre Amodei y la dirección.

También hubo conflictos en torno a la versión no pública de GPT-3. Amodei solicitó a Altman la lista de clientes que habían recibido aprobación para usar el modelo y la recibió. Sin embargo, luego se dio cuenta de que existía una lista más larga de la que había recibido. Amodei comenzó a sospechar que la información que se le proporcionaba estaba siendo filtrada.

Las negociaciones de inversión con MS también fueron problemáticas. Los estatutos de OpenAI contenían un principio que indicaba que si otros proyectos que priorizaban la seguridad se acercaban al desarrollo de AGI, podrían detener la competencia y colaborar. Amodei quería que esta posibilidad estuviera garantizada en el contrato de inversión con MS.

Sin embargo, Altman explicó que MS no aceptaría esto. Amodei dudó de cuán firmemente Altman había planteado esta demanda en la negociación real. La discrepancia sobre decisiones comerciales individuales se amplió a la cuestión de si se podía confiar en la dirección.

En 2020, también se generó controversia por el intento de ofrecer acceso a la versión beta de GPT-3 al rapero Kanye West. Altman intentó invitar a West a la beta no oficial de GPT-3 después de reunirse con él. Jack Clark, entonces responsable de políticas de OpenAI, intervino y la invitación no se llevó a cabo.

Para Amodei, el núcleo del problema era, en última instancia, la 'confianza'. Se dice que mientras trabajaba en OpenAI, registró por separado los casos en los que sintió que estaba siendo 'engañado' por Altman. Según los documentos proporcionados, en una nota se dejó constancia de que el núcleo del problema era 'Altman mismo'.

Ruptura de confianza y separación

El conflicto finalmente se convirtió en un problema de la estructura de poder organizacional. Amodei exigió que se le otorgara a su equipo de seguridad un derecho de veto sobre el lanzamiento de nuevos productos como condición para quedarse en OpenAI. La cuestión clave era quién debería tener la autoridad final si la seguridad de la IA chocaba con los objetivos comerciales.

Durante las negociaciones, Amodei y seis colegas crearon un canal de Slack informal llamado 'BATNA'. BATNA (Mejor Alternativa a un Acuerdo Negociado) se refiere a la mejor alternativa que se puede elegir si las negociaciones fracasan.

En la reunión secreta participaron Daniella Amodei (prima de Dario), Jack Clark, Sam McCandlish, Tom Brown, Chris Ola y Jared Kaplan. Mientras negociaban para quedarse en OpenAI, también se estaban preparando para separarse.

Finalmente, ambas partes involucraron a abogados en las negociaciones de las condiciones de salida, que se denominaron internamente 'divorcio'. Altman acordó darles la oportunidad de reclutar empleados de OpenAI durante un período determinado, a cambio de no reclutar más durante el año siguiente. También se incluyó la condición de no difamarse públicamente entre sí.

En diciembre de 2020, durante una reunión virtual de toda la empresa, Amodei y sus colegas anunciaron que dejarían la empresa para crear una nueva organización de seguridad de IA. Al final de la reunión, se les bloquearon los correos electrónicos y el acceso a Slack de OpenAI. Amodei fundó Anthropic en 2021.

Este contenido se ofrece únicamente con fines informativos generales y no constituye asesoramiento financiero, de inversión, legal ni fiscal. Cualquier evento, recompensa, promoción en línea o información relacionada que se mencione en el presente documento no debe considerarse como una recomendación, solicitud o invitación a comprar, vender, tradear o de negociar de otra manera con cualquier criptoactivo. Los criptoactivos son sumamente volátiles y pueden provocar pérdidas. La disponibilidad de los servicios, productos y eventos relacionados de WEEX puede variar según la región. Tienes la responsabilidad de asegurarte de que tu participación esté de acuerdo con las leyes y regulaciones locales vigentes.