Anthropic, con sede en San Francisco, pide una congelación global en el desarrollo de IA y advierte que la IA podría escapar pronto del control humano

Anthropic advierte que los modelos de IA están mejorando rápidamente, tanto que podrían desarrollarse sin intervención humana. Por ello, la empresa insta a la industria de la IA a construir un "freno", o las compañías arriesgan perder el control sobre sus creaciones.

Los sistemas de IA que pueden avanzar por sí mismos, conocidos como "mejora recursiva completa", podrían tener un gran potencial para el bien en la ciencia y la atención médica, pero también representan grandes riesgos para la humanidad, según un blog escrito por Marina Favaro y Jack Clark. Favaro y Clark sostienen que la mejora recursiva completa podría incrementar los riesgos de que los humanos pierdan el control sobre los sistemas de IA. Si los sistemas son capaces de construir completamente sus propios sucesores, los métodos para asegurar, monitorear y dar forma a su comportamiento se vuelven mucho más importantes.

La industria está mucho más cerca de la IA auto-mejorante de lo que se había esperado, advierten. Por lo tanto, las empresas tecnológicas deberían considerar ralentizar o pausar el desarrollo de IA avanzada para permitir a los investigadores comprender mejor los posibles daños sociales que la IA auto-mejorante podría desatar. Los investigadores también deberían construir un mecanismo para que los humanos intervengan si las cosas se descontrolan.

En una aparición en CNN, Clark pidió a la industria que se diera un "freno". Comparó la situación con un automóvil que solo tiene un pedal de aceleración y carece de freno, sugiriendo que en algún momento en el futuro podría ser necesario tener esa opción. Clark también mencionó la dificultad de mantener el control sobre flotas de científicos que son mucho más grandes y rápidas que las que se han tenido anteriormente.

La advertencia se produce después de que Anthropic solicitara una oferta pública inicial de sus acciones, un paso que podría recaudar decenas de miles de millones de dólares de inversores para acelerar la construcción de centros de datos y computadoras necesarias para la IA. Clark insistió en que la cooperación entre grandes empresas de IA como Anthropic, SpaceX y OpenAI para desarrollar frenos podría ser posible, a pesar de la competencia en el sector.
¿Es posible establecer controles efectivos en el desarrollo de IA mientras se compite por miles de millones de dólares en el mercado?
.

.

.

RESUMEN BASADO EN EL ARTÍCULO PUBLICADO EN ABC7 San Francisco EL 5 de junio de 2026. Leer original

https://abc7news.com/post/san-francisco-based-anthropic-calls-global-freeze-ai-development-warns-could-soon-escape-human-control/19240090/