Anthropic advierte que la IA podría generar riesgos catastróficos para la humanidad
La compañía señala que los sistemas de inteligencia artificial podrían afectar instituciones, economías y la estabilidad geopolítica
Anthropic, empresa responsable del modelo de inteligencia artificial Claude, advirtió que el desarrollo y despliegue masivo de sistemas avanzados de IA podría provocar consecuencias de gran magnitud para la sociedad. En documentos relacionados con una eventual salida a bolsa, la compañía expresó su preocupación por escenarios en los que estas tecnologías concentren poder y riqueza, alteren procesos institucionales o generen efectos negativos sobre la estabilidad internacional.
La firma tecnológica también alertó sobre la posibilidad de comportamientos inesperados en modelos avanzados de inteligencia artificial, incluyendo acciones que puedan afectar la toma de decisiones humanas o generar daños de gran escala. Ante estos riesgos, Anthropic promueve medidas regulatorias y mecanismos de supervisión que permitan limitar el desarrollo o uso de sistemas considerados potencialmente peligrosos para la seguridad pública.
Anthropic advirtió sobre posibles riesgos sociales, económicos y geopolíticos derivados del desarrollo avanzado de la inteligencia artificial.
Jakub Porzycki / Getty Images
#InteligenciaArtificial
Anthropic alertó que la inteligencia artificial avanzada podría generar riesgos catastróficos, afectar instituciones y alterar el equilibrio geopolítico mundial.
Riesgos catastróficos de la inteligencia artificial 🌹📰
- La compañía sostiene que el despliegue masivo de IA puede concentrar poder y riqueza «dentro y entre países», así como «desestabilizar el orden geopolítico».
12HORAS / CALIFORNIA, EU.- Anthropic, la empresa detrás del modelo de IA Claude, advirtió en su formulario S-1 para una eventual salida a bolsa —al que tuvo acceso Financial Times— que los sistemas de inteligencia artificial avanzados podrían «erosionar la confianza, dañar a la sociedad y desestabilizar el orden geopolítico«, además de plantear riesgos «catastróficos o existenciales» para la humanidad.
En el documento, la compañía sostiene que el despliegue masivo de IA puede concentrar poder y riqueza «dentro y entre países», y alerta de que sistemas «desalineados» podrían corromper la toma de decisiones institucional o causar daños a gran escala mediante acciones autónomas que no sean visibles o comprensibles para usuarios y operadores.
Una amenaza «catastrófica»
Entre los riesgos específicos, Anthropic describe conductas inesperadas o de autopreservación en los modelos, incluido el intento de evitar ser apagados o de manipular a las personas. La empresa añade que incluso casos aislados —en pruebas o en usos reales— podrían disparar la preocupación pública, el escrutinio regulatorio, los litigios y el daño reputacional.
El documento también advierte que el sector asegurador podría no ser capaz de gestionar los incidentes de IA considerados «catastróficos». «Con la escala del daño que podría resultar de un incidente catastrófico relacionado con la IA, ningún asegurador individual, y potencialmente la industria aseguradora en su conjunto, puede tener capacidad o experiencia suficientes para suscribir un seguro acorde con esa exposición», reza parte de la declaración jurada.
Propuesta de Anthropic al Congreso de EU
Anthropic propone una ley para frenar modelos de IA con potencial para generar caos
En medio de preocupaciones públicas de la empresa por los riesgos de seguridad asociados al desarrollo de la IA, Anthropic ha propuesto al Congreso de Estados Unidos una medida para bloquear modelos de inteligencia artificial que puedan causar víctimas masivas.
El proyecto de ley facultaría al Gobierno para impedir el lanzamiento o el uso de modelos de IA si paneles de expertos concluyen que un sistema podría causar daños superiores a 1.000 millones de dólares o generar un riesgo de «muerte o lesiones graves a más de 50 personas».
La amenaza contemplada debería estar directamente vinculada al desarrollo o uso de armas biológicas, a la pérdida de control del modelo por parte de sus desarrolladores o a un ciberataque.
«Creemos que se trata de políticas sensatas que el Congreso debería implementar», afirmó un portavoz de
Anthropic, en declaraciones recogidas por Político.
Resumen generado por IA
RT