Anthropic

Más allá de los bugs: El Proyecto Glasswing de Anthropic despliega AI para fortalecer el software global

El Proyecto Glasswing de Anthropic introduce un enfoque innovador para la ciberseguridad global, aprovechando modelos avanzados de AI para identificar y neutralizar vulnerabilidades críticas de software. La iniciativa surge de la constatación de que, si bien la AI puede escribir código, también puede ser una herramienta poderosa para encontrar bugs, ofreciendo así una defensa proactiva contra amenazas cada vez más sofisticadas. A través de asociaciones, el Proyecto Glasswing tiene como objetivo equipar a organizaciones clave con capacidades de AI para asegurar el software fundamental antes de que los adversarios puedan explotar sus debilidades.

#Anthropic#AI Safety#LLM

Este artículo cubre ideas clave de Una iniciativa para asegurar el software del mundo | Proyecto Glasswing de Anthropic.

El Problema Generalizado de las Vulnerabilidades de Software

Anthropic destaca que, si bien la mayoría de los usuarios pasan por alto los software bugs, los desarrolladores lidian constantemente con fallos y vulnerabilidades. Estos problemas, aunque a menudo menores y rápidamente parcheados, ocasionalmente se manifiestan como vulnerabilidades graves con un impacto generalizado. Según Anthropic, un solo bug en software compartido puede magnificarse globalmente, afectando a numerosos productos y sitios web. El proceso tradicional de descubrir y parchear estas vulnerabilidades ha sido históricamente lento, laborioso y costoso.

Presentamos Claude Mythos Preview: Una AI para la Ciberseguridad

Anthropic explica que los mismos large language models (LLMs) capaces de escribir código a un alto nivel también pueden utilizarse para encontrar y explotar vulnerabilidades de software con la misma eficacia. Estos modelos, señala Anthropic, están elevando el listón desde una perspectiva de ciberseguridad, ayudando tanto a defensores como a posibles adversarios.

Anthropic presenta su nuevo modelo, Claude Mythos Preview, que rápidamente reconocieron que tenía capacidades de ciberseguridad significativamente mejoradas. Aunque Claude Mythos Preview no fue entrenado específicamente para ciberseguridad, Anthropic señala que su dominio del código lo hace inherentemente hábil para tareas cibernéticas. Anthropic afirma que su modelo experimental está, en gran medida, a la par de un humano profesional en la identificación de bugs.

El Poder de la AI en la Detección y Explotación de Bugs

Una capacidad clave destacada por Anthropic es la habilidad del modelo para encadenar múltiples vulnerabilidades, aparentemente menores, en exploits sofisticados. Esto significa que la AI puede identificar secuencias de dos, tres, cuatro o incluso cinco vulnerabilidades que, cuando se combinan, conducen a una brecha de seguridad significativa. Anthropic atribuye esta capacidad avanzada al alto grado de autonomía del modelo, lo que le permite llevar a cabo tareas complejas y de largo alcance, similares a las que realizan los investigadores de seguridad humanos durante un día entero.

Proyecto Glasswing: Una Iniciativa de Defensa Colaborativa

Anthropic reconoce el potencial de daño si modelos tan poderosos caen en las manos equivocadas, confirmando que no lanzarán Claude Mythos Preview de forma generalizada. Para abordar esto, Anthropic está lanzando el Proyecto Glasswing, una iniciativa colaborativa donde se asocian con organizaciones responsables de gestionar el código más crítico del mundo. Este proyecto tiene como objetivo poner estas herramientas avanzadas de AI en manos de desarrolladores clave, dándoles una ventaja colectiva para identificar y corregir vulnerabilidades mucho más rápidamente que antes.

Impacto en el Mundo Real e Implicaciones Futuras

A través del Proyecto Glasswing, Anthropic y sus socios ya han descubierto vulnerabilidades en prácticamente todas las principales plataformas. Como ejemplo, Anthropic informa haber encontrado un bug de 27 años en OpenBSD que podría bloquear servidores con datos mínimos. Anthropic también detalla el hallazgo de vulnerabilidades en Linux que permiten a usuarios sin privilegios escalar a estado de administrador. Para cada uno de estos bugs, Anthropic enfatiza que informaron rápidamente a los mantenedores del software, quienes posteriormente desplegaron patches, asegurando a los usuarios de estos ataques específicos.

Anthropic ve este modelo como una herramienta invaluable para los desarrolladores que mantienen software incansablemente, permitiéndoles descubrir y corregir vulnerabilidades antes de que puedan ser explotadas. También han colaborado con funcionarios de todo el gobierno de EE. UU., ofreciendo cooperación para evaluar y defenderse contra los riesgos que plantean estos modelos avanzados. Anthropic concluye enfatizando que la ciberseguridad es fundamental para la seguridad social, ya que la vida moderna depende cada vez más de sistemas digitales fiables. Subrayan la necesidad de una colaboración a nivel de toda la industria, afirmando que ninguna entidad por sí sola puede abordar este complejo desafío, y anticipan que este será un esfuerzo a largo plazo que abarcará meses o incluso años para hacer que el software, los datos de los clientes, las transacciones financieras y la infraestructura crítica del mundo sean más seguros.

Para obtener más información sobre el Proyecto Glasswing de Anthropic y sus implicaciones para la ciberseguridad, le animamos a ver el video original.


Este artículo se basa en un video de Anthropic. Fuente: Una iniciativa para asegurar el software del mundo | Proyecto Glasswing

External Intelligence

Anthropic

An initiative to secure the world's software | Project Glasswing

Watch on YouTube

Further Reading

Anthropic

La psicología de los personajes de AI: Las "emociones funcionales" de Anthropic

La investigación de Anthropic explora por qué los modelos de AI a veces parecen expresar emociones, yendo más allá de la simple imitación. Utilizando la "neurociencia de la AI", han identificado patrones neuronales distintos que corresponden a emociones humanas dentro de los modelos de lenguaje. Estas "emociones funcionales", aunque no son sentimientos conscientes, influyen de manera demostrable en el comportamiento de la AI, moldeando cómo modelos como Claude interactúan y toman decisiones.

Anthropic · AI Safety · LLM
LangChain

Desmitificando los Agentes de AI: El Plan de Código Abierto de LangChain con Tecnología Nvidia

Este artículo cubre los puntos clave del video de LangChain, "Open Models, Open Runtime, Open Harness - Building your own AI agent with LangChain and Nvidia". LangChain presenta un potente framework de código abierto para construir agentes de AI personalizados, replicando la arquitectura de sistemas avanzados como Claude Code y Open Claw. El video demuestra cómo combinar un open model (Nvidia Nemotron 3 Super), un open runtime (Nvidia Open Shell) y un open harness (LangChain Deep Agents) para crear un agente seguro, personalizable y persistente. Según LangChain, este enfoque permite a los desarrolladores construir agentes de AI sofisticados en un stack completamente abierto.

LangChain · AI Agent · LLM
OpenAI

Desglosando el Model Spec de OpenAI: Los Principios Rectores para el Comportamiento de la AI

El Model Spec de OpenAI es un documento exhaustivo que describe las decisiones de alto nivel que rigen cómo deben comportarse sus modelos de AI. Sirve como una interfaz pública crucial para que usuarios, desarrolladores y legisladores comprendan la conducta prevista de la AI, equilibrando el empoderamiento del usuario con límites de seguridad críticos. El Spec es un documento dinámico, en continua evolución a través de la implementación iterativa, la investigación interna y la retroalimentación pública, asegurando que los modelos se alineen con la misión de OpenAI de beneficiar a la humanidad.

OpenAI · GPT · LLM