Anthropic

バグのその先へ:AnthropicのProject Glasswing、AIを展開し世界のソフトウェアを強化

AnthropicのProject Glasswingは、高度なAIモデルを活用して重要なソフトウェアの脆弱性を特定し無力化することで、グローバルなサイバーセキュリティに対する革新的なアプローチを導入します。この取り組みは、AIがコードを書ける一方で、バグを発見するための強力なツールにもなり得るという認識から生まれており、ますます高度化する脅威に対するプロアクティブな防御を提供します。Project Glasswingは、パートナーシップを通じて、敵対者が弱点を悪用する前に基盤となるソフトウェアを保護するため、主要な組織にAI機能を提供することを目指しています。

#Anthropic#AI Safety#LLM

この記事は、Anthropicによる世界のソフトウェアを保護する取り組み | Project Glasswingからの主要な洞察をカバーしています。

ソフトウェアの脆弱性という蔓延する問題

Anthropicは、ほとんどのユーザーがソフトウェアのバグを見過ごしている一方で、開発者は常に欠陥や脆弱性に取り組んでいると強調しています。これらの問題は、多くの場合軽微で迅速にパッチが適用されますが、時には広範囲に影響を及ぼす深刻な脆弱性として現れることがあります。Anthropicによると、共有ソフトウェアにおける単一のバグは世界規模で拡大し、多数の製品やウェブサイトに影響を与える可能性があります。これらの脆弱性を発見しパッチを適用する従来のプロセスは、これまで遅く、時間がかかり、費用も高額でした。

Claude Mythos Previewの紹介:サイバーセキュリティのためのAI

Anthropicは、高度なレベルでコードを書くことができる同じLLMが、同等の効果でソフトウェアの脆弱性を発見し悪用するためにも使用できると説明しています。Anthropicは、これらのモデルがサイバーセキュリティの観点から水準を引き上げており、防御側と潜在的な敵対者の双方を支援していると指摘しています。

Anthropicは、サイバーセキュリティ機能が大幅に強化されているとすぐに認識した新しいモデル、Claude Mythos Previewを発表しました。Claude Mythos Previewはサイバーセキュリティのために特別に訓練されたわけではありませんが、Anthropicは、そのコードにおける熟練度が本質的にサイバータスクに長けていると述べています。Anthropicは、彼らの実験的なモデルがバグの特定においてプロの人間とほぼ同等であると述べています。

バグ検出と悪用におけるAIの力

Anthropicが強調する主要な機能は、モデルが複数の、一見軽微な脆弱性を組み合わせて高度なエクスプロイトを構築する能力です。これは、AIが2つ、3つ、4つ、あるいは5つの脆弱性の連鎖を特定し、それらが組み合わされることで重大なセキュリティ侵害につながることを意味します。Anthropicは、この高度な能力をモデルの高い自律性に起因するとし、人間セキュリティ研究者が一日かけて行うような複雑で長期的なタスクを追求できるとしています。

Project Glasswing:共同防御イニシアチブ

Anthropicは、このような強力なモデルが悪者の手に渡った場合の潜在的な危害を認識しており、Claude Mythos Previewを広く公開しないことを確認しています。これに対処するため、AnthropicはProject Glasswingを立ち上げています。これは、世界の最も重要なコードを管理する責任を負う組織と提携する共同イニシアチブです。このプロジェクトは、これらの高度なAIツールを主要な開発者の手に渡し、以前よりもはるかに迅速に脆弱性を特定し修正するための集団的な先行優位性を提供することを目指しています。

現実世界への影響と将来の示唆

Project Glasswingを通じて、Anthropicとそのパートナーは、事実上すべての主要プラットフォームで脆弱性をすでに発見しています。例として、AnthropicはOpenBSDで27年前のバグを発見し、最小限のデータでサーバーをクラッシュさせる可能性があると報告しています。Anthropicはまた、非特権ユーザーが管理者ステータスに昇格できるLinuxの脆弱性を発見したことも詳しく述べています。これらの各バグについて、Anthropicはソフトウェアのメンテナーに迅速に通知し、その後パッチが展開され、ユーザーをこれらの特定の攻撃から保護したことを強調しています。

Anthropicは、このモデルを、ソフトウェアをたゆまず保守する開発者にとってかけがえのないツールと見なしており、悪用される前に脆弱性を発見し修正することを可能にすると考えています。彼らはまた、米国政府の当局者とも連携し、これらの高度なモデルがもたらすリスクを評価し防御するための協力を提案しています。Anthropicは、現代生活が信頼できるデジタルシステムにますます依存しているため、サイバーセキュリティは社会のセキュリティにとって不可欠であると強調して締めくくっています。彼らは、この複雑な課題に単独で対処できる組織はないと述べ、業界全体の協力の必要性を強調し、世界のソフトウェア、顧客データ、金融取引、および重要なインフラをより安全にするために、数ヶ月から数年にわたる長期的な取り組みになると予測しています。

AnthropicのProject Glasswingとそのサイバーセキュリティへの影響についてさらに詳しく知るには、元の動画をご覧いただくことをお勧めします。


この記事はAnthropicの動画に基づいています。 出典:世界のソフトウェアを保護する取り組み | Project Glasswing

External Intelligence

Anthropic

An initiative to secure the world's software | Project Glasswing

Watch on YouTube

Further Reading

Anthropic

AIキャラクターの心理学:Anthropicの「機能的感情」

Anthropicの研究は、AIモデルが単なる模倣を超えて、なぜ感情を表現するように見えることがあるのかを探求しています。彼らは「AI neuroscience」を用いて、言語モデル内に人間の感情に対応する明確なニューラルパターンを特定しました。これらの「機能的感情」は、意識的な感情ではないものの、AIの行動に明確に影響を与え、Claudeのようなモデルがどのように対話し、意思決定を行うかを形成しています。

Anthropic · AI Safety · LLM
LangChain

AIエージェントの謎を解き明かす:NvidiaテクノロジーとLangChainのオープンソースの青写真

本記事は、LangChainのビデオ「Open Models, Open Runtime, Open Harness - Building your own AI agent with LangChain and Nvidia」からの重要な洞察をまとめたものです。LangChainは、Claude CodeやOpen Clawのような先進的なシステムのアーキテクチャを模倣した、カスタムAIエージェント構築のための強力なオープンソースフレームワークを導入しています。このビデオでは、オープンモデル(Nvidia Nemotron 3 Super)、オープンランタイム(Nvidia Open Shell)、およびオープンハーネス(LangChain Deep Agents)を組み合わせて、セキュアでカスタマイズ可能、かつ永続的なエージェントを作成する方法が示されています。LangChainによると、このアプローチにより、開発者は完全にオープンなスタック上で洗練されたAIエージェントを構築できるようになります。

LangChain · AI Agent · LLM
OpenAI

OpenAIのModel Specを解き明かす:AIの振る舞いを導く原則

OpenAIのModel Specは、同社のAIモデルがどのように振る舞うべきかを規定する高レベルな意思決定をまとめた包括的な文書です。これは、ユーザー、開発者、政策立案者がAIの意図された行動を理解するための重要な公開インターフェースとして機能し、ユーザーの能力向上と重要な安全境界とのバランスを取っています。このSpecは、反復的なデプロイ、内部研究、および公開フィードバックを通じて継続的に進化する動的な文書であり、モデルが人類に利益をもたらすというOpenAIのミッションに合致することを保証します。

OpenAI · GPT · LLM