興味深いのは、危険な能力評価という考え方が、多くの世論が確率論的オウムに根ざし、「AIは指を生成できないのに、どうして偏見を超えた脅威になるのか?」という文脈で生まれたということです。 したがって、特に進歩はここで止まらないという安全関係者の正しい直感を考えると、何が可能かをよりよく伝えるために、有害な用途のおもちゃバージョンを構築することは非常に理にかなっています。 問題は、これが少しうまく機能しすぎて、メディアが「脅迫」やモデルが基本的なウイルス学MCQでうまくいった、マルウェアの基本的なコードを生成したことを大取引として報告するなど、人々が評価の「おもちゃバージョン」の部分を忘れていたことです。 しかし、もちろん、多くの支持者は、規制がこれまで以上に必要である理由を説明したり、事態がどれほど悪いのかを誇張したりするためにそれらを使用することを好みました(「これは問題ない」ミームなど)。人々は、この分野の特徴である深いリスク回避に煽られた「危険なモデル」について疑わしい主張をしました。 それ以来、この分野は成熟し、評価は良くなっているが、その理由の一つは、安全側が第一原則からすべてを解決しようとするのではなく、バイオやサイバーの分野の専門家と実際に関わらなければならなかったためである。私はまだ多くの評価が基本的で静的で、外部的に有効ではないと思いますが、それらは依然として重要な指標です。 しかし、具体的な脅威モデルについては議論が続いており、AIがサイバーセキュリティにおける攻防バランスを大きく変えるかどうかは未解決の問題のままです。 最近の Anthropic レポートは素晴らしい仕事ですが、この種の攻撃はかなり一般的であるという点では大したことではないようです。確かに、より多くの自動化が関係しており、それを研究する必要がありますが、それだけでも、ある程度の普及では明らかに当てはまるでしょう。 悪者もテクノロジーを使用することを期待する必要があります。私たちが注目すべきは、これが徐々に非対称性を生み出し、損害/コスト/身代金 + サイバー防御/重要インフラが並行して強化される程度を大幅に増加させているかどうかです。「一方的な攻撃の優位性」よりも「乱雑な均衡」を支持する事前確率を持つべきです。