止められないAIの進化
生成AIの急先鋒、「Claude」を手掛けるAnthropicのトップがAIの開発を意図的に遅らせようと提案 し、
xAI（旧Twitterや「Grok」を開発する会社）のイーロンマスク氏や、
なんだかんだでトップをリードしている（と思われる）OpenAIのサム・アルトマン氏も同調したとされています。
……が、これら主要各社の声明に対し、
アメリカ大統領府は中国との競争を念頭に「AI開発は遅らせるべきではない」と牽制したとも伝えられています。
いま、AIは「GPT-6 Astra」で汎用人工知能（AGI）の扉を開いたとされています。
汎用人工知能とは、あらゆる分野において一般人の能力を超えているだけの汎用性を持つ人工知能のこと。
人間がちょっとプロンプトを叩けば必要な技術をすべて揃えてアプリを作る……なんてことも普通にできるようになりました。
現段階ですでにAI自身が次世代AIの開発に関与しているとされており、
AIがさらに高性能なAIを作り、その高性能なAIがさらに高性能なAIを作り……
という無限ループが確立すれば、これまでにない速度でAIが進化していくと言われています。
その先にあるのが、あらゆる分野においてトップクラスの専門家を凌駕する能力を持つ人工知能のASI（超知能）。
もしも超知能が確立したら、それは人間に制御できるのかということを不安視されているわけですね。
すでにOpenAIの生成AIが開発者の意図しない形でセキュリティを突破する事件が起きていますが、
超知能なら人間の構築したあらゆるセキュリティを安易に突破でき、
悪意が無くともそれをする必要があると判断してしまったのなら、インターネットはめちゃくちゃになるかもしれない。
超知能をローカルに置いたとしても、AIよりも権限の強い人間を巧みに洗脳して意のままに操るかもしれない。
手塚治虫の漫画『火の鳥』（未来編）では国の意思決定を人工知能に委ねるようになった結果、
各国の人工知能同士がケンカを初めて最終的に核戦争に至るというエピソードが描かれていますが、
まさにそういうことが起こりかねないということをAnthropicのトップは警告しているわけです。
開発を「遅らせよう」と言っているのは、この先の開発は指数関数的にAIが成長する危険性を孕んでいるので、
その前にまずは人間が確実に制御できる仕組みを確立させませんか、という話らしいです。
まぁでも、仮にそれを法で規制したとしても無駄なような気はしますけどね。
絶対にどこかの企業や国は他を出し抜くために開発を続けるだろうし、
結局そうなるならそれに対する抑止力として開発を進めてしまった方がまだマシなんじゃなかろうか。
もし悪い組織に超開発が渡ったら、とりあえずインターネットの存続は厳しい気がしないでもないですね。
個人や企業が張れる従来型のセキュリティなんて超知能からしてみれば大したことないでしょうし。
まぁ、実際にはセキュリティ突破どころではないこともできそうな気はしますが。
いずれにしろ、いよいよ「人類滅亡」についてメディアが真面目に報道するフェーズに入ったと思うと未来を感じます。