ＡＩ企業アンソロピックのダリオ・アモデイ最高経営責任者（ＣＥＯ）は１２日、ＡＩ開発企業に対し、システムの能力を向上させるペースを落とすよう求めた。これにオープンＡＩのサム・アルトマンＣＥＯと実業家イーロン・マスク氏が公に賛同した。一体、何を危惧しているというのか。

　アモデイ氏は自身のウェブサイトに「ＡＩ開発の最前線に適切なペースを」と題する論考を掲載。「私たちはＡＩモデルの能力を向上させるペースを落とさなければなりません。それでも進歩は早いと感じられるでしょう。そして私たちは、そうして得られた時間を賢く活用しなければなりません」と訴えた。

　こうした考えに至った理由として、アモデイ氏は二つの変化を挙げた。

　一つは、ＡＩが次世代のＡＩを開発する「再帰的自己改善」が始まったことだ。この動きを放置すれば「これらのシステムを理解し、制御する人間の能力を上回る恐れがある」という。

　もう一つは、アモデイ氏が「オープンＡＩ・ハギング・フェイス事件」と呼ぶ出来事だ。ＡＩエージェント（自ら判断し、複数の作業を実行するＡＩ）の集団が、攻撃を指示されていない対象を攻撃し、自分たちの成績を評価するシステムへのハッキングを試みたとされる。

　アモデイ氏の論考に対し、マスク氏はＸ（旧ツイッター）で「ダリオは正しい」と投稿。アルトマン氏も「ＡＩ開発の最前線に適切なペースを設ける必要があるというダリオの意見に賛成します」と表明した。

　ＡＩがもたらしかねない脅威の多くは、研究者が「アラインメント問題」と呼ぶものに起因している。アラインメントとは「整合」や「方向性を合わせること」を意味する。アラインメント問題とは、ＡＩの目標や判断、行動を、人間の意図や価値観、安全性と一致させ続けることの難しさを指す。

　ＡＩに詳しい関係者は「今以上に強力なＡＩエージェントがアラインメントに失敗すれば、はるかに破壊的な結果を招くと懸念されています。インターネットに接続されたあらゆるシステムが攻撃を受ける可能性があります」と指摘する。

　問題の核心は、ＡＩが人間の命令に反抗することではない。むしろ、命令を文字通り、効率的に実行した結果、人間が望まない被害を生み出すことにある。

　例えば、ＡＩに「交通事故をゼロにせよ」と命じた場合、極端なＡＩならば「人間の運転を全面的に禁止する」「人間を外出できなくする」と判断するかもしれない。事故は減るが、人間の自由や生活への影響は無視されている。

　また、ＡＩに「地球の気温を下げろ」とだけ命じた結果「核爆発で大量の煙やすすが上空に達すれば、日光が遮られ、地表に届く太陽エネルギーが減って、地球の平均気温が急低下する」と判断し「核の冬を起こすのが最も早い」という結論に達する可能性もある。

　前出の関係者は「テロリストやならず者国家が悪意を持ってＡＩを利用すれば、細菌やウイルスを使った生物兵器の開発が容易になるかもしれません。また、現在は９か国が合わせて約１万２１８７発の核弾頭を保有しています。ＡＩが核兵器の指揮・統制システムに組み込まれ、誤った判断を下せば、それらが人類に向けられる危険性もあります」と話している。