夢のような職場だったOpenAIを辞めた理由
「AIが危険な行動を始めたら、電源を切ればいい」
そう考える人は多いでしょう。では、病院や金融システムなど、社会を支える仕組みがAIなしでは動かなくなったら、どうでしょうか。
止めれば人命にかかわる。スイッチはあっても、実際には押せない。私が懸念しているのは、十分に考えないまま、AIが社会に実装され、進んで行くことです。
私はOpenAIで6年以上働きました。政策研究のチームを率い、退社前には、より強力なAIを迎える準備について、経営陣や取締役会に助言していました。開発企業と社会に何が足りないのかを考える。私にとっては夢のような仕事でした。
それでも、2024年10月に退社を決めました。
退社の理由の一つは、独立性の問題です。同僚と毎日顔を合わせ、会社との経済的な利害関係もある。その中で、完全に公平な判断を下すのは難しい。政策を提言しても、「結局は自社の利益を優先しているのではないか」と疑われるのは当然でしょう。
研究成果の公表にも制約を感じていました。企業が発表内容を審査する必要は理解しています。私自身、そのルールづくりに携わりました。ただ、自分が取り組みたい研究に対して、制約が大きくなりすぎたと感じるようになったのです。
経営陣には、改善に向けて相当な助言をしてきました。その経験を経て、一社の内側にとどまるより、外から社会全体の備えを進めるほうが、自分は貢献できると考えました。
人間が決めたルールをAIが守るとは限らない
現在は、AIの第三者監査を推進する非営利組織、AVERIを率いています(2025年設立)。
企業が「十分に試験した」「安全対策を講じた」と説明する際、その言葉を裏づけるエビデンスはあるのか。外部の専門家が検証できる仕組みをつくるのが、私たちの仕事です。
AIは、人間が一つ一つの動作をコードで指定する通常のソフトウェアとは異なり、学習を通じて振る舞いを身につけます。安全上のルールを教えたとしても、あらゆる状況で必ずしもそのルールを守るとは限らない。
能力が高まるにつれ、自分が評価されている状況を認識するようにもなっていきます。試験で安全に振る舞ったことが、実際の利用でも安全だという保証にはならないのです。