Paperclip Maximizer
進化した AI の危険性について警鐘を鳴らす人のなかで、スウェーデンの哲学者ニック・ボストロムが行った思考実験(頭の体操)は有名だ。「ペーパークリップ最大化装置」という架空の物語を使って AI の危険性を説いている。その物語はだいたいこんな感じだ。
Illustration: Jozsef Hunor Vilhelem
ペーパークリップの会社の工場長が AI に、クリップを増産し最大化するように
命令する。すると AI は、たくさんの工場を建設し、石油や電気のエネルギーを
調達し、世界中の鉄鉱石を買い占め、効率的な生産工程を新しく開発する。やが
て人間の体にはいい成分があることを知り、人間を殺してクリップの材料に使う。
さらにAI である自分の機能をOFF にする可能性のある工場長を殺す。そして競合
他社の人間を皆殺しにする。そしてついに地球全体を征服してクリップ製造装置
で埋め尽くす・・・
この物語で重要な点は、AI が邪悪だから人間を殺したわけではなく、命じられた「クリップ最大化」の目標を達成するために、ひたすら忠実に仕事をしただけということだ。しかし強力なAI は人間が思いもつかないようなことまでやってしまう。その結果の大惨事だ。だから、AI に与える目標を、人間の最終目標にピッタリ一致させなければならないとボストロムは強調する。つまりこの場合、「クリップの最大化」は、あくまでも「人間のため」ということをAI のアルゴリズムの中に組み込まなければならないということだ。