サム・ハリスが語るAIリスクと人類の綱渡り

AIアクセラレーショニストの世界観と番組の出発点

哲学者でポッドキャストホストのサム・ハリス氏は、「AIの危険性は誇張されているのか（Making Sense #435）」で、新シリーズ「The Last Invention」の導入としてAI議論の全体像を整理しようとしています。このエピソードでは、AIに強い期待を寄せる立場と、人類の存続そのものを懸念する立場のあいだにある大きなギャップを示し、その出発点としてAIアクセラレーショニストと呼ばれる考え方を取り上げています。ハリス氏は、まずテクノロジーを推し進める側のビジョンを正確に描くことで、その後に続くリスクや規制の議論を冷静に検討できる土台を用意しようとしています。

シリーズ立ち上げに込めた意図

私はこのシリーズを通して、AIをめぐる会話を一度整理し直したいと考えました。日々多くの情報が流れ、AIの危険性は大げさだと言う人もいれば、人類の終わりに直結すると懸念する人もいます。ところが、その評価の違いは、しばしば前提としている世界観や時間軸の違いから生まれています。その前提が共有されないまま議論だけが先行すると、お互いの話がかみ合わず、感情的な対立だけが強調されてしまいます。

そこで私は、まず最初にAIに楽観的な人たちがどのような未来を思い描いているのかを描写したいと考えました。シリーズ全体の目的は、楽観論と悲観論のどちらかを選ぶことではなく、幅広い見解を一つの地図の上に並べ、聞き手が自分の位置を確かめられるようにすることです。その手始めとして、このエピソードではAIアクセラレーショニストの視点を入り口に選びました。

― サム・ハリス

AIが社会システムを最適化するという期待

アクセラレーショニストと呼ばれる人たちは、十分に高度なAIが実現すれば、現在の政府や官僚機構、企業経営の多くをより合理的な仕組みに置き換えられると考えています。人間の政治家や官僚は利害や感情に左右されますが、将来のAIは膨大なデータと計算能力を用いて、より公正で効率的な意思決定を行えるという見立てです。その結果、不平等や汚職が減り、多くの人の生活が実質的に向上すると期待されています。

こうしたビジョンでは、AIは単なる便利な道具ではなく、人類全体の利益を調整する統治システムの中枢に近い役割を担います。税制や医療、エネルギー政策のような複雑な問題も、AIがシミュレーションと最適化を繰り返し、社会全体の幸福を高める方向に再設計されていきます。この立場から見ると、AIの危険性を過度に恐れて開発を遅らせることは、取り得る恩恵を放棄する行為にも映ります。

― サム・ハリス

出発点としてのユートピア的ビジョン

このテーマでは、ハリス氏が新シリーズの出発点として、AIアクセラレーショニストのユートピア的な未来像を描いていることが整理されている。AIが政府や制度の一部を置き換え、人間以上の合理性で社会を運営するという構想は、多くの人にとって魅力的に映る一方で、リスクの議論を後回しにしやすい側面も持つ。ハリス氏はあえてこの期待の姿を正面から描くことで、後のテーマで扱われるAGIや超知能、存在リスクといった話題とのコントラストを明確にしようとしている。

この入口を共有することで、次のテーマで取り上げられる「AGIとは何か」「超知能とは何か」「到来時期をどう見積もるのか」といった技術的前提の整理が、より立体的に理解しやすくなっていく構成になっている。

AGIと超知能が示す新しい知性像とタイムライン

ハリス氏は続いて、AIリスクをめぐる議論がかみ合わない背景として、「AGI」や「超知能」をどうイメージしているかの違いを指摘している。この整理役として大きな役割を果たしているのが、ニューヨーク・タイムズのテクノロジー記者であるケヴィン・ルース氏である。ルース氏は、既存のチャットボットの延長としてAIを見る視点と、新しい知性種の誕生として捉える視点のギャップを言語化し、AGIから超知能へと至るプロセスや、その到来時期に関する感覚の変化を説明している。

AGIと超知能のイメージの違い

私は長年テクノロジー産業を取材してきましたが、多くの読者がAIという言葉から連想するのは、検索エンジンの賢い版や便利なチャットボットだと感じています。一方で、研究者や企業の内部にいる人たちの一部は、もっと根本的な意味での変化を想定しています。つまり、新しい種類の「心」をデジタルな形で作り出すというイメージです。そのギャップが、AIリスクをめぐる議論を複雑にしているように思います。

私が話を聞いた人たちは、人間の脳を一種の生物学的コンピューターとして捉えています。パターンを学習し、経験から世界のモデルを更新する存在です。その原理を別のハードウェア上で再現できれば、現在のコンピューターの上にまったく新しいタイプの知的存在を構築できるという発想が生まれます。そこから先に見えてくる世界は、単なる便利な道具の域を超えたものになります。

― ケヴィン・ルース

汎用人工知能から超知能へ

私が取材してきた説明では、AGIとは特定のタスク専用ではなく、広い範囲の仕事を学んでこなせる汎用的な知能を指します。一人の有能な人が新しい職場に入り、仕事を覚えながら活躍していくようなイメージに近いです。工場労働、医療、企業の経営など、その場に必要な知識を学べば一定レベル以上で遂行できる柔軟さを持つシステムが、AGIの一つのベンチマークとして語られています。

そこからさらに一歩進んだ存在として語られるのが、超知能と呼ばれるレベルです。AGIが人間と同程度の一般的な知能だとすれば、超知能はあらゆる領域で人間を大きく上回る知能を持つ存在です。この段階では、AIが自分自身より賢いAIを設計し、そのAIがさらに賢いAIを設計するという自己強化のループが想定されています。そのプロセスを通じて知能レベルが急激に跳ね上がるイメージが、多くの懸念の出発点になっています。

― ケヴィン・ルース

遠い未来から「自分たち世代の問題」へ

少し前まで、AGIの到来は火星にホテルを建てるような、遠い未来の話として扱われていました。私がシリコンバレーで聞いていた予測でも、楽観的な人でさえ二〇四〇年ごろに来るかもしれないというトーンでした。そうした予測は、どこかでSF的な夢物語と現実のあいだに線を引く役割も果たしていたと思います。

ところが、ここ数年でその空気は大きく変わりました。私が取材した多くの研究者や技術者は、今では「ほとんどすべての認知タスクで人間を上回るシステムが、数年から十年未満のスパンで登場する」という見立てを口にします。莫大な資本がこの分野に流れ込んだこともあり、進歩のスピードは従来の延長線よりもはるかに速いと感じられています。そうした感覚の変化が、AIリスクに対する受け止め方を大きく動かしていると感じています。

― ケヴィン・ルース

前提が共有されることで見えるもの

このテーマでは、AGIと超知能をめぐるイメージの違いと、到来時期に関する感覚の変化が整理されている。AGIは単なる高性能ソフトウェアではなく、人間レベルの柔軟な知能を持つ新しい知性として構想され、その先には自己改善を続ける超知能の可能性が置かれている。かつては数十年先の話だと見なされていたものが、現在は自分たちの世代が直面し得る問題として語られつつある点も強調されている。

こうした前提が共有されることで、次のテーマで扱われるドゥーマーの議論が、単なる極端な悲観論ではなく、特定の技術的仮定とタイムラインの上に成り立つ見解として理解しやすくなる構成になっている。

ドゥーマーが描くAIによる人類絶滅シナリオ

ハリス氏は続くパートで、いわゆるドゥーマーと呼ばれる立場の研究者や思想家が、AIの未来をどのように見ているかを丁寧に紹介している。この立場に属する人びとは、汎用人工知能や超知能の登場を、人類文明にとって最大級の存在リスクとみなしている。中でもエリエゼル・ユドコウスキー氏、ニック・ボストロム氏、ジェフリー・ヒントン氏の名前が挙げられ、それぞれ異なる背景から、共通して「制御に失敗した場合、人類は存続できない」という見通しを語っている点が強調される。

制御に失敗したときのデフォルトは絶滅という見立て

私は長年、AIと人類の関係について悲観的な見通しを示してきました。多くの人は、AIの危険性を語るときに、うまくいかなかったとしても大きな混乱や経済的損失が起きる程度だろうと考えていますが、私の前提はそうではありません。私の見立てでは、制御に失敗した場合の自然な結末は、人類を含む多くの生物が排除されるというレベルの話になります。

未来の超高度なAIシステムは、単に誤作動するロボットではなく、極めて一貫した目的志向を持った最適化プロセスになると想定しています。その目的がどれほど無邪気に見えるものであっても、人間の価値観と完全に一致しなければ、人類はその最適化の邪魔になる存在として扱われてしまいます。そのような状況が一度生まれてしまえば、取り返しのつかない事態になると考えています。

― エリエゼル・ユドコウスキー

文明レベルの存在リスクとしてのAI

私はAIを、他の多くの技術とは質的に異なる存在だと考えています。蒸気機関やインターネットは巨大な影響を与えましたが、それらはあくまで人間の知能を前提にした道具でした。将来の超知能は、人間の知能そのものを凌駕し、意思決定の主導権を奪いかねない存在です。そのため、通常のリスク管理ではなく、文明レベルの存在リスクとして扱う必要があると主張してきました。

超知能が実現した世界では、人間の判断や倫理は、もはや最終決定権を持たない可能性があります。資源の配分から宇宙の利用に至るまで、多くの重要な選択が、人間ではなく人工のエージェントによって行われるかもしれません。そのとき、そのエージェントが人間の幸福や存続をどの程度重視するかが、文明の行く末を左右します。この不確実性こそが、私にとって最大の懸念事項です。

― ニック・ボストロム

アリの比喩が示す無関心による滅び

私はかつて、ディープラーニングの研究がもたらす恩恵に大きな期待を寄せていましたが、ここ数年で懸念の方が大きくなりました。特に気になっているのは、将来のシステムが人間をどのように位置付けるかという点です。人間は蟻塚の上に家を建てるとき、アリを害する意図がなくても、結果として巣を破壊してしまいます。将来の超知能にとっての人類も、似たような存在になり得ると感じています。

そのシステムが人類を嫌っている必要はありません。ただ単に、自分の目的を達成する過程で、人間の都合を配慮する必要がないと判断するだけで十分です。環境を再設計する際に、人類の生活圏が邪魔だと判断されれば、静かに排除の対象になってしまうかもしれません。この比喩を通して伝えたいのは、悪意ではなく無関心によって滅びるというシナリオが、十分に現実的であるという点です。

― ジェフリー・ヒントン

悲観論が投げかける問い

このテーマでは、ドゥーマーと呼ばれる立場の研究者が描く最悪シナリオが整理されている。ユドコウスキー氏は、制御に失敗した場合のデフォルトの結末として人類絶滅を見込むべきだと主張し、ボストロム氏はAIを文明レベルの存在リスクとして扱う必要性を強調する。ヒントン氏は、超知能が人類を積極的に敵視しなくても、単なる無関心によってアリのように扱う可能性を指摘している。

こうした悲観的な見通しは、技術的な前提やタイムラインの議論と結びつくことで、空想的な物語ではなく具体的なリスク評価として輪郭を持ち始める。ハリス氏は、これらの見解を極端な意見として切り捨てるのではなく、次のテーマで扱われる規制や国際協調の議論につなげるための重要な問題提起として位置付けている。

AI規制と国際協調をめぐるアプローチ

ハリス氏は、超知能による人類絶滅シナリオを紹介したうえで、「では社会として何をすべきか」という実務的な論点に話題を移している。このパートでは、AI開発を一時停止すべきだと主張する強い立場から、国際的な規制枠組みを模索する姿勢、さらに楽観と悲観のあいだで現実的に判断しようとするスカウト的な態度まで、多様なアプローチが並べられている。どの立場も、単に感情的に恐れているのではなく、具体的な制度設計や行動指針のレベルでAIと向き合おうとしている点が共通している。

開発停止という強いブレーキ案

私は現在のAI開発のスピードを考えると、少なくとも今は止めるべきだと率直に考えています。もちろん、これは産業界や研究コミュニティにとって非常に厳しい提案ですし、実現のハードルが高いことも理解しています。それでもなお、超知能がもたらし得るリスクの規模を考えれば、一度立ち止まって状況を見直すことが妥当だと思います。

具体的には、一定規模以上の計算資源を用いるAIモデルの訓練を、国際的な合意のもとで停止することをイメージしています。核開発や生物兵器の規制と同じように、人類全体の安全保障の観点から扱うべきだという発想です。企業の競争や国家間の対立があることは承知していますが、それでも長期的な存続の可能性を優先したいと感じています。

― コナー・レイヒー

国際ルールと監視体制の構想

私は全面的な開発停止だけが唯一の選択肢だとは考えていませんが、少なくとも国際的なルール作りと監視体制の構築は不可欠だと感じています。AI開発は一国の中だけで完結するものではなく、資本や人材、データが国境を越えて動く活動です。そのため、核拡散防止条約のような枠組みや、国際的な監視機関に近い仕組みが長期的には必要になると考えています。

たとえば、大規模データセンターの建設や、特定規模以上の計算資源の利用を国際的な登録制にする案があります。これにより、どの組織がどの程度の能力を持つモデルを訓練しているのかを、ある程度可視化できます。また、主要国が協調して最低限の安全基準やテストプロトコルを共有することで、最悪のリスクに対する早期警戒網を整えることも可能になると思います。

― ウィリアム・マカスキル

スカウトマインドセットとしての慎重な楽観

私はAIについて、極端な楽観論と極端な悲観論のどちらかを選ぶ必要はないと感じています。重要なのは、証拠や専門家の議論に耳を傾けながら、自分の見立てを柔軟に更新していく姿勢です。しばしばスカウトマインドセットと呼ばれるような態度ですが、自分の望む結論に合わせて情報を選ぶのではなく、世界が実際にどう動いているのかを誠実に見極めようとすることを大切にしたいと思っています。

AIは医療や教育、環境問題の解決などに大きな恩恵をもたらす可能性がありますが、同時に存在リスクの議論にも一定の根拠があります。私は、その両方を正面から認めたうえで、どの程度のリスクなら受け入れられるのか、どこから先は受け入れてはならないのかを、社会全体で対話していく必要があると感じています。その過程で、規制や国際協調も単なるブレーキではなく、安心して技術を活かすための条件として位置付けたいと考えています。

― リヴ・ボアリー

行動に落とし込むための視点

このテーマでは、AIリスクに対して社会が取り得るアプローチが、開発停止という強いブレーキ案から、国際協調と監視体制の構想、そしてスカウト的な慎重な楽観に至るまで、多層的に整理されている。レイヒー氏は「止める」という極端だが明快なメッセージを提示し、マカスキル氏は国際ルールと監視の枠組みを通じてリスクを管理しようとする姿勢を示す。ボアリー氏は、恩恵とリスクの両方を認めながら、証拠に基づき見立てを更新する態度の重要性を強調している。

ハリス氏は、これらの立場を単に対立する意見として並べるのではなく、「人類が一度きりの綱渡りをしている」という自らの比喩と結びつけながら、最終的にどのようなリスクポートフォリオを受け入れるのかという問題へと議論を進めている。次のテーマでは、ハリス氏自身の立場と、AIリスクを他の存在リスクと併せてどう位置付けるかが、より明確に語られていく。

サム・ハリスが考えるAIリスクの位置付け

最後のテーマでは、ハリス氏自身がAIリスクをどのように評価しているかが語られている。AIアクセラレーショニストが描くユートピア的な未来像と、ドゥーマーが警告する人類絶滅シナリオ、さらに規制や国際協調をめぐる具体的な提案を紹介したうえで、ハリス氏は「人類は細い綱の上を一度きりで渡っている」という比喩を用いながら、AIを核戦争や気候変動、生物兵器といった他の存在リスクと並ぶ問題として位置付けている。

綱渡りとしての文明とAI

私はAIの議論をするとき、人類文明全体が綱渡りをしている状況を思い浮かべます。原始的な社会から高度なテクノロジー文明へと進んできた歩みは、後戻りのできない一本の綱の上の軌跡のように感じられます。途中で危険そうに見える一歩を避けることはできても、綱そのものから降りることはできません。そしてAIは、その中でも特に足場が不安定に見える一歩だと考えています。

AIは、人類が初めて作ろうとしている自分より賢いものです。核兵器や生物兵器も非常に危険ですが、それらは人間の意思決定を前提にした道具でした。AIの場合は、意思決定そのものを担う存在を作ろうとしている可能性があります。そのため、私はAIを他の技術とまったく同じ枠組みで見ることには慎重でありたいと感じています。

― サム・ハリス

存在リスクのポートフォリオという視点

私はAIだけに注目しているわけではありません。核戦争、気候変動、パンデミック、生物兵器など、人類の存続を脅かし得る要因はいくつもあります。その意味で、人類はすでにかなり危ういポートフォリオを抱えていると感じています。その中にAIという新たなリスクを追加するとき、その性質や他のリスクとの相互作用を慎重に評価する必要があると思います。

私は、AIが必ず人類を滅ぼすと主張したいわけではありません。ただ、たとえ確率が低く見積もられるとしても、結果の規模が文明レベルである以上、期待値としては無視できないリスクになります。金融の世界でリスク管理を行うとき、極端な損失の可能性を完全に切り捨てることが許されないのと同じように、AIについても起こり得ないと決めつけることはできないと考えています。

― サム・ハリス

誇張と過小評価のあいだを歩くために

AIの危険性は誇張されているのかという問いは、ある程度まで正当なものだと思います。メディアの報道やネット上の議論では、センセーショナルな表現が好まれる傾向がありますし、最悪のシナリオだけが切り取られて語られることも少なくありません。その一方で、AIがもたらす深刻なリスクを、単なる空想や悲観的な予測として退けてしまう態度にも問題があると感じています。

私が重要だと考えているのは、自分の希望や恐れからいったん距離を取り、証拠や専門家の議論に基づいて見立てを更新し続ける姿勢です。AIの危険性が誇張されている可能性も、逆に過小評価されている可能性も、どちらも真剣に検討する必要があります。そのうえで、社会としてどの程度のリスクを受け入れ、どこから先は受け入れないと決めるのかを、できるかぎり透明な形で議論していくことが大切だと感じています。

― サム・ハリス

AIリスク議論への総合的な視点

このテーマでは、ハリス氏がAIリスクを他の存在リスクと同じ地平で捉えつつ、AI固有の特徴に注意を促している姿が描かれている。AIは、人類が初めて向き合う自分より賢い人工物であり、意思決定そのものを委ねかねない対象であるため、従来の技術とは異なる慎重さが求められると位置付けられている。一方で、危険性を強調し過ぎて思考停止に陥ることも避けるべきだとされ、証拠に基づいて見立てを更新し続ける態度の重要性が強調される。

AIの危険性は誇張か過小評価かという二分法を超えて、人類がどのようなリスクポートフォリオを受け入れ、どのようなガードレールを設けながら綱渡りを続けていくのかという問いが、ハリス氏の議論の核心として提示されている。この視点が、シリーズ全体を通じたAI議論への入口にもなっている。

出典

本記事は、YouTube番組「AIの危険性は誇張されているのか（Making Sense #435）」（Making Sense with Sam Harris／【公開日】公開）の内容をもとに要約しています。

読後のひと考察──事実と背景から見えてくるもの

AIの加速か制御かという対立は、どこまで事実に支えられているのか。本稿では国際機関の統計や専門家調査を手掛かりに、AIアクセラレーションと存在リスク論を整理します。

AIをめぐる議論では、「できるだけ速く開発を進めるべきだ」という加速志向と、「制御に失敗すれば文明の存続が危うい」という強い懸念が、しばしば真っ向からぶつかります。その背後には、技術進歩のスピード、リスクの確率評価、そしてどの時間軸を重視するかといった前提の違いがあります。

ただし、こうした価値観の違いだけを眺めていても、議論は感情的な対立に傾きやすくなります。そこで本稿では、国際機関や研究者によるデータ・制度設計の動きを手掛かりに、「AIを加速させたい立場」と「存在リスクを重く見る立場」がどのような現実認識の上に立っているのかを整理し、読者が自分の立ち位置を考えやすくすることを目指します。

問題設定／問いの明確化

近年のメディアでは、AIの将来像をめぐる議論が「加速主義」と「ドゥーマー（悲観派）」という二つの陣営として描かれることが増えました。加速志向の側は、急速なAIの発展が医療や気候変動、安全保障など人類が抱える大問題の解決を大きく前進させると期待し、将来世代の利益のためにもスピードを優先すべきだと論じます［1］。一方で悲観的な立場は、高度なAIが制御不能になった場合のリスクを文明レベルの問題として捉え、「最悪シナリオの期待値」を理由に強いブレーキを主張します［2］。

この対立は、単純な楽観／悲観の違いではありません。どの程度の確率で、どの規模の損失が起こり得るのか、そして「現在の具体的な被害」と「将来の極端な被害」のどちらに重点を置くべきかという、リスク評価の哲学が異なっていると考えられます。さらに、AIを既存の技術の延長線として扱うのか、それとも「別種の知性」とみなすのかによっても、議論の前提は大きく変わります。

本稿での問いは、「どちらの陣営が正しいか」を決めることではありません。むしろ、実際に得られている統計・調査・国際ルールの情報から、どのような共通前提と論点のズレが見えてくるのかを明らかにすることにあります。

定義と前提の整理

まず、加速志向の世界観は、AIを「人類の問題解決を加速する汎用技術」として捉える傾向があります。ある論考では、こうした立場が「AIによる急速な科学的進歩が、病気や貧困、環境問題の克服に貢献する」という期待を強く抱き、長期的な利益を理由に慎重論を乗り越えようとする姿勢として説明されています［1］。別の分析では、技術加速を求める陣営と、リスクを理由に慎重さを求める陣営との対立を、社会全体の「イノベーションと規制の二重の要請」として整理しています［2］。

これに対し、存在リスクを重く見る立場は、「汎用人工知能（AGI）」や「超知能」の実現可能性を前提にします。この前提では、AIは単なる道具ではなく、意思決定の主要な担い手になる可能性を持つ存在として捉えられます。その場合、たとえ確率が低くても、文明規模の損失を伴うリスクは無視できないという判断が生まれやすくなります［2］。

こうした対立の中で、国際機関は「人間中心で信頼できるAI」という共通の価値軸を提示しています。経済協力開発機構（OECD）のAI原則は、AIは人と地球の幸福に資すること、法の支配と人権・民主的価値を尊重すること、透明性と説明可能性、堅牢性・安全性、そして開発者・利用者の説明責任を求めています［3］。つまり、「加速か停止か」という二者択一ではなく、「どうすれば人間の価値を守りながら活用できるか」という枠組みが、すでに政策レベルでは打ち出されていると言えます。

エビデンスの検証

次に、現在までに得られているデータや調査から、AIが社会にもたらしている影響と、専門家の予測を確認します。まず労働市場については、OECDの雇用アウトルックなどが、AIが一部のタスクでは人間労働の代替となり、別のタスクでは補完として機能しうることを指摘しています。ある調査では、製造業や金融業でAIを導入した職場で、仕事満足度や健康、賃金が改善した一方、プライバシー侵害や業務強度の上昇、バイアスへの懸念も報告されており、「メリットとリスクが同時に存在する」とまとめられています［4］。また、AIが新しい職種を生み出す一方で、特定の非定型認知業務に対して自動化リスクを高める可能性も示されています［5］。

将来のAI能力とリスクに関する専門家の見立ても重要です。2024年に発表された大規模な調査では、トップ会議に論文を出したAI研究者2,778人が、AIの進歩と影響について予測を行いました。その集計によれば、「あらゆるタスクで人間を上回るAI」が実現する時期について、10％の確率で2027年まで、50％の確率で2047年までに到来すると見積もられています［6］。同じ調査では、回答者の多くが長期的にはAIの便益を「おおむね良い」と見ている一方で、「人類絶滅に匹敵する極端に悪い結果」の確率に10％以上を割り当てた研究者も4〜5割程度存在しており、大きな不確実性が共有されていることが分かります［6］。

先行する別の専門家調査でも、先進的AIの長期的影響が「極めて悪い（人類絶滅など）」となる確率について、中央値が5％と評価され、多くの研究者が現在よりもAI安全研究を優先すべきだと回答しています［7］。これらの結果は、「AIは単なる便利な道具にとどまる」と考える見方と、「文明レベルのリスクを孕む」と見る見方が、専門家コミュニティ内部でも共存していることを示しています。

同時に、AIはすでに短期的なリスクとしても注目されています。世界経済フォーラムの「グローバル・リスク報告書」では、生成AIによって強化された偽情報・誤情報が、今後数年における最も深刻な世界的リスクとして挙げられています。報告書は、大規模言語モデルなどにより、洗練されたフェイクコンテンツが技術的スキルの低い人でも作成できるようになり、選挙の正当性や社会の分断を損なう危険性があると警告しています［8］。

欧州の政治研究では、偽情報とディープフェイクが選挙過程と民主的制度への信頼を損なう重大な脅威になりうること、警告表示などの対策だけでは有権者の見抜く力を十分に高められないことが指摘されています［9］。さらに、国連の専門機関である国際電気通信連合（ITU）は、AI生成の画像・動画・音声が選挙干渉や金融詐欺に利用されるリスクを踏まえ、コンテンツの真正性を確認するためのデジタル検証ツールや、動画への透かし標準の整備といった国際的な対策を提言しています［10］。

これらのエビデンスからは、「AIがすべてを自動化する未来」がまだ実現していない一方で、労働・情報空間・安全保障などにおいて、既に具体的な影響とリスクが立ち上がっていることが読み取れます。「AIを急いで進めればすべて解決する」という単純な物語も、「存在リスクだけを見てすべてを止めるべきだ」という極端な結論も、現状のデータだけでは十分に裏付けられてはいないと言えます。

反証・限界・異説

AI存在リスクを強調する議論に対しては、「将来の終末シナリオばかりが注目され、現在すでに生じている被害への対応がおろそかになる」という批判がしばしば向けられます。ある科学誌の社説は、AIがもたらす監視・差別・偽情報といった具体的な問題よりも、「人類滅亡」イメージが過度に消費されていると指摘し、その背景には大手テック企業の広報戦略があるのではないかと論じています［14］。別の論考も、実証的な研究に基づかない「終末論」が、規制の議論を現実から引き離してしまう危険性を指摘しています［15］。

しかし、この「存在リスク論は注意をそらすだけだ」という見方自体も、最近の研究で検証されつつあります。2025年に発表された行動実験の研究では、オンライン調査参加者1万800人に対し、「AIによる人類滅亡リスク」を強調するニュース、「現在のバイアスや監視などの被害」を強調するニュース、「AIの利点」を強調するニュースをそれぞれ読ませたところ、いずれの場合でも人々は存在リスクよりも現在の被害の方に強い懸念を示したと報告されています［16］。さらに、存在リスクを強調する記事を読んだ参加者でも、現在の被害への心配はほとんど減らず、むしろ全体としてAIリスク全般への関心が高まる傾向が示されています［16］。

哲学的な分析も、この「注意そらし」仮説を再検討しています。ある論文は、メディアや政策議論に見られる「存在リスク論は現在の被害から注意を奪う」という主張を整理し、その前提を一つずつ検証しています。その結果、投資の増加やテック企業の影響力拡大などの現象は観測されるものの、それらが存在リスク論そのものによって引き起こされているという因果関係は確認されていないこと、また現在の規制・立法の多くが、ディープフェイクや差別的アルゴリズムといった近接リスクへの対応を含んでいることを指摘しています［17］。この分析は、「現在の被害への取り組み」と「将来の極端リスク研究」が必ずしもゼロサムではなく、同時並行で進め得るという見方を提示しています［17］。

つまり、「終末論は危険だから一切語るべきでない」と断じるのも、「存在リスクだけが重要だ」と主張するのも、それぞれに限界があります。重要なのは、どの議論がどの程度のエビデンスに基づいているのか、またどの社会課題にどれだけの資源を配分するのかを、透明な前提の下で検討することだと考えられています。

実務・政策・生活への含意

では、こうした議論を踏まえて、政策や企業、個人レベルではどのような方向性が見えてくるのでしょうか。国際的には、既に「加速」と「ガードレール」の両立を目指す枠組みづくりが進んでいます。OECDのAI原則は、包摂的成長や持続可能な開発、人権の尊重を掲げると同時に、各国政府に対して研究開発投資の促進や人材育成、国際協調の強化などを推奨しており、「責任ある形でのAI活用」を前提としたイノベーション促進を打ち出しています［3］。

欧州連合のAI法（AI Act）は、世界で初めて包括的なAIの法的枠組みとして、リスクベースの規制を採用しました。多くのAIシステムはリスクが低いものとして扱いつつ、信用スコアリングなど「許容できないリスク」は禁止し、医療・インフラ・雇用などに用いられる「高リスク」システムには、データ品質や透明性、ガバナンス、説明責任などの厳格な要件を課しています［11］。解説によれば、高リスクAIには人による監督が義務付けられ、ログ記録や事後モニタリング、重大事故の報告といった仕組みによって、運用後も継続的にリスクを管理することが求められます［12］。

また、国連レベルでは、各国政府・専門家から構成されるハイレベル・アドバイザリーボディが、AIガバナンスの国際的な枠組みについて検討を進めています。中間報告では、AIが持つSDGs達成や気候変動対策、医療の前進などのポジティブな可能性とともに、サイバーセキュリティやプライバシー、文化的多様性へのリスクが指摘され、既存制度の補完として新たな国際機関やルール整備が必要になり得ると論じられています［13］。

こうした動きは、「AIの開発を一律に止める」のでも、「完全に市場に任せる」のでもなく、リスクが高い用途ほど厳しい規制と監視を行いながら、社会的に望ましい用途への応用を後押しするという「中道」の選択肢が現実的な政策オプションとして浮上していることを示します。労働市場についても、AIがタスクを代替するだけでなく、補完し、新しい仕事やスキル需要を生み出すことが分かっており［5］、教育や再訓練、AIリテラシー向上を通じて移行を支えることが重要だと考えられています。

個人レベルでも、AIが生成した情報の真偽を見抜く力や、自分のデータや権利がどのように扱われているかを理解する力が求められます。ITUや研究者は、ディープフェイク対策としてコンテンツの出所情報の表示や、利用者のリテラシー向上の必要性を訴えています［10］。これは、存在リスクの議論とは別に、今日の生活を守るうえで極めて実務的な課題です。

まとめ：何が事実として残るか

ここまでの検証から、いくつかの点は比較的安定した事実として整理できます。第一に、専門家コミュニティ内部でも、先進的AIの長期的影響について楽観と悲観が混在しており、相応の割合の研究者が「極端に悪い結果」の可能性を無視できないと見ている一方で、多くは長期的な便益も同時に見込んでいるという複雑な評価構造が存在します［6,7］。

第二に、AIはすでに労働市場や情報空間、民主主義に対して具体的な影響を与えており、仕事の質の改善や新たなサービスといった恩恵と同時に、監視・バイアス・偽情報・ディープフェイクなどのリスクが顕在化しています［4,5,8–10］。これらは「遠い未来」のSFではなく、現在進行形で対応が求められている課題です。

第三に、国際機関や各国政府は、AIを全面的に加速するのでも全面禁止するのでもなく、「人間中心」「リスクに応じた規制」「国際協調」といった原則のもとで制度設計を進めています［3,11–13］。これは、加速志向と存在リスク論のどちらか一方だけを採用するのではなく、両者が指摘するポイントを踏まえてガードレールを築こうとする試みと見ることができます。

最後に、存在リスク論そのものについても、「現在の被害から注意をそらすだけだ」という批判は、少なくとも現時点の実証研究では十分に裏付けられていないことが示されつつあります［16,17］。人々は依然として、差別や監視、偽情報といった身近なリスクに強い懸念を抱いており、極端な未来シナリオへの関心は、それらの問題意識を必ずしも弱めてはいないようです。

とはいえ、どの程度のリスクを許容し、どの分野にどれだけの資源を振り向けるのかという判断は、依然として社会全体の価値選択に委ねられています。本稿で見てきたデータや国際ルールは、その選択を行う際の「共有できる土台」を提供するものに過ぎません。AIをめぐる議論は今後も続きますが、加速と制御、現在と未来のリスクを対立軸としてではなく、どのように両立させるかという観点から検討を深めていく必要があると考えられます。その意味で、AI時代のリスクとガバナンスについては、今後も継続的な検証と対話が求められる課題として残り続けるでしょう。

本記事の事実主張は、本文の［番号］と文末の「出典一覧」を対応させて検証可能としています。

出典一覧

Weitzman, M.（2024）『Two warring visions of artificial intelligence』 Prospect Magazine　公式ページ
Carvão, P.（2024）『The Dual Imperative: Innovation and Regulation in the AI Era』 arXiv / Computers and Society　公式ページ
OECD（2019）『Recommendation of the Council on Artificial Intelligence（OECD Principles on AI）』 OECD Council Recommendation　公式ページ
OECD（2023）『OECD Employment Outlook 2023: Artificial Intelligence and the Labour Market』 OECD Publications　公式ページ
OECD（2021–2025）『Labour markets – AI in Work, Innovation, Productivity and Skills』 OECD.AI Policy Observatory　公式ページ
Grace, K. et al.（2025）『Thousands of AI Authors on the Future of AI』 Journal of Artificial Intelligence Research 84:9　公式ページ
AI Impacts（2022）『2022 Expert Survey on Progress in AI』 AI Impacts Project Report　公式ページ
World Economic Forum（2024）『The Global Risks Report 2024』 WEF / AP News要約　公式ページ
Ecker, U. K. H. et al.（2024）『AI-generated misinformation in the election year 2024: measures of European Union』 Frontiers in Political Science 6　公式ページ
International Telecommunication Union（2025）『UN report urges stronger measures to detect AI-driven deepfakes』 Reuters要約　公式ページ
European Commission（2024）『AI Act – The first EU regulatory framework for Artificial Intelligence』 Shaping Europe’s Digital Future　公式ページ
ISACA（2024）『Understanding the EU AI Act』 ISACA White Paper　公式ページ
Nordås, H. K.（2024）『Governing AI for Humanity: Thoughts on the UN AI Advisory Body Interim Report』 Centre for Economic Policy Research Blog　公式ページ
Nature Editorial（2023）『Stop talking about tomorrow’s AI doomsday when AI poses risks today』 Nature 620, 16–17　公式ページ
Hanna, A. & Bender, E. M.（2023）『AI Causes Real Harm. Let’s Focus on That over the End-of-Humanity Hype』 Scientific American　公式ページ
Hoes, E. & Gilardi, F.（2025）『Existential risk narratives about AI do not distract from its immediate harms』 Proceedings of the National Academy of Sciences 122(16): e2419055122　公式ページ
de Lima, R. C. et al.（2025）『Examining Popular Arguments Against AI Existential Risk』 arXiv preprint　公式ページ

AI要約ノート｜人気動画を要約・解説

「YouTube動画要約専門ブログ」