一般社団法人社会構想デザイン機構
ISVD-LAB-002批判的分析
2.2.7

アルゴリズムが生む新しい無知 — フィルターバブルとエコーチェンバー

推薦アルゴリズム、検索エンジン最適化、SNSのフィード設計が、利用者の「見ないもの」を自動的に決定する。意図的な設計ではなく最適化の帰結として生じるこの構造的無知を、注意の操作と複雑性の武器化の複合メカニズムとして分析する。

横田 直也
約11分で読めます

何が起きているのか

2019年、ニューヨーク・タイムズの調査報道チームは、YouTubeの推薦アルゴリズムが視聴者をより過激なコンテンツへと段階的に誘導する「ラビットホール」効果を報じた。温和な保守的コンテンツを視聴した利用者に対して、アルゴリズムは視聴時間を最大化するために、より感情的に強い——そしてしばしばより過激な——コンテンツを推薦し続ける。

この現象は、YouTubeだけの問題ではない。Googleの検索結果はユーザーの検索履歴とロケーションに基づいてパーソナライズされている。同じ検索語を入力しても、異なるユーザーには異なる結果が表示される。X(旧Twitter)の「For You」タブは、ユーザーのエンゲージメントパターンに基づいてコンテンツを選別する。TikTokの推薦エンジンは、数百ミリ秒単位のスクロール速度から「関心」を推測し、フィードを構成する。

これらのシステムに共通するのは、利用者に何を見せないかを自動的に決定している という点である。推薦アルゴリズムは、利用者の「見るもの」を選択することで、同時に「見ないもの」を決定する。しかし利用者はこの選択を認知できない。自分のフィードに何が含まれていないかを知る方法が、原理的に存在しないからである。

Proctor(2008)の無知学は、無知の意図的生産を分析の中心に据えてきた。しかしアルゴリズムによる無知は、誰かが意図的に生産しているわけではない。最適化の帰結として、構造的に生じている。これは無知学の理論的枠組みに対する重要な挑戦である。

アルゴリズムによるフィルターバブルと無知生産
(図解準備中)

図: フィルターバブルによる無知生産

背景と文脈

Pariserのフィルターバブル論

Eli Pariser(2011)は『The Filter Bubble: What the Internet Is Hiding from You』において、パーソナライゼーション技術がもたらす情報環境の断片化を最初に体系的に論じた。Pariserの中心的な主張は、アルゴリズムによるフィルタリングが 利用者の自覚なしに 情報環境を狭窄化するという点にある。

Pariserは三つの特徴を指摘した。第一に、フィルターバブルの中にいる利用者は、バブルの存在を認知できない。テレビの偏向報道であれば、他局に切り替えることで偏りを認識できる。しかしパーソナライズされた検索結果やフィードには、「フィルターされていない版」が存在しない。第二に、利用者はフィルターバブルに入ることを選択していない。利用者が選んだのはサービスの利用であって、情報のフィルタリングではない。第三に、フィルターバブルは個別化されている。同じバブルの中にいる人はいない。

Pariserの分析が出版から15年を経た現在もなお有効であるのは、問題の本質が技術ではなく ビジネスモデル にあるからである。注意経済(attention economy)において、利用者の滞在時間とエンゲージメントが収益に直結する。アルゴリズムは「利用者が見たいもの」を推薦するよう最適化されるが、「見たいもの」は必ずしも「知るべきもの」ではない。

Firehose of Falsehoodとの接続

Paul & Matthews(2016)がRAND Corporationで分析した「Firehose of Falsehood(虚偽の消火ホース)」モデルは、国家によるプロパガンダ戦略を対象としていた。しかしその4特性——大量、迅速、一貫性を気にしない、事実であることを要求しない——は、アルゴリズムが作り出す情報環境にも当てはまる。

両者の決定的な違いは 意図の有無 である。Firehose of Falsehoodは意図的な攻撃であり、明確なアクター(国家、情報機関)が存在する。一方、アルゴリズムによる情報環境の劣化には、攻撃者がいない。Google、Meta、ByteDanceのエンジニアは「偏った情報環境を作ろう」としているわけではない。彼らが最適化しているのは利用者のエンゲージメントであり、情報環境の劣化はその 副作用 である。

Bergstrom & Westのでたらめ分析

Bergstrom & West(2020)は『Calling Bullshit: The Art of Skepticism in a Data-Driven World』において、データが溢れる環境においてこそ「でたらめ」が増殖するメカニズムを分析した。

彼らの分析で重要なのは、統計的でたらめ(statistical bullshit) の概念である。かつてのでたらめが修辞的技法に依存していたのに対し、現代のでたらめはデータの恣意的な選択・加工・提示によって「科学的」な外装を纏う。アルゴリズムはこの統計的でたらめの拡散を加速する。なぜなら、エンゲージメントを最大化するコンテンツは、しばしば感情を揺さぶる——そして事実関係が不正確な——コンテンツだからである。

McIntyreのポスト真実論

McIntyre(2018)は『Post-Truth』において、ポスト真実(post-truth)が「事実が存在しない」状態ではなく、「事実がどうでもよくなる」状態 であると定義した。この定義はアルゴリズムによる無知の理解に不可欠である。

フィルターバブルの問題は、利用者が「嘘を信じる」ことではない。問題は、情報源の信頼性や事実の正確性を 評価する動機と能力の両方が減退する ことにある。自分のフィードに流れてくる情報が心地よく、自分の信念を確認するものであるとき、それが事実かどうかを確認するインセンティブは低い。

構造を読む

アルゴリズム的無知の3つの特徴

アルゴリズムによって構造化される無知には、従来の無知生産メカニズムとは質的に異なる3つの特徴がある。

特徴1: 意図なき構造化(Emergent Intentionality)

タバコ産業の疑念製造(doubt manufacturing)には明確な意図があった。メモが残り、内部文書が裁判で公開された。しかしアルゴリズムによる情報環境の偏向には、「偏向させよう」という意図が存在しない。

推薦アルゴリズムの目的関数は典型的には以下のいずれかである。

  • エンゲージメント最大化: クリック率、視聴時間、コメント数、シェア数
  • ユーザー満足度: セッション継続率、翌日リテンション率
  • 広告収益最大化: 広告表示回数、クリック単価

これらの目的関数には「情報の多様性を低下させよ」という命令は含まれていない。しかし、エンゲージメントを最大化する最も効率的な方法が「利用者の既存の関心と信念を強化するコンテンツを提示すること」であるとき、結果として情報の多様性は低下する。

本研究室のコーディング軸では、この種の意図性を emergent(創発的) と分類する。意図的(strategic)でもなく、単に構造的(structural)でもない。個々のシステム設計判断の集積から、設計者が予期しなかった帰結が創発する。

特徴2: スケールの桁違い

従来のattention-controlメカニズム——たとえばメディアのアジェンダ設定——は、数千人の記者・編集者が数千万の受け手に影響を与えるという規模で作動していた。アルゴリズムは、数百人のエンジニアが設計したシステムが 数十億のユーザーに同時に 作用する。

このスケールの差は、量的な違いにとどまらない。質的な変化を生む。従来のメディアでは、編集判断に対する批判・監視・規制の制度が(不完全ながら)存在した。報道倫理綱領、BPO(放送倫理・番組向上機構)、記者クラブ——いずれも問題を抱えてはいるが、少なくとも accountability(説明責任)の回路が存在した。

アルゴリズムには、この accountability の回路がほぼ存在しない。推薦アルゴリズムの内部動作は企業秘密として保護され、外部からの検証は困難である。利用者は自分のフィードがどのように構成されているかを知る手段を持たない。規制当局はアルゴリズムの技術的複雑さに追いつけていない。

特徴3: 不可視性——利用者は自分が何を見ていないかを知らない

これがアルゴリズム的無知の最も根本的な特徴である。

伝統的なメディアの偏向は、原理的には検出可能だった。新聞Aと新聞Bを読み比べれば、報道の違いがわかる。テレビ局を切り替えれば、扱う話題の差がわかる。利用者は、少なくとも「他の見方がある」ことを認識できた。

アルゴリズムによるフィルタリングでは、この比較が原理的に不可能である。利用者のフィードは完全に個別化されており、「フィルターされていないバージョン」は存在しない。自分が見ているものが全体のどの部分にあたるのか、何が除外されているのか——これを知る方法がない。

この不可視性は、Proctor(2008)の無知学にとって理論的に重要な含意を持つ。Proctorの枠組みでは、戦略的に作られた無知には「暴露」による対抗が可能だった。内部文書の公開、内部告発、調査報道——これらによって「隠されていた知識」が表に出る。しかしアルゴリズム的無知には「隠されている知識」が特定の場所に存在するわけではない。無知は分散的に、リアルタイムに、利用者ごとに異なる形で生産されている。

attention-controlとcomplexity-weaponizationの複合

本事例をコーディング軸で記述すると、attention-control(注意の操作)complexity-weaponization(複雑性の武器化) の複合メカニズムとなる。

attention-controlは明らかである。アルゴリズムは利用者の注意を特定のコンテンツに向け、他のコンテンツから逸らす。

complexity-weaponizationは、より間接的に機能する。推薦アルゴリズムの技術的複雑さそのものが、利用者・規制当局・研究者による理解と介入を困難にしている。「アルゴリズムがどう動いているかわからない」という状態は、「アルゴリズムに問題があるかどうか判断できない」状態を生む。複雑性そのものが、批判と規制に対する防壁として機能する。

ただし注意すべきは、この「複雑性の武器化」が意図的なものではないという点である。アルゴリズムが複雑なのは、問題を単純に解けないからである。しかし結果として、その複雑さが accountability を阻害している。ここでもまた、emergent intentionality の構造が見て取れる。

emergent intentionalityの理論的意義

本事例が無知学の理論に対して持つ最も重要な含意は、emergent intentionality(創発的意図性) という概念の必要性である。

Proctor(2008)の枠組みは、主にstrategic(意図的)な無知生産——タバコ産業、化石燃料産業——を分析対象としてきた。McGoey(2019)はこれをstructural(構造的)な方向に拡張し、「知らないふり」が権力構造に内在する機能であることを示した。

アルゴリズム的無知は、この系譜のさらに先にある。誰も意図しておらず、構造に内在するわけでもない。個々の最適化判断の集積から創発する。しかしその帰結——情報環境の偏向と断片化——は、戦略的に生産された無知と同等かそれ以上の社会的影響を持つ。

本研究室がintentionalityの軸に「emergent」を設けた理由がここにある。デジタル環境における無知の生産を分析するためには、strategic-structuralの二項では不十分であり、第三の範疇が理論的に必要である。

本研究室の問い

この事例分析は、以下の問いを提起する。

  • emergentな無知生産に対して、従来の「暴露」型の対抗戦略は有効か。暴露すべき「隠された意図」が存在しない場合、何を対抗の起点とするか
  • アルゴリズムの transparency(透明性)は、問題の解消に十分か。アルゴリズムの動作原理が公開されたとしても、数十億の個別化されたフィードを監視する能力は誰にもない
  • 「情報の多様性」を目的関数に組み込むことは技術的に可能か。可能だとして、それは企業のビジネスモデルと両立するか
  • 利用者個人のリテラシー向上は、構造的な問題に対してどこまで有効か。「自分のバブルに気づく」ことは、バブルを脱することと同義か

これらの問いは、C8(メディアのアジェンダ設定と不可視化)と対になる。伝統的メディアのattention-controlとアルゴリズムのattention-controlは、同じメカニズムの異なるスケールでの表出であり、両者の比較分析が横断テーマ「フィルター構造」の核心をなす。

参考文献

Calling Bullshit: The Art of Skepticism in a Data-Driven World

Bergstrom, C. T. & West, J. D.. Random House

原文を読む

The Russian 'Firehose of Falsehood' Propaganda Model

Paul, C. & Matthews, M.. RAND Corporation, Perspectives PE-198

原文を読む

Post-Truth

McIntyre, L.. MIT Press

原文を読む

Agnotology: The Making and Unmaking of Ignorance

Proctor, R. N. & Schiebinger, L.. Stanford University Press

原文を読む

研究への参加・ご支援

ISVDの研究にご関心のある方は、協力会員としてのご参加やプロジェクトへのご支援をお待ちしております。