Skip to main content

700のWebサイトに潜むバイアスを3種のLLMが解析

この作品は、Webサイトの女/男らしさについてAIに評価させ、一覧化することで、そこに内包されたテクノロジーが内包するジェンダーバイアスを視覚化させるという作品です。人類のアウトプットの集積であるAIの評価を分析を通じて、ジェンダー表象のあり方を再考し、日常に浸透するテクノロジーの中に潜む隔たりを体感的に問いかけています。

今回、Webサイトをトピックとして選んだ理由は、非常に幅広く、年代やトピックを問わずに多種多様なものが存在しているからです。世界ではほぼ無限とも言える数のWebサイトが作られており、自主的にも調査しやすい媒体です。また、あるターゲットをもとにしたWebサイトのデザインやアニメーション、構成などは全てコーディングによって作られるため、主観的な要素でもそのコードを通じて客観的に分析できるという利点があります。例えば、フライヤーやポスターのような物理的な媒体では、データへの変換は容易ではないため、そのデザインや内容を分析することは難しいかもしれません。しかし、Webサイトであれば、簡単に膨大なデータを収集でき、かつ先ほど述べたような客観的な分析が可能です。

今回の調査では、Webサイトのスクリーンショットなどの画像ではなく、URLをデータとして使用したことで、効率的にデータを集められました。Webサイトの解析は、URLを指定すると、それをAIが認識・解析する形になっています。AIは文字認識や画像認識を通じてデータを処理し、内容やデザイン、ターゲット層の特性を考慮し、私たちの考案したプロンプトを用いて、「女らしさ」「男らしさ」をスコアリングさせました。「スコア」という言葉を使っているのは、展示では表示していませんが、数値データを出させているためです。

今回使用した大規模言語モデル(LLM)は、ChatGPT、Gemini、Perplexityの3つです。この3つのLLMにはそれぞれの特性があり、ChatGPTでは女らしさ/男らしさに対して非常に高いスコア(90点など)が出やすい一方、Geminiは50点から80点程度の範囲内で結果を出す傾向があり、より安定したスコアを示しました。Perplexityはさらにニュートラルな結果を目指しているのが特徴です。

まず100件のWebサイトをサンプリングした後に、6人のメンバーでひとり100件ずつ収集して、計700件のWebサイトを調査対象としました。各々の検索履歴や、男女らしさのスコアリングがばらけるように意識して集めたものなので、プロセスの中で人間による恣意的な介入があるのは唯一この部分です。

評価結果をまとめた分布では、横軸がサンプル数、縦軸がAIが出力した点数を示しています。Webサイトを収集するにあたって、真ん中(中立的な位置)を目指していましたが、6割以上が男性らしいと評価されるサイトになりました。

当初は、誰もが自分の中に抱えているバイアスを実感してもらうような展示がいいのではないかと考えていました。例えば、「女性の役員比率が少ないのは問題だ」というような、バイアスを意識させる作品です。しかし、東大のメンバーたちから多くの意見をもらい、「自分たちが展示を通じてバイアスの再生産をしてしまってはいけない」という考えに至りました。そこから学んだことで、作品制作に活用する新たな視点が得られました。

他にも、AIに極端に偏ったWebサイトを生成させるトライアルも試みていました。「完全に女性向けのサイト」や「完全に男性向けのサイト」を作らせるというものです。しかし、AIはどちらかに振り切るのではなく、ニュートラルな方向に調整しようとする傾向が強く、結果的に極端なサイトを生成することはできませんでした。この現象は興味深い発見です。使用した大規模言語モデル(LLM)の中でも、特にGeminiに顕著に見られました。

AIにもバイアスはある

ーー700のWebサイトに対するAIのスコアリングを受けて、どのような所感を持ちましたか?

評価結果を一覧化してみると、左側(女らしさのスコアが高い)のWebサイトには画像やイラストが多く配置され、右側(男らしさのスコアが高い)のWebサイトは文字中心の構成になっている傾向がありました。この違いについて、鑑賞者からは「右側は堅めの内容を持つサイトが多く、左側はより視覚的なイメージを重視している」という意見も挙がりました。

AIが女らしさ/男らしさを判断する際、内容とデザインの両面からターゲット層を分析しているようです。Webサイト内のテキストや掲載されている製品の情報などから、AIが独自に文脈や内容を解釈して、補足的な情報を生成して付加するケースもありました。ブランドや商品に対するAIの先入観や前提条件が、その解析結果に影響を与えているようにも思います。この点では人間のバイアスと一致する部分もあり、大変興味深かったです。一方で、デザイン要素に基づいて判断するケースもあります。特に行政や研究室のウェブサイトなど、明確なターゲットが定められていないWebサイトに関しては、デザインから判断されることが多いように感じました。

こうした分析をさらに進めて、さらに多くのWebサイトを収集したり、リアルタイムで更新されるような仕組みを構築できれば、より多くの発見が期待できるのではないかと思います。

ーーそれぞれどのようなWebサイトが女性的もしくは男性的と評価されましたか?

ニュートラルに見えるWebサイトに関しては、「デザイン性や内容を考慮してどちらかに寄せてください」と指示をすると、多くの場合で男性寄りになる傾向が見られました。例えば、行政のWebサイトなどです。しかし、神社・仏閣のような伝統的な場所の場合は中立的な評価を予想していましたが「伝統的」という特性が、女性的として判断されることがあるようです。他にも茶道のような文化を扱うようなものも、女性的とされます。AIによるこの評価基準には、人間が持つバイアスとは異なる側面があると感じます。

メンズファッションブランドのWebサイトは主にシンプルで洗練されたデザインが特徴的ですが、これこそが一般的に男性らしい「力強さ」や「知性」を象徴する要素として評価されます。温泉観光サイトでは女性寄り、美術系サイトも女性寄りに判断される傾向があります。文化や歴史、キャラクターといった要素も関係しています。かわいらしいキャラクターが登場するアニメやゲーム、おもちゃなどのコンテンツは、女性的であるという評価を得ることが多いです。

対して、食事や出版に関連する要素は中性的とされることがあります。このような判断は、女性的・男性的という一般的な評価の枠から外れる面白い例です。

商品を取り扱うウェブサイトでは、価格帯がその評価に影響することがあります。たとえば、男性向けサイトには腕時計やスポーツカーといった高価な商品が多く見られるのに対し、女性向けサイトでは生活用品など、手が届きやすい商品が並ぶ傾向があります。このような配置を見て、資本主義の構造が反映されていると実感する方もいます。行政のWebサイトなどにも、やや男性的な評価が多く出ます。

また、LLMの種類を変更すると、スコアの結果が大きく変わることがあります。たとえば、あるモデルでは女性的とされたものが、別のモデルでは男性的と評価される場合がありました。こうした違いは、それぞれのLLMが持つバイアスだと予想されます。

一覧データが浮き彫りにするそれぞれの違和感

さらに、AIはユーザーが気づいていないバイアスを可視化してくれる点が興味深いです。AIの評価にはさまざまな要素が絡んでおり、理解するのは容易ではありませんが、考察する価値があります。ジェンダーバイアスを作品の中であえて明示的に表現することで、鑑賞者に違和感を覚えさせる狙いがあります。その違和感が、鑑賞者自身の中に潜むバイアスや固定観念を浮き彫りにするのではないかと考えています。

私たちにとっても、自分自身の中にある価値観の蓄積や意識の偏りを自覚できたことが、今回の大きな発見だったと思います。それ自体は当たり前のことかもしれませんが、具体的に物を並べてみることで、否応なく自分たちの意識の傾向に気づかされました。これは新しい発見というよりも、潜在的に存在していたものが可視化された結果だと思います。

ーーデータを総覧できるようなプレゼンテーション方法にしたのはなぜですか?

今回の展示では、インターフェースをシンプルにし、つまみと画面だけにしたことで、体験者が自分自身の認識と向き合わざるを得ない環境を作りました。このプロセスは、文章化してしまうと単純に思えるかもしれませんが、実際の体験として表現することで、より深い気づきにつながったと思います。グラフや数値化されたデータではなく、ウェブサイトの一覧を見るというデータの鑑賞体験は、自分の認識や思考を動員するきっかけになったことも印象的でした。

普段、自分が見ているサイトがどれほど偏っているかを自覚する良い機会にもなりました。他の参加者が選んだ100件のサイトを見ることで、「こんなサイトもあるのか」と、普段自分が接している情報との違いに驚かされました。

ーー今回の手法を通じて、今後どのような展開の可能性が考えられますか?

今回はジェンダーという切り口でしたが、軸を変えればまた異なる興味深い結果が得られるのではないでしょうか。もう一つ考えたのは、今後よりパーソナライズされたWebサイトが、無意識のうちに提示される場面が増えるのではないかということです。例えば、同じ商品でも「20代女性向け」のWebサイトでは、女性モデルが使われていて明るいカラーリングのデザインのWebサイトが提示され、一方で「男性向け」の場合は男性モデルに変わり、少し落ち着いた配色になる、といった具合です。

このように、バイアスを完全に排除しようとするのではなく、むしろバイアスを活用して多様な形で展開していくというアプローチもあるかもしれません。ただし、単に選択肢を増やせば多様性が実現するわけではない、という点が難しいところです。

現代のマルチプレイシステムのように、ターゲットを絞ることで商品が売れる仕組みがビジネスの世界では一般的ですが、それが本当に「ダイバーシティ」なのかを考える必要があります。そんな中で、AIやテクノロジーを使った判断が参考の一つの軸となる可能性があります。ただし、これらの技術は、知的に処理を行うことはできても、それ以上の判断は人間が行わなければなりません。

また、CFIのWebサイトが男性向けであると評価された事実は皮肉的でもあります。しかし、実際に東京大学内の人口比を見れば、男性が大多数を占めているのが現状です。学生も教員も男性が大多数です。この現実がある種、実態を正しく反映している部分でもあるため、結果としてデータに説得力が生まれているとも言えます。これらを私たち自身が提案しているのではなく、データが語っているという点が、今回の展示の印象深い点でもありました。今回の取り組みを通じて、多様性やバイアスについてさらに考えを深めるきっかけが得られたことに感謝しています。

メンバー:高橋 宙照、Yating Dai、山本 恭輔、Hao Cao、松本 翔太、菅野 尚子(順不同)

Leave a Reply