今日の自動コンテンツモデレーションが機能不全に陥っている7つのサイン

オンラインにコンテンツが投稿されると、ほぼすべてのタイミングで、人間または機械によってモデレーションが行われます。ユーザー生成コンテンツの量の増加に伴い、モデレーションの需要も増加しています。問題は、現在のシステムには、無実のユーザーを不当に黙らせつつ、悪意のあるユーザーが投稿したコンテンツを見逃してしまうような欠陥が数多く存在することです。

自動コンテンツモデレーションとは

インターネットは、絶えず新しいコンテンツで溢れており、ソーシャルメディアやネット掲示板などのデジタルプラットフォームに投稿されますが、ユーザーコンテンツを監視する統一された機関は存在しません。

代わりに、プラットフォーム自体がルールを決定する責任を負いつつ、法的要件を遵守する必要があります。つまり、Reddit、Facebook、その他の大小のコミュニティが、自社のプラットフォームにホストされるすべてのテキストや画像を審査する必要があるということです。ユーザーによって生成されるデータの量が膨大であるため、人間のモデレーターのみに依存すると、莫大なコストがかかります。また、コンテンツモデレーターが不快なコンテンツや違法なコンテンツにさらされるリスクも生じます。

自動コンテンツモデレーションは代替手段です。アルゴリズムと機械学習システムを用いて、オンライン上のコンテンツを監視・削除します。これは合理的な解決策のように聞こえるかもしれません。新しいコンテンツの流入に追従できる速度で動作し、閲覧を避けるべきテキストや画像から従業員を保護しつつ、企業のコストを削減できます。しかし、完璧からは程遠い状態です。

以下は、今日の自動コンテンツモデレーションのアプローチが機能していない7つのサインです。

サイン1：モデレーションからは誰の満足も得られない

コンテンツモデレーションは、ほとんどのユーザーから称賛されるものではありません。

一方では、表現の自由の侵害や検閲の一種と捉えて批判する人がいます。場合によっては、警察による暴力がオンライン上でマイルドになったものであると捉えられることもあります。

他方では、有害なコンテンツにさらされた被害者は、モデレーター（人間か否かに関わらず）が十分に対応しなかったと不満を述べます。

ごく稀に、人間のモデレーターがその「努力」を称賛されることがあります。しかし、彼らの業務が「依然として」困難を伴うものであれば、自動化がその負担を肩代わりするべきではないでしょうか？これは、現在の自動化ツールの限界を浮き彫りにし、モデレーターとユーザーの両方を不満にさせていることを示しています。

サイン2：モデレーションは政治的なスケープゴート

コンテンツモデレーションは、政治的議論において検閲と混同されることがよくあります。政治的スペクトルの両側は、プラットフォームが偏向していると非難します。それは、一方の過激なコンテンツを削除しながら、もう一方のコンテンツを許可するためです。現実には、ほとんどの場合、アルゴリズムは政治とは無関係であり、侮辱、ヘイトスピーチ、詐欺の試みをフィルタリングしますが、通常、政治的なコンテンツには手を付けません。

それでも、モデレーションは都合の良いスケープゴートとなります。その理由は、そのプロセスが著しく不透明だからです。実際、これらのシステムは「政治的な決定」を下すわけではなく、厄介な政治問題を処理するように設計されていません。しかし、この点は公の討論でよく見過ごされます。

サイン3：「コンピュータがノーと言う」問題

自動コンテンツモデレーションシステムは意思決定者であり、特に腹立たしいのは、決定の理由について透明性がない点です。コンテンツにフラグが立てられたり削除されたりすると、ユーザーはしばしば疎外感を感じます。「あなたの投稿はコミュニティのガイドラインに違反しています」のみで詳細な説明は一切ありません。これは、有名な「リトル・ブリテン」のドラマと非常に似ています。

最良の場合、プラットフォームはシャープレイ値のような手法を使用して、コンテンツ削除を引き起こした特定のフラグが立てられた単語やフレーズを指し示すことができます。これは一部の基本的な法的要件を満たすかもしれませんが、プラットフォームはこれらのインサイトをユーザーと共有しません。説明が不十分であるため、不満を和らげるのではなく、むしろ煽る結果になります。

（自画自賛になりますが、Tisaneは、決定の理由を人間が理解できる形で説明する点でユニークです。LLMベースのモデレーションエンジンは、大規模なスケールで一貫性があり決定論的な説明を提供できることがまだ示されていません）

サイン4：プラットフォームは依然としてブラックリストを使用

最先端のAIがモデレーションシステムを駆動していると期待するかもしれませんが、現実ははるかに地味です。多くのプラットフォームは大規模なものでも、曖昧なカテゴリーで定義された機械学習分類器で拡張された原始的なキーワードブラックリストの雑多な組み合わせに依存しています。これらのあまりにも広範なカテゴリーは解釈が困難な結果を生むため、石器時代のブラックリストアプローチが依然として主流です。

このアプローチはスパムや露骨な罵倒語の検出のような単純なタスクには機能するかもしれませんが、その他のほぼすべてのタスクでは機能しません。

サイン5：スラングの蔓延

オンラインユーザーがますます難読化された言語を使用していることにお気づきですか？「kill」が「k*ll」に、「Lolita」が「L-a」になるような言葉です。この現象は「スラング」と呼ばれ、自動モデレーションの欠陥に対する直接的な反応です。ユーザーは、アルゴリズムを回避するために、あまりにも単純なトリックを使用し、成功しています。

ユーザーは悪意のある理由でスラングを利用することがあります（つまり、自動モデレーションはあまり高度ではありません）。一方で、ほとんどのケースでは、投稿者は不当なペナルティを恐れているためにスラングを用います（つまり、自動モデレーションは不正確です）。これは双方にとってマイナスです。

サイン6：何が「良い」モデレーションなのか誰も知らない

コンテンツモデレーションにおける大きな課題の一つは、「良い」モデレーションの定義です。「良い」モデレーションとは表現の自由の絶対主義でしょうか？または、ユーザーを有害なものから守ることでしょうか？それとも、EUの法律の遵守でしょうか？

多くのプラットフォームは、表現の自由に関する曖昧な主張と、個人的な不満や文化的偏見によって決定される可能性のあるモデレーションポリシーを組み合わせています。その結果、主観的なルールの一貫性のない主張が生まれます。あるプラットフォームで許容される行為が、類似のプラットフォームでは完全に禁止されることがあります。ユーザーは普遍的な許容基準がないため、混乱と不満を抱えることになります。

サイン7：根本的な問題が未解決のまま

技術は進化し、モデレーションもそれに伴って進化してきました。それにもかかわらず、コンテンツモデレーションを悩ませる根本的な問題は未解決のままです。善良なユーザーが不当に罰せられる一方、悪意のあるユーザーは依然として見過ごされています。

最近の例として、皆さんの記憶にも新しいMetaのモデレーションポリシーの大幅な変更があります。約10年間、Metaは世界中の広告主からブランドの安全性に関する懸念や罰金・ペナルティの脅威を受けて、自動化システムに数百万ドルもの投資を強いられてきました。優れたパフォーマンスが報告されても、それは決して十分ではありませんでした。ザッカーバーグ自身も最近認めたように、これらのシステムは依然として不十分です。

一方、より巧妙な荒らしや犯罪者はこれらのガードレールを回避し、オンラインコミュニティで混乱を引き起こしており、恐ろしい事例が次々と生まれています。

自動化によりこれらの問題が緩和されるはずでしたが、実際には問題を悪化させる結果となっています。自動化への依存が高まる中、今すぐこれらの問題を解決しない限り、さらに深刻な問題になるでしょう。

より優れたモデレーションへの探求

自動モデレーションは単体では万能ではなく、そうなることを意図したものでもありません。しかし、自動モデレーションは不可欠かつ汎用的なツールです。現在の状況が停滞しているように見えても、探求すべき新たな方向性は常に存在します。

Tisane Labsでは、問題に異なる角度からアプローチしました。流行りのコンポーネントや技術を選ぶのではなく、オンラインコミュニティとユーザーの双方の視点から課題の分析を行い、設計段階から透明性と決定論性を重視したシステムを設計しました。これは、判断を下す前に全体像を把握するシステムです。Tisaneがコンテンツモデレーションの議論に何をもたらすかを一言で表すなら、明瞭さです。

当社は業界内の仲間たちに、既存のパラダイムに挑戦し、新しいアイデアを試すことを奨励します。オンラインコミュニティが、正常で良識がで道徳的な人間であることが報われる場所となる未来を期待しています。