-
marumarumoheji
- 12587
- 60
- 2
- 0
-
- いいね！0
星 暁雄 (ITと人権)
@AkioHoshi
コミュニティノートの公開データを調べてみました。全世界での数字です。 全協力者の人数は、164,831人 他者のノート評価できるが自分ではノートを書く権限がまだない人 124,738人 ノートを書く権限がある人 39,411人 1本以上のノートを書いたことがある人 22,338人 1人が書いたノート数の平均値… twitter.com/i/web/status/1…
2023-07-21 18:13:46*1本以上のノートを書いたことがある人 22,338人
1人が書いたノート数の平均値 約6.94
1人が書いたノート数の中央値 2
1人が書いたノート本数の最大値 2,859
ノートは2万2000人が書き、16万5000人で評価。1人が書くノート数は1ケタ台だが、極端に活発なユーザーもいる。
正直、データ分析は得意分野ではないので、もっと興味深い結果を出せる人は、ぜひ分析をお願いしたいと思います。*
星 暁雄 (ITと人権)
@AkioHoshi
上の分析結果は、ChatGPTのCode Interpreterにダウンロードしたファイルを突っ込んでテーブル構成を見ながら自然言語で質問して得ました。ファイルサイズ上限50MBがツライ。
2023-07-21 18:47:02
星 暁雄 (ITと人権)
@AkioHoshi
日本のコミュニティノート協力者はざっと1万人以下——日本語のノートに注目して詳しく分析してくれた人が出てきた。 anond.hatelabo.jp/20230721170121 全世界で16万4831件のノートがある中で、日本語のコミュニティノートは3641件。 63%のコミュニティノートは評価されず掲載されない。… twitter.com/i/web/status/1…
2023-07-21 19:31:27*上位10名が20%、上位302名で80%のノートを書いている。
3641件のコミュニティノートに対して173018件の評価。
上位32名のraterが10%、上位4130名で80%、上位7271名で90%のratingをつけている
これ以外にも情報豊富。興味がある方は元記事を参照されたし。*
星 暁雄 (ITと人権)
@AkioHoshi
比較対象として、全世界では 155,066本のうち12,334のノートが掲載される。採択率8%。 ノート全体の10%を11人 ノート全体の50%を1,180人 ノート全体の80%を6,207人 で執筆。 感想：日本のコミュニティノートは、世界平均に比べ80パーセンタイル執筆者が1/20と小さく、採択率が4〜5倍高い。… twitter.com/i/web/status/1…
2023-07-21 19:56:08人口比で見ても層が薄く、淘汰が足りていないと考えられる。
星 暁雄 (ITと人権)
@AkioHoshi
おことわり： 数字をちゃんと比較するには、自分の分析（世界）と、はてな匿名ダイアリーの分析（日本）を細部まで付き合わせる必要がありますが、そこは省略。 なので「ざっくり・速報・正確性は犠牲」な感じで受け取ってください。 もしミスを発見したらこのツリーで訂正します。
2023-07-21 21:01:01
星 暁雄 (ITと人権)
@AkioHoshi
追記： 「はてな匿名ダイアリー」の作者が作った日本語コミュニティノートのデータ 20230721_community_notes-utf8.tsv に対して、当方が「世界全体」の数を知るとき使ったのと同じ質問で得た回答を以下に示します。 比較対象として、当方が得た「世界全体」の数字も示します。… twitter.com/i/web/status/1…
2023-07-21 22:01:03*「はてな匿名ダイアリー」の分析結果と食い違う数字もありますが（クエリが微妙に違うのか、何かのミスか）、ラフな知見は上のツイートと同じでいいと思います。
「採択率」と「ノート全体の80%を書いたユーザー数」の違いに注目してください。
●日本語のコミュニティノートのデータ分析結果（7/21時点）
-ノート総数 3,641個
-現時点で「有用」と評価されたノート 754個（採択率20.7%）
-ノート執筆者数 863人
-各ユーザーが書いたノート数の平均値：約4.22
-ノート数の中央値：2
-1人のユーザーが書いたノートの数の最大値：140
-ノート全体の10%を書いたユーザー数：3人
-ノート全体の50%を書いたユーザー数：76人
-ノート全体の80%を書いたユーザー数：301人
●世界全体のコミュニティノートのデータ分析結果（7/21時点）
-ノート総数 155,066個
-現時点で「有用」と評価されたノート 12,334個（採択率8%）
-ノート執筆者数 22,338人
-各ユーザーが書いたノート数の平均値：約6.94
-ノート数の中央値：2
-1人のユーザーが書いたノートの数の最大値：2,859
-ノート全体の10%を書いたユーザー数：11人
-ノート全体の50%を書いたユーザー数：1,180人
-ノート全体の80%を書いたユーザー数：6,207人*
星 暁雄 (ITと人権)
@AkioHoshi
この連続ツイートで紹介された文献、興味深い。情報感謝です。 ただし注意点があって、紹介された文献の問題意識は「重要なノートが未掲載のまま」「誤情報訂正が遅すぎ機能しない」。今の日本で言われる「低品質ノートが多すぎ問題」とは論点が違う（むしろ正反対）。… twitter.com/i/web/status/1… twitter.com/RawheaD/status…
2023-07-22 18:32:19
Dr. RawheaD
@RawheaD
コミュニティノート、別に悪いアイディアだとは思わないんだけど、色々と留意しておくべき点はある。まずはそもそも論として、コンセンサスベースであるからしてコミュニティノートが付されるのはほんの少数のツイートでしかないという点。書かれたノートの実に96%が不採用 sigmaawards.org/twitters-fact-…
2023-07-22 15:59:10*1番目は、Bloombergによるコミュニティノートのデータとアルゴリズムの分析。2022年12月時点で4万件のノートを調査。採択率はわずか4%にすぎない。アルゴリズムの動作を再現させて調べたところ、左右両派から評価されないと掲載されない仕様のために重要なノートが未掲載のままの事例も目立つ。中絶問題、新型コロナ治療法のような分野は、右派の評価が得られず未掲載のままになりがち。
（注：2023年7月現在では世界平均の採択率が8%なので、この分析の時点とは状況が違う。日本での採択率は20%、むしろ掲載されすぎ）
2番目は、ルクセンベルク大学の研究者らの分析で、"コミュニティノートの導入で誤情報ツイートのエンゲージメント（like, RT）が減少した証拠はない。むしろ誤情報拡散を防ぐにはノートが掲載されるまでのプロセスが遅すぎる可能性を示唆する。
コミュニティノートは改善の余地がある仕組みなのだが、今のTwitterの体制では期待しにくい。*
Dr. RawheaD
@RawheaD
コミュニティノート、別に悪いアイディアだとは思わないんだけど、色々と留意しておくべき点はある。まずはそもそも論として、コンセンサスベースであるからしてコミュニティノートが付されるのはほんの少数のツイートでしかないという点。書かれたノートの実に96%が不採用 sigmaawards.org/twitters-fact-…
2023-07-22 15:59:10
Dr. RawheaD
@RawheaD
また、このプロセスが面倒なため、正しくノートが付された場合も、その時点では既にミス／ディスインフォメーションが拡散されまくってる場合がほとんど。分析の結果、コミュノ実装以降、Twitterでディスインフォメーションとのエンゲージが減少した形跡がない arxiv.org/pdf/2307.07960…
2023-07-22 16:01:24
Dr. RawheaD
@RawheaD
また、俺はこれが一番重要だと思うんだけど、コミュノは定義からして「現在のツイッターというコミュニティ」に置けるコンセンサスが形成されるということ。これを信用しすぎることの危険性は「Truth Socialで全く同じ機能が搭載された場合」を想定すれば想像に難くない。
2023-07-22 16:03:17
Dr. RawheaD
@RawheaD
また「自分が所属してるコミュニティ」に置いて形成されるコンセンサスなのだから、非常に強い確証バイアスが掛かることにも自覚的であるべきだろう。
2023-07-22 16:05:00
Dr. RawheaD
@RawheaD
コミュノ執筆者で力を持つのは「役に立つ」と最終的に判断されたノートにどれだけ「役に立つ」フラグを立てているか？（その逆もしかり）というのも、一見、合理的に見えるが、同様に強い確証バイアスの餌食になることにも注意が必要である。
2023-07-22 16:06:51
Dr. RawheaD
@RawheaD
俺はミスインフォメーションに踊らされることに政治の左右は関係ない、と思っている。詳しくフォローしてないから実情は知らんけど、TLでチラチラ見かけるように「左の連中が軒並み一方的にコミュニティノートにやっつけられてる」というのが実態なら、それは既にバイアスがかかってることの証左だよね
2023-07-22 16:24:11
Dr. RawheaD
@RawheaD
これは別に採用されてるコミュニティノートはネトウヨ言説！って言いたいんじゃなくて、仮に採用されてるコミュノが全部ファクト的に正しいとしても、執筆者は左から右までバイアス無いよう幅広く選ばれてるはずなんだから左と同じくらい「右もやられる」ノートが採用されるはずなので。
2023-07-22 16:28:26
Dr. RawheaD
@RawheaD
なのに、そこでインバランスが発生しているならば、それは既にコミュニティの確証バイアスが掛かってることに他ならない。これはシステム的に由々しき問題であって「やーいやーい」とﾒｼｳﾏしてる場合じゃないんだよね。
2023-07-22 16:29:47
星 暁雄 (ITと人権)
@AkioHoshi
文献を読んだ上での仮説なのだが、日本語圏のコミュニティノートは、アルゴリズムが設計通りに機能していないのでは（例えば日本語への対応が甘い可能性も考えられる）。どなたがガッツがある方がアルゴリズムの調査を行ってくれないだろうか？ （Bloombergはそれをやった）… twitter.com/i/web/status/1…
2023-07-22 18:35:23日本語圏で掲載済みのノートを見ると「右派と左派の両方が評価」したものとは考えにくいノートが多いですよね。
星 暁雄 (ITと人権)
@AkioHoshi
【緩募】 Twitterのコミュニティノートの実態を分析した学術論文、あるいはデータ実証や実体験を含む記事。英文OK。 なお、下記の文献以外のもの。 bloomberg.com/graphics/2022-… slate.com/technology/202… arxiv.org/pdf/2307.07960… 諸賢の知恵を乞う。
2023-07-22 20:49:36