2021年9月26日

研究者がGoogle Driveに「装甲車の歴史」に関する資料をアップ→AIにテロリスト認定されて垢BANされた事例が怖すぎる

135
新山祐介 (Yusuke Shinyama) @mootastic

個人のGoogle Driveに「装甲車の歴史」に関する研究資料を置いておいたら、自動的にテロリストと判定されbanされた研究者の話。アカウントごと削除されているため、サポートすら受けられないらしい。個人的なメールや写真も削除された。 support.google.com/drive/thread/1…

2021-09-23 07:47:11
新山祐介 (Yusuke Shinyama) @mootastic

Google Drive(おそらくその他の類似サービスも)には、こういうリスクがあるということはもっと周知されるべき。しかもGoogleは連絡手段さえ絶ってしまうので、こうした事故が表に出てくることはほとんどなく、多くのユーザは泣き寝入りしているはず。

2021-09-23 07:52:26
新山祐介 (Yusuke Shinyama) @mootastic

個人的に面白いと思った海外記事の公開ブックマーク。興味ある分野: ソフトウェア開発・信頼性・セキュリティ・UX・機械学習。ネタ元はHNやRedditなど。意見はすべて個人の感想です。検索方法: from:mootastic キーワード

dragoner @dragoner_JP

Googleによるミリオタジェノサイド始まる twitter.com/mootastic/stat…

2021-09-24 11:59:10
ono hiroshi @hiroshimilano

こういうのはクラウドの怖いところ。 twitter.com/mootastic/stat…

2021-09-23 12:59:43
Yosuke HASEGAWA @hasegawayosuke

これ、情報セキュリティの資料を置いてるのもいつサイバーテロの予備行為と見なされるかわからんな。他人事じゃない twitter.com/mootastic/stat…

2021-09-23 08:35:38
fujiyama @fuji_express

ひとつの企業のAIで意図しない垢BAN喰らう時代なんだな。歴史家だけでなく兵器関係資料を収集するとなるとゲーム屋もGoogleのクラウドに頼るのは危ないな。 twitter.com/mootastic/stat…

2021-09-23 17:49:31
Kohei.Sakamoto @KoheiSakamoto88

クラウドを使う上でこういう事故は避けられないよね... 幸い, こちらの件はうまく解決できたみたいだけど, 自分が同じ目にあったときに可決できるかは不明瞭. twitter.com/mootastic/stat…

2021-09-23 13:54:29
りょう @Ryo_photo_music

@mootastic リンク元みたらどうやらアカウント復活してるみたいです! pic.twitter.com/d96jvttfYq

2021-09-23 13:17:39
拡大
くおんみどり🖖Master_Asia 作品集単行本発売中&楽曲配信中 @midorik

@mootastic なお、グーグル側から返信があり、アカウントは復活したみたいですね。

2021-09-23 19:01:00
みこあんちゅ★ @RinaK10

ポルノならともかく、軍事車両の研究ファイルでbanされるのは想定外極まりない。幸い復活したようだが… twitter.com/mootastic/stat…

2021-09-25 12:08:35
NAKAMURA⊗Yoshiyuki @nakayoshix

荒ぶる神Google。 Google: The God That Failed. とにかく神Googleの怒り…じゃなく、AIの逆鱗に触れるような行為をするとこの世…じゃなく、この世界では生きていけなくなりますからね、十分気を付けましょう。実際にはGoogleだけでなくGAFAMにTwitterも含めて全部そうですが… #くわばらくわばら twitter.com/mootastic/stat…

2021-09-23 14:11:08
みるちゃ @Milk_tya

GAFA他巨大IT企業の持つ力とか生活への必要性はどんどん強くなるし、 それに比例して検閲の厳しさもどんどん増していくだろうから今後もこういう事例は増えるだろうなぁ twitter.com/mootastic/stat…

2021-09-23 12:22:27
ふぇっぷくより痩せる70.1 @entente_gold

GoogleのAIが研究者のオンラインストレージ内の軍事用語をテロリスト認定してしまったの、本物のテロリスト達も周囲に物騒な軍事用語の飛び交う戦争ゲームの中で密談しているとかいう話と合わせて、AIによるネット監視の限界を感じてしまいますね・・・ twitter.com/mootastic/stat…

2021-09-24 12:15:00
Akira Kuwano-Yoshida@潮岬風力実験所 @bomb_akyura

北大時代、大通公園で爆弾騒ぎがあった時、私の爆弾低気圧のHPのアクセスログに道警アドレスが残ってたのを思い出した。 twitter.com/mootastic/stat…

2021-09-23 09:17:22

他の事例では

Hiroo Yamagata @hiyori13

@mootastic Googleだけではありません。顧客プライバシー重視というのクラウドにファイルを全部バックアップしたら、即日垢BANされ、規約違反があったがどのファイルが違反しているかも教えられない、中身は見ていないがファイルのハッシュ値で判断するとのこと。何が引っかかったかわかるだけマシかも。

2021-09-23 14:48:00
Hiroo Yamagata @hiyori13

ソーシャル (メディア) ディスタンス中 フォロワーの7割をブロック完了! 目標達成してR0も低下したので、少しずつロックダウン解除へ。

cruel.org

Hiroo Yamagata @hiyori13

@mootastic アルカイダの広報誌とかいっぱい持っていたのが引っかかったのだと今では思う。

2021-09-23 14:59:10
Hiroo Yamagata @hiyori13

@mootastic サポートの掲示板を見たら「オレのモロだしロリポルノコレクションが消えたがどうしてくれる」みたいな連中ばかりで、そこに混じること自体ためらわれたんだが…… しかし、先日のアップルの児童ポルノ検閲でもそうだが、児童ポルノ (またはテロ文書) をハッシュで識別するなんてことができるのか?

2021-09-24 09:50:45
新山祐介 (Yusuke Shinyama) @mootastic

@hiyori13 Appleが開発したNeuralHashなる新技術があって、画像であれば多少変化したり回転してもほぼ同一のハッシュ値になるそうです。当然、それに対する攻撃もすでに活発で、無関係の画像で濡れ衣の可能性あります。どうやらAppleはこの手のハッカー活動を甘く見ていた模様。 github.com/AsuharietYgvar…

2021-09-25 20:27:42
MJHSC! - インディーゲーム開発チーム @MJHSC_tw

@hiyori13 過去に消されたファイル※のハッシュ一覧持ってて、それと同じのが見つかると引っかかります。 ※他ユーザーのファイル。まともなサービスの場合は公開リンクから通報された物等。ダメサービスの場合はハッシュというのが嘘 セキュリティ的にもファイル単位で暗号化してからアップしましょう!

2021-09-24 12:38:45
fuku0185 @fuku0185

@mootastic 人工知能は文脈が理解できない例ですね→ YouTubeでの「チェス談義」が、“人種差別”として削除された事件の真相 wired.jp/2021/03/06/why…

2021-09-23 14:10:41
リンク WIRED.jp YouTubeでの「チェス談義」が、“人種差別”として削除された事件の真相 著名なチェスプレイヤーによるYouTube動画が、人種差別発言を含むヘイトスピーチであるとして削除される“事件”が起きた。研究結果や実験から見えてきたのは、動画の内容をチェックするアルゴリズムが「黒」「白」「攻撃」「防御」といった言葉を誤判定した可能性である。そこからは、AIの現段階での限界と課題が浮き彫りになってきた。 24 users 360
残りを読む(12)

コメント

2003 UB313 @2003UB313DP 2021年9月26日
地味に深刻な被害被ってるのがstadiaだったり・・・。ゲーム作者ブチ切れさせたりstadiaからの離脱を宣言されたり。
9
yuki🌾㊗️6さい🎉⚔ @yuki_obana 2021年9月26日
この手のがあって論文周りでアルファベットがパテント持ちそうなのは念の為完全にローカル管理(´・ω・`)ってか最近のぐーぐるてんてーてめぇbotじゃね?って聞きすぎじゃない?window.open()で30タブ開くだけでもブチギレるからなんかヒスりすぎててつらいんだけど…そういう感性持ってるのかね
7
K @EVERYMA51075501 2021年9月26日
AIの精度って医療検査と似てるところがあって、どれだけ精度が高くても全ドライブやら全アップロード動画をチェックしてたらそりゃ誤検出祭りになるよなあ。それはそれとして全然他人事じゃないなこれ…
35
緑川⋈だむ モデルナフルチン @Dam_midorikawa 2021年9月26日
この種の「ポンコツAIによるずさんな企業運営による被害」に対して懲罰的賠償金を課すような国際的枠組みが必要よね。このケースで言うとGoogleへの罰金は100兆円ぐらい課してもいいはず
52
tamamizu @TamamizuTM 2021年9月26日
自衛隊の情報公開請求資料を公開してる人とかやばそうね でも自衛隊の用語ならある意味AI騙せるかもしれんな
0
否定騎士 @deknight440 2021年9月26日
昔からクラウドとかレンタルサーバーに置いてる情報を見られる・盗まれるって疑惑はよくあって、原理的にその「疑惑」を払拭することは無理。重要なファイルは絶対にクラウドには置かないようにしてる。
15
否定騎士 @deknight440 2021年9月26日
てか既にGAFAMは国家レベルの支配力を持ってるのに、「私企業のサービスだから気に入らなければ使わなければいい」で多くのことが済まされてるのがヤバイよなぁ。なんかそれが当たり前みたいに麻痺してるけど、改めて考えればディストピアに近づいてる感じが・・・。
66
竹田一博(さまやん)▷◁2回接種完了 @someryan 2021年9月26日
そのうち何らかの難癖付けられて全てのアカウントがBANされそう。
2
kilo @unioken 2021年9月26日
装甲騎兵も引っ掛かりそう。
0
裏垢が見えてるネコ @zdrfb 2021年9月26日
deknight440 しかも国家から多大な優遇や支援を受け取り、多額の税金が投入されてるのに、それをわずかでも減らそうとした政治家は、SNSから追放するという。
9
犬の茶碗蒸し @Inuchawan 2021年9月26日
結局「店も客を選ぶ権利がある」という考えを推し進めたせいもあると思うよ。店と客の間に生じる様々な権力差を拡大させることに繋がるわけだから。
1
犬だよ @yaju5123 2021年9月26日
Googleの判定がケモナー寄りになった場合、動物の画像が全裸のセクシー画像としてBANされる可能性が微レ存……?
9
ななよ(七代) @nana4_japan 2021年9月26日
AIの適用分野として、まだ人間間のコミュニケーションには不適合な事例が積み上がってる 情報社会のインフラを支える企業はその適正化に対してコストを掛ける腹づもりはあるのか
1
慌てず急いで正確に @osabori_jp 2021年9月26日
日本語サイトで日本円で決済の時点で電気通信事業法の網かけて検閲禁止させた方が幸せだと思う。 (公開されたら公然性を有する通信になるので、その時点で初めて提供会社側が制限可能)
16
Matamo_shita @MatamoShita 2021年9月26日
ポンコツだとかいう問題ではなくて、人間ですら相関と因果の区別がつかないことがよくあるわけで。 AIをツールとしてどう活用するか、人間の判断が重要。 使い方を間違えるとDHMOが笑い話にならなくなるね。
3
緑川⋈だむ モデルナフルチン @Dam_midorikawa 2021年9月26日
deknight440 鉄道とか電力とか重要インフラ企業は「民間企業に任せるとずさんな運営されたら大勢に迷惑がかかる」てことで国が広範に規制するのが普通なので、GAFAみたいな巨大ネット企業も事業運営の細部まで国が許認可権を持つ形にするのが正しい
11
からさわ @krswkk 2021年9月26日
待ってグーグル垢消されたら私の生きてた証が全部消える
0
緑川⋈だむ モデルナフルチン @Dam_midorikawa 2021年9月26日
電力や鉄道で言うとこの事件は「電気代払ってるのに電気止められた」とか「正規に購入した乗車券を偽造扱いされて乗車拒否された」て言う事件やで。そんなことがあったらごめんなさいでは済まず官庁が検査に入って責任者を処分する
38
ヴァラドール @_Vorador_ 2021年9月26日
ロートルだから手元の物理ハードにバックアップがないと安心できない
4
伍長 @gotyou_H 2021年9月26日
AIにかかれば、歴史はもちろん、犯罪心理学みたいな研究も全部犯罪促進・テロ行為なんだろうな。病院無くせば「病気」の人は減る理論みたいだ。
2
緑川⋈だむ モデルナフルチン @Dam_midorikawa 2021年9月26日
場合によっては「巨大IT企業はAIと称する胡乱な技術の研究開発及び利用を厳格に禁止する」という措置が必要かも。違反したら経営者を死刑に
3
ろんどん @lawtomol 2021年9月26日
ステイト・アクションの法理(私企業を国家とみなして、憲法を直接適用する。表現の自由とか差別禁止とか)って、おっちゃんが学生だった20数年前は「こんな理屈もあるよ」程度だったけど、最近は少しは真剣に議論されてるのかしら
21
しわ(師走くらげ)@フルチン済(x2+2w) @shiwasu_hrpy 2021年9月26日
まとめ主ごめんな、「BAん」で噴いて現実に引き戻されたわ
4
gx9900 @GX9900GUMDAMX 2021年9月26日
もうインフラだよなぁ。
1
じゅん@汝の隣人を肥やせ @junchan 2021年9月26日
E2E暗号化で仕組み的に検閲できないことを保証してくれたらいいのにね
0
sake @sake_ne_ku 2021年9月26日
まあ検閲が嫌なら自分でディスクアレイ買って、ネットワークに繋ぐサーバー置いて、管理用のサーバアプリとフロントアプリを書けば済むんだよな この手の検閲、クラウドストレージはどこも多かれ少なかれやってそうだけど、なんとなくiCloudの方が安心感がある(こないだの騒動が、大騒動になるぐらいには、検閲に批判的なユーザが多いのもあって)
6
RAIYA@提督 @RAIYASB 2021年9月26日
クラウド上のスプレッドシートを共有して編集してるとふとしたきっかけでデータ変わってる事もあるし、クラウドは良くも悪くもなんだよな 最近はオンプレ回帰も進み始めてる現実
0
犬だよ @yaju5123 2021年9月26日
Dam_midorikawa AIを胡乱というのは少々乱暴に過ぎるのでは? というかその措置やったら国内外問わずに大抵のIT企業が死ぬゾ
13
しゃけ @shakeflake1223 2021年9月26日
企業向けはチェック無しなんだっけ?じゃないと企業向けで使えなくなるもんね
1
未完缶 @citrus_hanayu 2021年9月26日
バックアップ取っておきたいけど危険そうなデータがあるなら暗号化するしかないな
0
犬だよ @yaju5123 2021年9月26日
この手のビッグテックへの批判は良くある話だけど、精々がWebサービスを社会インフラと同義に扱うのは流石に無理がある。 NTT公道論みたいに物理回線抑えてる訳でもないし。
12
(あ)@お気持ちヤクザ @MutsuniNaruBeam 2021年9月26日
いずれgoogleもより過激にポリコレに染まり、アニメ絵をアップロードしただけでBANされるようになるだろう。そしてAIによる誤BANがあった時代を懐かしむようになるのだ。
3
緑川⋈だむ モデルナフルチン @Dam_midorikawa 2021年9月26日
yaju5123 胡乱でないAIなんか存在しないのでAIと名乗らないと死ぬようなイット企業は死んでいいよ
5
鱶森 @sHark_plus0 2021年9月26日
本当に消されたくないやつは「絶対にネットに繋がない」ハードウェアに保存しないといかんのかな
7
ggdxxdewuofunc @a_tts 2021年9月26日
やはり自宅運用NASにVPNで繋ぐのが最強か
3
棚橋青 @ao_tanahashi 2021年9月26日
「バックアップと同期」なのに別にバックアップした上に同期しない方がいい、という皮肉。あ、それで名前が変わったのか(違う
1
ポッカ @pokka80 2021年9月26日
クラウドサービス提供者だって違法性があるかもしれないわけ分からんデータ置かれたくない。知らんでは済まされない
1
西方政府軍兵士@ノクターンノベルズ&ノベルアッププラス @Lkpi8dEIKmF7bi1 2021年9月26日
ミリ、歴史系の趣味のある者としてはビビる……前も思ったけど、GAFAのような巨大なIT企業が国家並みの力を持ってて企業判断で検閲じみた行為をやるのは、どこかで制限されるべきだなと思った。EUでも問題になってるし
3
reesia @reesia_T 2021年9月26日
AIの判断だけに委ねるのはまだ早いわな。やっぱり人間によるチェックが必要だわ。
1
西方政府軍兵士@ノクターンノベルズ&ノベルアッププラス @Lkpi8dEIKmF7bi1 2021年9月26日
そう言えば前もベトナム戦争のナパーム弾の少女の写真を児童ポルノとAIが勘違いする事件起きてなかったっけ?
1
田中一郎 @eggmanpat 2021年9月27日
このアカウント削除事件は人間が確認してくれたからいいようなものの、AIだけが判断する時代になると取り返しのつかない事件が毎日のように起きる気がする。ちなみにヤフコメのコメントもAIが自動で良しあしを判別して書き込み者に注意しているらしい。ただ、何を問題と判断したのかは教えてくれない。
2
田中一郎 @eggmanpat 2021年9月27日
Lkpi8dEIKmF7bi1 週刊誌のグラビアに載ったのは昭和時代だったね。全裸の少女が走ってくる写真だったが週刊新潮だから問題にされなかったのだろう。週刊ポストや週刊現代だったら発禁になっていたろう。
0
吉見和彦 ファイザー2回目終了 @yoss_2525 2021年9月27日
Android端末を買ったらまずGoogleアカウントを作れ、となっている段階でGoogleに内臓まで握られている感。
3
Requirer @Requirer8 2021年9月27日
これが現代の焚書坑儒か…
1
ありよし/コアロン @TnrSoft 2021年9月27日
ガンドックTRPGとかフルメタTRPG等テロを扱ったTRPGのシナリオやハンドアウトをGoogleDriveに入れとくとBANされてしまう確率が微レ存
1
mikunitmr @mikunitmr 2021年9月27日
Twitterのわ運営も同じくらいガバガバだよな。
1
緣藏 @jinsei_febreze 2021年9月28日
研究資料をgmail.comに保存してる時点でアレ。 ちゃんと有償版使いなさいよ。
0
緣藏 @jinsei_febreze 2021年9月28日
Dam_midorikawa 「きみ現代に生きるのに向いてないから死んだ方がいいよ」 と言ってること変わらないけど自覚無さそうね
1