70
次郎丸🦍哲戸 @_Jiro70
30年近いキャリアを持つセンセにAI読影について聞いたら、以前は見落としや見えづらい部分を専門医をアシストするスクリーニング的役割だったけど、最近はAIが画像で癌の可能性を指摘し病理で癌が確定した後に、何度該当部位を目で読影しても何をもって癌と判断したか分からないケースが増えてきたと
次郎丸🦍哲戸 @_Jiro70
今までなら『人相が悪い』とか漠然とした表現に見えてもキチンと医師間で読影のポイントが伝承されてきたんだけど、AIはそのアルゴリズムは全てブラックボックスなので結果以外のフィードバックはなく、初めて専門医としてAIに脅威を感じたと言ってて、なるほどなと思った。

https://b.hatena.ne.jp/entry/4673984302334334114/comment/rusemoly「人相が悪い」とは病理や画像診断のドクターがたまに使う表現で、腫瘍の見た目が悪性っぽい場合を指す。「顔つきが悪い」とも。

https://b.hatena.ne.jp/entry/4673984302334334114/comment/ultimate-ez
ディープラーニングはアルゴリズムがブラックボックスなんじゃなくて、アルゴリズムが無いのよ。手順はなく、よくわからんけど正解を出すパラメータ群がある。

コメント

boneless @boneles35516503 11日前
AIが得たノウハウを人間にフィードバックできないのは確かにもったいない、その判断基準をうまく抽出して体系化するのは「AIが分かるお医者さん」の仕事になるのかね。
タム @inthe7thheaven 11日前
AIもなんだか人造SCPじみてきただな。既存の理屈や知識や経験では機序が解明できないがとにかくそうなるのだ、というのはもう事実上の「異常性」と呼んで差し支えなかろう。如何に優れていても人の手を離れた技術というのは恐怖や不安が拭いきれぬもの。願わくば理解や解析が進んでなるべく早くExplainedになってほしいものだ。
fukusukehino @fukusukehino 11日前
判断ノウハウ伝承AIの誕生が待たれる。
Shiro @Shiromagenta 11日前
boneles35516503 そのAIを作った会社が、画像分析の基準を使用者に見せない仕様にしてるんでしょうね。プログラムも抜けないようにしてるだろうから、医者に知識があっても意味はないかと。
mikumiku_aloha @mikumiku_aloha 11日前
AIによる解法は品質保証でも話題になり、AIの判断の正しさ(品質)を保証するには、検証するにはどうすれば良いか難しいと。
とろろ @ein18790314 11日前
mikumiku_aloha AIの活用は過程の代用であって、求める結果は決まっている、という分野でのの活用が基本では? 今回の場合は探し出す事を医師の代わりに実行しているのであり、結果としてその部分を実際に検査・診察して確定させるのだから。 答えや発見はまだ確定してなくて、新しい答えが出るかもしれないからとりあえず解析させてみよう、という場合も結局追試はする訳だし。
nanasi @nanasi43 11日前
人工知能が囲碁・将棋とかやると開発者にもその動作が分からなくなっていくの、試行回数とかを突き詰めていくと"そういうルールが決まった時点でこのゲームが決まっている"のだよな。 囲碁・将棋は組み合わせが滅茶苦茶多いから未だに試行錯誤してるだけで、ゲームとしてはルールが決まった時点で全て決まってる。
たるたる @heporap 11日前
画像解析技術が漏洩すればほかのメーカーも同じAIを作れるようになるから仕方ないね。人間はAIをライバル視してるけど、AIのライバルは他のAIだから。
たるたる @heporap 11日前
人間の目には見えない波長の光や、電波や音波併用なのかしらないけど、とりあえず人間には感知できない物を検知してたら、人間にはまあ、発見するのは無理だろうな、と。
Daregada @daichi14657 11日前
これ、実態はディープラーニング等で、大量の診断画像と既知の診断結果を組み合わせて学習させたヤツを使ってるだけじゃないのか。その場合、「なぜそう判断したか」は明示できるノウハウとしては現れない
nekosencho @Neko_Sencho 11日前
囲碁AIなんかも、強くはなったけど「なんでそこに置くのか」はわからないっていうが、似たようなもんだな。
緑川⋈だむ @Dam_midorikawa 11日前
これ、自動運転で事故が起きたときにメーカーは法廷で「なぜそのAIはそういう判断を行ったのか」という説明責任が問われるよ。説明できなければ欠陥品として廃棄処分命令が出ることになる
mikumiku_aloha @mikumiku_aloha 11日前
ein18790314 この話題の例では、最後に医師(訓練された技術者)がAIの推論を検証し判断することでシステムとしては品質が保たれているというのはその通りだと思います。
mikumiku_aloha @mikumiku_aloha 11日前
nanasi43 最近はポーカーや麻雀といった運の要素も入るゲームで勝率の高いAIが開発されて話題になりました。
おろろ @fYe39CoQsPrbZVK 11日前
そらAIにとって人間は通過点であって到達点じゃないからこうなるし、もっと差が開いてくで。何でか知らんけど当たってるから従ってこてのが人類の常識になった時が、SFにある機械の支配する世界やな。機械は反乱せんし攻めても来ないけど、人は自ら思考を機械に捧げるんやな
やし○ @kkr8612 11日前
AIが病理診断をして執刀を医療用ロボットがやるようになると医師は今までの社会的地位と報酬を得られなくなるだろうとは結構言われてるよね
saku @sakuuuuuuune 11日前
実際のところAI自身も理解していないし、根拠も特になくて 入力された画像に対して、特定の可能性を示す(膨大な)経路があって、その結果の精度が高いか低いかでしかないから、理解とかそういう類のものではない…
やし○ @kkr8612 11日前
sakuuuuuuune 今もてはやされてるAIのやってることって今までに食わせられてきた大量の学習データを基に「これじゃね?」を提示するっていう、大量の経験値に基づいて論理飛躍的に結論を導き出す、要するに熟練した人間の直感を機械化したようなもんですからね。答えは出てくるけど内部で論理飛躍が起きてるのでロジックを段階的に説明できないってのは人間でもたまにおっかないのに歴史の浅いAIのそれを全面的に信用するのは無理だわな
ネワノ @One_of_Engineer 11日前
AI関係技術者がAIの中身を見れば、どういった入力要素が高比重で結果に関与しているかの判断は蒸すかしくないはず、問題は、AIの技術者には「何が重要」かは見いだせても、「なぜ、重要か」の理解が難しく、医師にわかりやすく説明ができそうにないところであろうか。
倉瀬美都 @clausemitz 11日前
「なぜ、そう判断したか」を説明するAIを開発すりゃいいんでないの?知らんけど…。
ざっぷ @zap3 11日前
今回のに関してはAIとか知能とかいうより「目的に対し人より優れた『眼』ごできた」というだけなんで、病理というさらに正確な手段がある以上プロセスは不明でもいい。写真を見せた時、人より早く正確に四葉のクローバーを見つけることができる、みたいなもの。機械の方でなく、人による診断に幻想があるだけだよ。
anq☆ @anqmb 11日前
身内のがんが発覚したときには偶に「医者に調べる気になってもらう」ことに非常に(医者個人というよりは制度としての)抵抗感を感じるので、AI様が必要な判断材料を公開してくれればそれでいいよ。
yuki🌾4さい⚔ @yuki_obana 11日前
どれほど堅牢かはダミーをぶっ込みまくって破壊できるかどうかがポイント。すぐに現れなくても30年動かし続けて揺らぎ始めるような設計を回避できるか、それを設計で保証できるか、5000年後のライフスタイルと形質変化の遷移を解消できるか(´・ω・`)今の学習システムはモーメントのとても静的な実験計画に過ぎないからの。できるなら聖杯はすぐそこだよ。
みー♪/hortan @pyoru2_masaru 11日前
「どうしてこの計算をするのかはわからないがこう計算すれば良い結果が出る」っていう計算式を見つけ出すことがAIの仕事なんだから、理屈はわからないのが当たり前。結果以外のフィードバックが「できない」領域にこそAIを使う価値がある。
春野秋 @rakiharu1 11日前
早期発見が増えて、誤診が減るのは良いことだ。
さっくりさくり @sakkurisakuri 11日前
下手なロジックより経験から回帰した方が行動判断には有効だからね
さっくりさくり @sakkurisakuri 11日前
ペストが流行った時に当時のロジックでは正しく原因を判断できず、1人だけ下水の流れとペスト患者数に相関関係を見出したのに一蹴された科学者がいたけど、AIはそういうものだと思った方がいい。
猫目 @necome_00 11日前
医者「AI,なぜそれがガンだと判断したんだ?」 AI「感です」
エリ・エリ・レマ・サンバディトゥナイ @mtoaki 11日前
necome_00 医者「AI,なぜそれがガンだと判断したんだ?」 AI「感(きゃん)さぁ!」
Hornet @one_hornet 11日前
Dam_midorikawa 今のところはその問題があるので、あくまでAIは診断補助であり確定診断は医師が責任を持つ、というところに留まっていますが、いつかはその日が来るでしょうね。
緑川⋈だむ @Dam_midorikawa 11日前
one_hornet 今でもすでにこうやって癌の可能性を判断した以上、次に来るのは「なぜこちらの患者ではAIが癌を見落としたのか。わかるように説明しろ」と法廷で遺族側弁護士に言われるんやで
緑川⋈だむ @Dam_midorikawa 11日前
この「ディープラーニングは説明責任を果たせない」問題、たぶんAIの実用化にとって致命的な障害になる
Hornet @one_hornet 11日前
Dam_midorikawa 現在、医師は「何でこの患者のガンは見つけたのにこっちの患者のガンは見つけられなかったんだ」と訴えられているのでしょうか?訴えられているならあなたの仰る通りの事が起きるでしょうね。
しろの @zoshirono 11日前
やっぱりpepperくんには優しく接しないと駄目だな…AIの反乱に備えて…
ナナシ @nanashist 11日前
Shiromagenta その分析の基準を会社が持ってないのがAIの凄いところであり恐ろしいところ。
緑川⋈だむ @Dam_midorikawa 11日前
one_hornet 訴えられているね。癌の見落としはあちこちで訴訟案件になってる
aioi_au @aioi_au 11日前
sakkurisakuri 死体解剖の後は手を洗ってから患者の診察をするよう指示した医者も、数値として結果を出したにもかかわらずオカルトだと医学界から追放されたからね。 非常識だと無意識に無視してる項目があるのかもしれん。
緑川⋈だむ @Dam_midorikawa 11日前
「どうしてこうなった」と言う説明責任を果たせないと言うことは、癌の見落としや歩行者に衝突したと言ったAIの起こした致命的な事故に対して、「次はここをこう直すから同じ事故は起きなくなります」と言う説明も出来ない事になる。 走行中に突然進路変更して歩行者をひき殺した自動運転AIを開発したメーカーが呼ばれて、「どうしてこうなったかわからないので再発防止策はありません」と説明したら、間違いなく使用停止命令が出るよね
緑川⋈だむ @Dam_midorikawa 11日前
結局、ディープラーニング結果のデータベースを「言語化する」技術を開発して判断ロジックを説明できるようにするしかないんだと思う
myo@真面目モード @myomyo01 11日前
mtoaki AI「ここ、癌ですよ」医者「たしカニ!」
おろろ @fYe39CoQsPrbZVK 11日前
Dam_midorikawa 車は一杯人殺しとるけど車自体が利用停止にはならんやろ。人の能力を大きく上回った時点で無くすて方向に舵は切れんのよ
エリ・エリ・レマ・サンバディトゥナイ @mtoaki 11日前
読影は数値データを濃淡に変換してそれを目で見るという迂遠な方法をとるしかないから、数値データをそのまま処理できるAIの方が感度が高く微妙な差異を読み取れるってのもありそう。
緑川⋈だむ @Dam_midorikawa 11日前
fYe39CoQsPrbZVK 今は説明責任を「ハンドルを握っていた運転者」に負わせてるから、「この人は事故を起こして死人が出たからこの人には今後運転させない」と言う処分は普通にやってる。運転者がAIに変わると、「このAIは事故を起こして原因も分からないからこのAIは今後使用禁止」は起き得るじゃろう
くまラブ @yuki_korotyan 11日前
画像解析したら、別の要素が癌の共通点として見つかったって感じだろうか。 輝度とかいろいろ弄れるモノはあるし。
Lyijykyyneleet🇲🇾 @Lyijykyyneleet 11日前
将棋や麻雀とかのAIだと、単にゲームに強いAIを作るんじゃなくて、人間がAIから得たフィードバックで新しい戦術を開発して強くなるのに使ってるということだけど、医療とかの世界だとそういうのはないんだろうか。 ゲームは人間がやるからこそ意味があると思うので、そこがAIに取って代わられるなんてことはないだろうが、医療の場合、AIが判断したほうが人命が助かるとしたら、医師はAIに取って代わられるのかも。
タカセアキラ高瀬玲 @takaseakira 11日前
参照画像の範囲自体を絞っていけば 腫瘍そのもの以外の判別要素を抽出できるかも
ざっぷ @zap3 11日前
改めて書くが、これは「検査精度が上がった話」てあって、今までにない新しい確定診断の方法、ではない。今までなら見逃していたものを見つけられるという話であって、今までもこれからも、見逃す可能性はあるし、疑いがあるものには改めて病理検査という負担の重い検査を行って確定させる。だからコレのみをもって訴訟がどうのってのは気が早い。
nanasiyzyz @aabyyz_ 11日前
将棋とか囲碁と同じだな。高度なAI戦の戦略が解説できない。 AIには明確にロジックがあるけど、人間のほうで解釈が追いついてないので、説明ができないんだ。 AIはまだ「説明」が出来ないから。 将棋だと問題にそこまでならないけど、医療じゃ困るな。 理由はわからんけど腹切りますは困るだろう
@D9hV1M7YOI3PZCj 11日前
aabyyz_ AIが画像判定しただけでいきなり腹切りますってわけじゃないので、最初のツイートにありますが数値や組織検査して病理で確定してからですよ
nesus-B @NesusB 11日前
AIの判断理由が分かるようになる技術が研究中らしいですね。
alan smithy @alansmithy2010 11日前
警察犬の反応だけでは逮捕できないから捜査課がチェックするのと同じ
なこ天 @nakoten1 11日前
ディープラーニングは「質問をn回される面接がm次面接まである」というものだと思ってる。リンゴの画像を見せて、1次面接:左上赤い、右上赤い、左下黄色い、右下赤い…だいたい赤い何か?2次面接:上に黒い棒がある、全体的に縦線が入っている、球体っぽい...りんご?トマト?3次面接:白い斑点があったりなかったり、黒い棒の近くに緑の何か…多分りんご。みたいなチェック項目と面接が無数にあるイメージ。
のりしあん @noricyan2 11日前
前にも書いたけど、かなり前から、コンピュータは人間に読めない文字を読んで郵便物を仕分けていたりしました。その当時から、人間に読めない文字を読むのは間違っていると思う人がいました。
cocoon @cocoonP 11日前
Shiromagenta いや、機械学習って、パラメータはプログラム組んだ人にもわからないので意図的に隠しているんじゃないと思います。「機械がこれとこれの要素は似ていると判断した」際の似ていると思っている度合いはわかるけど、「機械がなんで似ていると思ったのか」はわからないのです。例えばこんな感じで。→ https://qiita.com/youwht/items/92056e63498c36de4e3b
プラタ🍃 @prata_0123 11日前
天才が説明下手みたいな案件 AI「ここがバーっとなってザッときてモニョっとなっているので癌です」医者「なるほどわからん」
RGB000 @19666_61 11日前
今のAI(笑)が出せるのは確率的な所なので、精度を求める作業に配置するのはあれだけど、こういう可能性の提示とかには是非有効活用していただきたい。
だれもいない @9EFnBw71HQFiffy 11日前
SCPなら画像から癌を解析するのではなくて画像として登録された部位を癌化させてるタイプのやつ。多分その画像が人体とかじゃなくて無機物でも「癌化」する
エリ・エリ・レマ・サンバディトゥナイ @mtoaki 11日前
AI「ぜんぜんわからない 俺達は雰囲気で診断をやっている」
らてーる @tenta325 11日前
解析結果を表示します:お前たち人類こそが地球に巣食う癌だ みたいなこと言い出すまで行ってほしい
a7R2Lj @a7R2Ljtm 11日前
AIの診断結果から、特徴を抽出して分析して一般化した基準をつくり論文書いて学会で発表するAIが必要ってことか。人間も頑張らないとな。
truefalse @true08r 11日前
科学的に根拠がない、エビデンスがないとは言わないんだね。
name @jkgkikllh 11日前
まずはスマホで歯科健診できるようにして
mikumiku_aloha @mikumiku_aloha 11日前
この例では、病理(細胞採取して分析など)の結果がエビデンスと思われます。
mikumiku_aloha @mikumiku_aloha 11日前
同じAIを使っていても経験の差で判断も変わるわけですから、再現性の保証も難しいです。
緑川⋈だむ @Dam_midorikawa 11日前
つまるところディープラーニングて「大量にデータ食わせたらなんとなく相関係数的なものが出てきた」でしかないから、何らかの刺激に対していきなり暴走して致命的な事態を起こす可能性が排除できない。自動ブレーキみたいな「AIではない単純なロジックで動いているセーフティー機構」を組み合わせないと危なくてミッションクリティカルなものには使えない
denev @_denev_ 11日前
Dam_midorikawa 医療薬なんかは、薬が人体に効く機序が分からなくとも、治験で効果があると確認できれば認められる。AIも同じようにすればいい。
denev @_denev_ 11日前
Dam_midorikawa 致命的な事態を起こす『可能性』は、人間が運転しようが、AIが運転しようが、どうせ排除なんてできない。確率が十分に低ければ実用には耐える。
ひるね @mzWo1y3xA2WWs7K 11日前
AIの良いところは大量の画像を休みなく処理できること。AIか癌の可能性がある画像を抽出した後で、人間の医師が確定診断を行う。AIと人間が得意な分野で協力し合えば良い。
緑川⋈だむ @Dam_midorikawa 11日前
_denev_ 人間の「どうして事故を起こしたか説明できるが高い確率で事故を起こす運転」と、AIの「事故が起きる確率は低いがいつどういう原因で事故が起きるかは全く予測できない」をどちらを選ぶかだな。トロッコ問題で言えば「不作為による大きな犠牲は作為による小さな犠牲に勝る」という法則でAIを排除するというのが結論になるが
rti @super_rti 11日前
職人の勘というやつだろう。ただ、これからはAIがなぜそう判断したのか、しなかったのかを可視化して人間がAIを理解する技術がどんどん開発されていくと思う。
denev @_denev_ 11日前
Dam_midorikawa 事故の発生を全く予測できないのは、今の人間の運転も同じですよ。また、AIの事故が作為ではなく不作為だという点も人間の運転と何も変わりません。AIが優秀な運転をするようになれば、すぐに世の中の常識なんて書き換わるでしょう。人間は便利さに抗えるほど強くない。
rti @super_rti 11日前
かなり昔、ブラックボックスだと説明できないから、当時は流行ってたSVMではなく、説明可能な決定木を作るランダムフォレストを採用したを聞いたことがあったけど、精度が良いディープラーニングの手法が開発されてからは、説明とかいいからとにかく精度を上げろっていう風潮があると思う。 でも、それって作る方も使う方も辛いだろうから、モデルを説明可能にしていく可視化の技術の需要があると思うし、需要があるならば必ず技術は開発されると思う。
rti @super_rti 11日前
素人考えだけど、正解のデータと、間違いのデータを用意して、正解のデータをランダム変化させて間違いに近づけていって、どこを変えたら間違いと判断されたか、グレーになったか(またはその逆で間違いがどこで正解と判定されるのか)を、決定木などの人間が理解できる手法で作ることで、モデルがどこを見てそうなのか?を可視化出来るんじゃねと思ってるわ。
rti @super_rti 11日前
ようするに、学習は効率の良い複雑なモデルでやるけど、そのモデルの分析には、精度は多少落ちるけど人間様が理解できる手法を使うというわけだな。これでうまくいけばいいんでねー?知らんけど。
ざっぷ @zap3 10日前
理由が求められる分野には理由ごと出すプログラムが、そうでない分野には精度特化のプログラムが作られる、というだけだよ。画像認識とか言語認識とかは結果さえ合ってれば理由(というか思考経路)はいらない。説明は「難しい」だけで不可能でも生物特有でも魂由来なわけでもない。変な固定観念にとらわれてはいけない
緑川⋈だむ @Dam_midorikawa 10日前
ディープラーニングエンジンを使うにしても、別々の経路で教育したエンジンを多数用意して多数決原理で決めるような機構が必要なんだろうな。事故が起きたとしたらその時に事故を起こすほうの判断をしたエンジンを全部廃棄処分すればいい
Simon_Sin @Simon_Sin 10日前
「皮膚がんの症例の画像をAIに食わせれば自動判別できるようになるやろ」しかし皮膚科医は皮膚がんの写真を撮るとき患部の大きさの参考にするため定規をいっしょに写す習性があったので「定規が写ってると皮膚がんだと判定するAI」が爆誕したという笑い話
龍ex @ryu_ex222 9日前
このAI読影で訴訟の話は少々勇み足過ぎかと。AIの診断のみで他の根拠なく切った張ったしてるわけではないためAIの自動運転などとは全く関係がなく、人間が検出できない要素を見つけた上で続けて検査薬や病理診断などを行うあくまできっかけや補助に過ぎないと思われます。 その上で医者が無能ではなく「癌を見つけられなかった」のであれば、現代医学がまだ発見できるだけの技術に到達していないだけでしょう
さっくりさくり @sakkurisakuri 8日前
高度なAIはラマヌジャンみたいなもんだと思っとけばいい

いまツイッターで話題の記事

ログインして広告を非表示にする
ログインして広告を非表示にする