Bioinfomaticsのpublic domainのdataに対する性能改善手法の論文はほとんど研究不正？

Ken McAlinn @kenmcalinn

@Yh_Taguchi 手法の評価方法が間違えてるという話なんですけど。

Ken McAlinn @kenmcalinn

あと統計推論の間違いを指摘しても「どうすれば正しくできますか」とか「一緒に分野を変えましょう」とはならないの、謎。下手したら分野を変えるいい論文書くチャンスじゃん。

田口善弘＠発言は私の個人としての見解であり中央大学やその機関の意見を代表するものではありません @Yh_Taguchi

@kenmcalinn どう直せるか見込みはあるのでしょうか？ないのだと思いますが。分野の性質上。

Ken McAlinn @kenmcalinn

@Yh_Taguchi もっと具体的にどういう慣行かわからないとなんとも言えないですが、ないのなら結論が間違えてるリスクを認識しないといけないと思いますよ。

田口善弘＠発言は私の個人としての見解であり中央大学やその機関の意見を代表するものではありません @Yh_Taguchi

@kenmcalinn 結論が間違得ているリスクは認識しています。結論が間違っているリスクがあることをあなたは研究不正と呼んでいるのですか？

Ken McAlinn @kenmcalinn

@Yh_Taguchi 研究不正を行えばリスクはあがるという指摘ですよ。

田口善弘＠発言は私の個人としての見解であり中央大学やその機関の意見を代表するものではありません @Yh_Taguchi

@kenmcalinn 研究不正をしている研究はリスクが上がるんじゃ無くて全否定されるんですよ。何かを研究不正だと呼ぶのはそれ位責任重大な発言です。

Ken McAlinn @kenmcalinn

@Yh_Taguchi 全否定されるタイプの不正もありますが、そうでもない不正もあるので後件肯定になってると思います。

田口善弘＠発言は私の個人としての見解であり中央大学やその機関の意見を代表するものではありません @Yh_Taguchi

@kenmcalinn 研究不正があったら、研究は全否定だと思いますが。一部に不正があったけとこの部分はオーケーとか無いと思います。

Ken McAlinn @kenmcalinn

@Yh_Taguchi そういうタイプの不正はありますが(データ捏造とか)、そうではないタイプの不正もありますよね。例えばHARKingも不正ですが、探索的研究としては認められます。

田口善弘＠発言は私の個人としての見解であり中央大学やその機関の意見を代表するものではありません @Yh_Taguchi

@kenmcalinn 言葉の使い方が間違っていると思います そういうものは 研究不正 と呼ばれないと思いますが

Ken McAlinn @kenmcalinn

@Yh_Taguchi HARKingは研究不正じゃないと思ってるんですか？

ざるご博士 @zalgo3

@kenmcalinn @Yh_Taguchi 文部科学省が研究不正を定義しているので、例えばこれに則って話すと良いのではないでしょうか？ mext.go.jp/b_menu/shingi/…

uncorrelated @uncorrelated

bioinfomaticsでも過剰適合しないようにcross-validationをかけるなりして工夫されていますよね？ — しかし限界はあるので、同じデータ生成プロセスからの新たなデータで検証するまでは、本当に性能向上したと言い切るのは避けた方がよいかもです。 x.com/Yh_Taguchi/sta…

田口善弘＠発言は私の個人としての見解であり中央大学やその機関の意見を代表するものではありません @Yh_Taguchi

これを厳密に適用するといわゆるパブリックドメインのデータを対象にして「既存手法より性能が向上しました」とやっているバイオインフォマティクスの論文は全部研究不正ということに成るのだろうか？ というか同じデータの再解析が全部研究不正なら手法の性能の向上ってどう検証するのだろう？ x.com/kenmcalinn/sta…

2024-02-27 10:43:11

田口善弘＠発言は私の個人としての見解であり中央大学やその機関の意見を代表するものではありません @Yh_Taguchi

@uncorrelated それを厳密に運用すると殆どのバイオインフォマティクスの研究はNGだと思います。

uncorrelated @uncorrelated

@Yh_Taguchi 過剰適合していないか注意を払っていないとすると、新たなデータセットと向き合わないといけない応用時に大惨事になる（可能性が小さくない）ので、分野全体で考え直した方がよいかもしれません。

田口善弘＠発言は私の個人としての見解であり中央大学やその機関の意見を代表するものではありません @Yh_Taguchi

@uncorrelated 注意は払ってますが、他に方法がないからやっているんだと思います

uncorrelated @uncorrelated

@Yh_Taguchi 個々の研究者は研究リソースの問題で、cross-validationをかけたり、limitationを書いたりするぐらいしか方法が無い場合が多いとは思います。

Kengo Sato @stkng

これofこれ。データの性質をろくに考えずにrandom splitでcross-validationしてSOTA出ましたと主張する論文が稀によくあって問題になってます。散々指摘されているのに懲りずにやってきますので、もはや不正と言われても仕方ないかと。 x.com/uncorrelated/s…

Tomo @T45356

@Yh_Taguchi いわゆる数値性能の向上とは別観点じゃないですかね

田口善弘＠発言は私の個人としての見解であり中央大学やその機関の意見を代表するものではありません @Yh_Taguchi

@T45356 別ではないと思います。これがリアルデータではなく、人工データなら、アンサンブル平均をとるとか、別の生成データでやるとか普通にやるので。リアルデータなので止むなく使い回しているだてだと思います。

torusengoku💙💛 @torusengoku

これはちょっと意味がわからない。不正だけど認められる？ x.com/kenmcalinn/sta…

Ken McAlinn @kenmcalinn

HARKingは探索的研究を仮説検証型研究として発表するから不正である、けどその結果自体は探索的研究として意味があるから研究が全否定されるわけではない。 x.com/torusengoku/st…

Ken McAlinn @kenmcalinn

あとは有意にならなかったからデータを追加で集めるのは不正だけど、ちゃんと補正すれば問題ないから研究が全否定されるわけではないと思う。

Ken McAlinn @kenmcalinn

統計推論の間違いや不正は手順の問題だから手順を直せば問題ない。データ捏造とかはデータ自体の問題だから全否定になる。