BigDataとは

INTERNET Watch @internet_watch

【100Tweets】NII、新プロトコル「MMCFTP」で世界最速クラス約83.7Gbpsの長距離データ転送に成功　 internet.watch.impress.co.jp/docs/news/2015… pic.twitter.com/bl8YSSPxqB

拡大

ELD-R-ESH-2 @eldesh

物理学の実験データまでビッグデータとか言い出してんの…

kryozahiro @kryozahiro

@eldesh 本当のビッグデータの話で化学系のグラフマイニングとかあるから物理にも何かあってもいいかも？

Takashi Miyamoto @tmiya_

@eldesh まぁ実際問題として素粒子実験のデータ解析、ビッグデータなんですけどね。

ELD-R-ESH-2 @eldesh

. @tmiya_ @kryozahiro それらは単なるデータマイニングとは異なるんですか？

いぐにすさん @ignis_fatuus

@eldesh 実際ウチのとこペタバイト級のデータあると思うで。10万以上の実験回数あるし。

ELD-R-ESH-2 @eldesh

@ignis_fatuus 私の理解(≒印象)では大きいデータとビッグデータは違うものなのです

ELD-R-ESH-2 @eldesh

バズワードなのでどうせ何も情報持って無い言葉だとは思ってますが

いぐにすさん @ignis_fatuus

@eldesh 変数の種類が多いという話？単純に大きさだけでは言えなくとも、物理でもビッグデータあり得ると思います。

kryozahiro @kryozahiro

@eldesh データマイニングとビッグデータの違いといわれると難しいけど、自分はデータ量を処理するためにアルゴリズムを工夫してるぐらいのイメージかなー

ELD-R-ESH-2 @eldesh

@ignis_fatuus あれは大量のゴミデータ(アクセスログ)を集めると(意味のある≒儲かる)情報が取り出せたという文脈で出てきた言葉だと思います。なので、ビッグな(単体では無意味な)データであると。(続

ELD-R-ESH-2 @eldesh

@ignis_fatuus ですので単体で意味のあるor役立つと始めから分かっているデータ(のあつまり)をビッグデータというのは元の意味と異なると思います。

kryozahiro @kryozahiro

全体を見るのが統計、個別情報を取ってくるのが情報検索、部分に注目するのがデータマイニングというのを見つけた

いぐにすさん @ignis_fatuus

@eldesh 実験は(当然)何か目的があって解析もその目的のためにするのですが、後から全く別の目的のために色んなデータを解析し直すってこともあるので、必ずしも始めから何に役立つかがわかってるわけではないのではないかと。

kryozahiro @kryozahiro

じゃあビッグデータはどこに入るのかと言うとバズワードだし迷うけど、やっぱりアルゴリズムをスケールするようにしてるかが重要なんじゃないかな・・・データが小さいor時間がたっぷりあるなら問題が簡単になるのだから、逆をみるとビッグデータには新しい問題があると言える、とか

Takashi Miyamoto @tmiya_

@eldesh @kryozahiro 素粒子実験とかだと大量のデータを全部記録することは出来ないのでオンラインでデータが発生した時点でデータをオンラインで解析して記録すべきか否かを判定して、記録すべきデータだけ記録して、みたいなことをしてますね。良い文献のリンクが見つからない。

kryozahiro @kryozahiro

@tmiya_ なるほどー　既にあるデータからサンプリングというのは聞きますがデータ発生時でやるのもあるんですね

dunnhumby @dunnhumby

We have found #bigdata and it's quite big. #StarTrek via @wtrsld pic.twitter.com/57wJm7kjuK

拡大