-
hamadakoichi
- 5549
- 0
- 3
- 1
-
- いいね！1
チーフ データサイエンティスト@トレジャ
@doryokujin
既存のシステムでは三つの目標を同時に達成することが困難 1. リアルタイム性の確保 2. データの水平分散処理 3. 高度な解析 #Jubatus
2011-11-07 17:37:47
チーフ データサイエンティスト@トレジャ
@doryokujin
Haddopは素晴らしい。だがそれと異なる方向で大規模データ解析ができないか #Jubatus
2011-11-07 17:38:29
NISHIO Hirokazu
@nishio
#jubatus MapReduceは処理の自由度は高いが基本的にバッチであり解析結果はすぐには帰ってこない, CEPなどオンライン/ストリーム処理は単純な処理しかサポートしてないものが多い, Hadoopとは異なる方向性を模索しようとしたのがユバタス *YF*
2011-11-07 17:38:49
Kato Kiwamu
@kiwamuk
MapReduce、基本的にバッチ処理で解析結果はすぐかえってこない、オーバーヘッドもでかい。CEP、多くは単純な処理しかできない。そこで #jubatus ...、Hadoop とは異なる方向で大規模データ解析を目指す。
2011-11-07 17:39:11
Toshi Hikita
@hikita
RT @nishio: #jubatus MapReduceは処理の自由度は高いが基本的にバッチであり解析結果はすぐには帰ってこない, CEPなどオンライン/ストリーム処理は単純な処理しかサポートしてないものが多い, Hadoopとは異なる方向性を模索しようとしたのがユバタス *YF*
2011-11-07 17:39:18
チーフ データサイエンティスト@トレジャ
@doryokujin
Jubatusは NTT PF研とPFIによる共同解開発 10.27よりOSS公開 #Jubatus
2011-11-07 17:39:47
Toshi Hikita
@hikita
リアルタイム/ストリーム処理 解析結果はデータ投入後すぐに返せる、多クラス分類もすぐに出す。twitterの内容分析で6000QPSは出せる #jubatus
2011-11-07 17:40:42
チーフ データサイエンティスト@トレジャ
@doryokujin
特徴1. リアルタイム／ストリーミング処理 解析結果はデータ投入後すぐ帰ってくる 他クラス分類になどの学習・分類も一瞬で処理 将来的にはデータを投入し、非同期で結果が返ってくるようにしたい #Jubatus
2011-11-07 17:41:00
Kato Kiwamu
@kiwamuk
各ノードはそれぞれが情報を蓄積し、それらを共有して処理するので大変。"モデルの緩やかな共有" で解決らしい。 #jubatus
2011-11-07 17:42:11
チーフ データサイエンティスト@トレジャ
@doryokujin
特徴2. 分散並列処理 スケールアウト：ノード追加で性能向上。処理量に応じてシステムのサイズを柔軟に変更可能。耐障害性も。 各ノードが独立処理するのは容易だが、情報を共有しながら処理するのは難しい #Jubatus
2011-11-07 17:42:26