hadoophn まとめ - Togetter
Twitterのつぶやきマッシュアップメディア!
@togetter_jpをフォロー
マイページ
メニュー
設定
ログイン
トップ
ニュース
社会
地域
芸能・スポーツ
IT・Web
科学・教養
カルチャー
趣味
生活
仕事
ネタ・お笑い
ログ・日記
震災
311
二次創作
不正受給
ネタ
復興
片山さつき
放射脳
速報
国内
アジア
アメリカ
ヨーロッパ
その他
政治
経済
国際
法律
環境
コラム
東京
東京近郊
北海道
東北
関東
北陸・信越
東海
近畿
中国・四国
九州・沖縄
海外
芸能
テレビ
ラジオ
野球
サッカー
ゴルフ
格闘技
競馬
モータースポーツ
その他
Android
Apple
インターネット
パソコン
モバイル
ガジェット
サイト制作
プログラミング
その他
科学
テクノロジー
エネルギー
数学
物理
宇宙
自然
人文
建築
心理
その他
アニメ
ゲーム
マンガ
アイドル
映画
音楽
書籍
演劇
ファッション
社会学
カメラ
車・バイク
電車
旅行
釣り
歴史
アート
デザイン
動物
その他
ハウツー
レシピ
グルメ
恋愛
マネー
節約
健康・医療
教育
ペット
起業・ベンチャー
経営
マーケティング
会計・人事
法務
就職・転職
語学・資格
ネタ
お笑い
大喜利
画像・動画
やってみた
その他
ログ
日記
思い出
雑談
メモ
飲み会
議事録
イベント
セミナー
復興
原発
支援
政府
自治体
トップ
>
トップ
>
311
> hadoophn まとめ
2010/03/08 19:51:16
+
hadoophn まとめ
まとめました。
by
theoria
0 fav
648 view
Fav
0
お気に入りに登録ならここをクリック!
まとめ
メニューを開く
一括削除
Yahooは象と関係あるモノがすきだねぇ。
#hadoophn
返信する
RTする
ふぁぼる
taka0024
2010/03/08 19:05:53
Hadoopはひとつの会社の為ではなくてみんなで使えるものです。
#hadoophn
返信する
RTする
ふぁぼる
techblogyahoo
2010/03/08 19:06:15
#hadoophn
MLの流量ではhBaseが激増してるぞう(2009年)
返信する
RTする
ふぁぼる
Nakada_itpro
2010/03/08 19:07:54
yahoo. 25000 nodes使ってる。スペック知りたい‼
#hadoophn
返信する
RTする
ふぁぼる
hiromiarts
2010/03/08 19:09:39
約40人のエンジニアでまわしてるんだ。Yahooは最大のテスターでもある。
#hadoophn
返信する
RTする
ふぁぼる
nemoton
2010/03/08 19:10:33
Yahoo!はHadoopをサポートするけど、Hadoopサービスを売る訳ではないよ。そりゃそうだ。 (
#hadoophn
live at
http://ustre.am/cUEn
)
返信する
RTする
ふぁぼる
fujibee
2010/03/08 19:11:14
Yahooがどんな用途にHadoopを使っているか。DevやQAは10%程度、主に研究分野に60%程度使っている。本番環境にも20%くらい使っているよ。本番はstableを使う。 (
#hadoophn
live at
http://ustre.am/cUEn
)
返信する
RTする
ふぁぼる
fujibee
2010/03/08 19:13:45
YahooのHadoop上には82PBのデータがあります。 (
#hadoophn
http://ustre.am/cUEn
)
返信する
RTする
ふぁぼる
techblogyahoo
2010/03/08 19:14:36
hadoopのpatchがYahoo以外の人からもここ2年でたくさアップされてる。
#hadoophn
返信する
RTする
ふぁぼる
techblogyahoo
2010/03/08 19:15:51
2009年に新しいレコードがある。1PBのソートを3658ノードで16.25時間! (
#hadoophn
live at
http://ustre.am/cUEn
)
返信する
RTする
ふぁぼる
fujibee
2010/03/08 19:16:19
Yahooトップページでの利用例 検索インデックスや広告などの分析にも利用している。
#hadoophn
返信する
RTする
ふぁぼる
techblogyahoo
2010/03/08 19:20:17
メールの分析(spam判定)などにもつかってる
#hadoophn
返信する
RTする
ふぁぼる
kuni_Tw
2010/03/08 19:22:48
今の所、hadoopを使うといいとこだらけ。
#hadoophn
返信する
RTする
ふぁぼる
techblogyahoo
2010/03/08 19:27:10
検索補助機能のデータを作成するのに、hadoopを利用する前までは、2~3週間かかってたのが、20分で終わるようになったみたい。
#hadoophn
返信する
RTする
ふぁぼる
techblogyahoo
2010/03/08 19:28:35
例:Search Assist 検索レコメンデーション C++で解析に26日かかっていたところ、hadoopを使うとPythonで数時間(分?)
#hadoophn
返信する
RTする
ふぁぼる
yoshiyoshiyoshi
2010/03/08 19:29:23
C++からpythonで開発するようになり、開発工数も大幅に短縮された。
#hadoophn
返信する
RTする
ふぁぼる
techblogyahoo
2010/03/08 19:29:42
map reduce をもっと簡単に ー> PIG
#hadoophn
Yahoo! の60%の開発はPIG
返信する
RTする
ふぁぼる
mybox
2010/03/08 19:29:47
pig でコード量は1/20に 開発期間は1/16に。
#hadoophn
返信する
RTする
ふぁぼる
paming
2010/03/08 19:30:01
Pigの開発コードは1/20になるけど、パフォーマンスは2倍程度落ちる。これはいいベンチマーク。 Yahooの60%はPig!
#hadoophn
返信する
RTする
ふぁぼる
fujibee
2010/03/08 19:30:01
劇的before-after! 処理、26days/C++ から 20min/Python. 開発時間も2-3daysまで短縮
#hadoophn
返信する
RTする
ふぁぼる
nemoton
2010/03/08 19:30:11
PigがHadoopにのっていました
#hadoophn
返信する
RTする
ふぁぼる
tomonoria
2010/03/08 19:30:12
ぜひPigとpapyrus比較してください!レポート!! RT
@sasata299
: Pig使ってみたい。yahooでも60%はPigを使ってるらしい
#hadoophn
返信する
RTする
ふぁぼる
fujibee
2010/03/08 19:32:44
oozie 新しいワークフロー&スケジュールシステム
#hadoophn
返信する
RTする
ふぁぼる
paming
2010/03/08 19:33:51
YahooではHadoopを積極的に利用している。Hadooop利用前は2~3週間かかった処理が20分になった。YahooではPigを利用している。開発コードは1/20になった。しかし、パフォーマンスは低下する。現在Hadoopの60%でPigを利用している。
#hadoophn
返信する
RTする
ふぁぼる
takashi_ohmoto
2010/03/08 19:34:33
pig
http://bit.ly/nRhqp
#hadoophn
返信する
RTする
ふぁぼる
techblogyahoo
2010/03/08 19:34:39
Content from Twitter
残りを読む(85)
ブログへ
iframe版
拡張版
張付けプレビュー
Fav
0
あわせて読みたい
Hadoop Hack Night Vol. 2
大名古屋#07
#hadoop_training
Hadoop Hack Night Vol.2 #hadoophn
Hadoopは仮想化の流れに逆行するのか?
powered by Preferred Infrastructure
コメント
コメントを入力してください。
Twitterにも投稿する
みんなのおすすめ商品
商品を編集
おすすめ商品を登録する
設定を変更する
まとめを作成する
プロフィール
フォローする
まだ自己紹介が設定されていません。
theoria
twitter
rss
アップデート
まとめ
14
10
糸柳セルフフェラ問題
1
人生初デリヘル呼んでみた! しかしやれなかった! 素股さえ!
96
ヤリチンとオタクは似ている
お気に入り
2
コメント
3
新着のまとめ
Z/XなるTCGに関してのやり取りのログ
new
現役ホモ男子高校生の惚れさす名言集
new
中国の固有名詞の日本語表記 1205
new
2012/05/28 国会事故調 菅前総理大臣..
new
★ふくいち及び東電関連情報まとめ 5/20~5..
new
もっと見る
@togetter_jp
最近追加された商品
MOTION MotionTech 防水フィルム iPhone4対応 Aquashield IP..
読んだはしからすぐ腐る!
ドラえもん ジャイアン猛言トランプ ジャイアニズム 暴言 心の友よ イラスト ゲーム サイン エ..
戦後の光と影~ちあきなおみ、瓦礫の中から
ロック暴言・珍言・妄言集
オススメ
マイスター
トゥギャ通
『私がグーグルマップとフォトショップを使って「..
昭和初期の『格差』について
埼玉南部の奴らがみた変な虹の写真まとめ
up
MIT から低線量被曝影響の研究論文〜自然放射..
黙れ小僧!お前に◯◯学の不幸が癒せるのか
up
“北九州、瓦礫焼却による放射能拡散予想図”は「..
もっと見る
#一番ヤバいバックに付いている組織を考えたら優..
new
「おしっこ我慢大喜利」まとめ
new
明治大正昭和初期の農民の理想と現実
new
佐々木俊尚さんのstudygiht関連ツイート..
new
NHK あさイチ 「どうする?被災地ガレキの広..
new
NNNドキュメント’12 「医療被曝~過剰投与..
new
もっと見る
第80回「日食写真と昭和格差」
号外「みんなの金環日食まとめ―画像から教養ま..
第79回「虚構新聞とJリーグ」
第78回「コンプガチャとIT系かあちゃん」
第77回「びろーんと自宅警備隊」
第76回「Appleとパンツクッキー」
もっと見る
コメント