D&S Data Night vol.02 #yjdsnight のまとめ

0
リンク connpass D&S Data Night vol.02 (2016/05/26 19:00〜) ## イベントについて 昨年11月にヤフー株式会社データ&サイエンスソリューション本部統括主催のワークショップを開催しましたが今回はそのスピンオフ企画の第2弾となります。 会場は11月のイベントよりも小規模になりますが、より深くヤフーのデータ事業・開発環境について理解と他の参加者の皆様との交流をしていただけることを願っています 。 ### 概要 今回は、弊社から4/28に開催するAmbari MeetupからAmbariの概要についてご紹介したいと思います。 我々が運用しているHadoopクラスターで利用
碧彩/hekisai@一般男性 @hekisai_417

AmbariはHadoopを簡単に使える便利ツールくらいしか知識のないクソSIerですがよろしくお願いします。(・∀・) #yjdsnight

2016-05-26 18:59:53
碧彩/hekisai@一般男性 @hekisai_417

800台のHadoopノードを一斉にリスタートできるらしいAmbari 。#yjdsnight

2016-05-26 19:14:43
碧彩/hekisai@一般男性 @hekisai_417

yahoo japan!のインフラ管理に興味があって来たのですがクラスタ50PB級のクラスタが5つとは…。桁が違う。yahoo japan!管理とか僕ならションベンちび理想です。こういう実績あるOSSって信頼に値する。 #yjdsnight

2016-05-26 19:20:56
碧彩/hekisai@一般男性 @hekisai_417

niconicoのHadoop事例。静的なログ(タグ?)と動的なログ(コメ)をカテゴリ分けしとるんだな。ログをデータクリーニングするバッチジョブフレームワークの話。#yjdsnight

2016-05-26 19:39:15
Kimura, Sotaro @kimutansk

本日の発表資料です。 > Hadoop基盤上のETL構築実践例 ~多様なデータをどう扱う?~ / kimutansk さん - ニコナレ nico.ms/kn1483 #yjdsnight

2016-05-26 21:02:35