御徒町さんのHadoop管理者トレーニング2日目

Suguru ARAKAWA @ashigeru

DremelはたしかMRの上のスタックじゃなかったはずなので、むしろUDF使ってないPig/Hiveがそのまま爆速になる予感

marble @marblejenka

@m_mouri あ、僕は個人事業主なので、その辺のリスクもコストも全部自分で判断していて、そういう思い切りの良さはあるかもです。まあ僕はあまり深く考えてないので、そもそもあれですが。

Kazunori Sato @kazunori_279

@ashigeru @okachimachiorz DremelはMRとは別ですね。Sybase IQと同じで更新には使えないので、DWH的用途専用。。

M.Mouri @m_mouri

@marblejenka そっか、個人事業主か。確かにHadoop,HBaseはいい武器になりますよ。EC2を使っての演習もあったんですか？だとすれば、初期投資まで抑えられるので強力だなぁ。

Ryu Kobayashi @ryu_kobayashi

@kazunori_279 @ashigeru @okachimachiorz IQ、load tableは速いっす。後、更新するぐらいならselect intoしろって感じです。

Kazunori Sato @kazunori_279

@ryu_kobayashi Dremelみたいなの作るにはIQとかHyper Columnar Compressionと同じくデータを列単位で物理的にまとめて圧縮って設計（列指向）が不可欠なので、ロックとか更新はどうしても苦手すね。HCCなんて2000行ごとに1ロック！

Ryu Kobayashi @ryu_kobayashi

@kazunori_279 ですねぇ。速度を優先するとなるとやっぱりそうなっちゃいますもん。だからリアルタイム更新には向かないっすね。

Kazunori Sato @kazunori_279

@ryu_kobayashi でも、"小林隆"が1万件並んでる列なんかは1万分の1に圧縮してくれるんですよね。はまると速い。

Ryu Kobayashi @ryu_kobayashi

@kazunori_279 圧縮率は高いですからね。”佐藤一憲"とか、"吉川和巳"とかいっぱいあるとダメですね。

Kazunori Sato @kazunori_279

@ryu_kobayashi カーディナリティ高いとダメですね。ってその例ww

Ryu Kobayashi @ryu_kobayashi

@kazunori_279 カズノリだと文字列欠損するので使えませんが。

Mikka @mikka_tech

@okachimachiorz1 お疲れさまでした！こちらこそよろしくお願いします。そして想像を裏切ってしまってすみませんでしたwww

tomo🐧@learning @cocoatomo

@mikka_tech @okachimachiorz1 何が裏切られたのだろうか……?

Tatsuya Kawano @tatsuya6502

あ、それならできます。楽しみです。RT @okachimachiorz1: 多分自分がスライドつくって、tatsuyaさんにレビューしてもらって、発表する感じ＋サポートおねがいみたいな形式。RT @tatsuya6502: @m_mouri @ueshin @yutuki_r