MapReduceは特殊技能か？

Kazuki Ohta @kzk_mover

MapReduceが書ける絶対人数については、増えてる感じがあまりしないし、いろんな企業で特殊スキル認定され始めてる気がする。良い意味でも悪い意味でも。

kuenishi @kuenishi

そうか、アレ特殊技能なのか。HBaseとかKVMとかのインストールや セットアップの方がよっぽど特殊技能じゃないかと（ry

Sho Shimauchi @shiumachi

特殊スキル認定とか、過大評価もいいとこだと思うんですけどねー RT @kzk_mover: MapReduceが書ける絶対人数については、増えてる感じがあまりしないし、いろんな企業で特殊スキル認定され始めてる気がする。良い意味でも悪い意味でも。

Sho Shimauchi @shiumachi

新しい技術や概念をただすげーとか難しそうとか騒ぐのではなく、冷静に全体を見渡してみてそれがどういうものかを理解し、その上で使うべきかそうでないかを判断するというのがエンジニアのあるべき姿だと思うし、私はなるべくそうありたいと思う

チーフ データサイエンティスト@トレジャ @doryokujin

身の丈にあった技術の選択は重要。必ずしも大は小を兼ねないし。でも流行りや規模感のある技術の仕組みを理解するのは重要やと思う。学んで活かすところはたくさんありますし。MapReduceの概念は応用範囲が広いですし

wyukawa @wyukawa

MapReduceは特殊技能か。まあJava書けるとかよりは特殊だわな。VMWare,Xen,KVMあたりも十分特殊だと思う。とはいえ、かつてはニッチだったものが段々ニッチじゃなくなっている気がするので、気づけば一般スキルになっているかも

Sho Shimauchi @shiumachi

数学とか特にそうだけど、難解過ぎて訳わかんない技術や知識というのは確かにあるし、そういうものにばかり取り組み続けるというのは非効率なのも事実。でもやっぱりちょっとぐらいはそういう強敵に立ち向かってウンウン唸るだけの余裕はほしいし、それがまた自分の成長につながると思う

Kazuki Ohta @kzk_mover

@shiumachi Yahoo, Incが相当な給料を出してhadoopチームを引き止めているとか御社ですらHadoopを知っている人のhiringに苦労していで、人材マーケットに出ないのを聞くとまだまだ特殊技能なのかなと。エンジニアとしては必ず抑えておく汎用的概念ですけど。

Yoh Okuno @yoh_okuno

@kzk_mover @shiumachi 概念としてのMapReduceがどうこうというより、大規模クラスタを扱える環境が単純に限られているのが原因かと思います。EMR使えやって話ではありますが。

Yoh Okuno @yoh_okuno

@kzk_mover @shiumachi 大規模クラスタで処理したいような大規模データがないっていう問題のほうが深刻かもしれません。もっとデータがオープンになれば変わってくると思うんですけどね。

Sho Shimauchi @shiumachi

@nokuno @kzk_mover 道具を知ってから使い方を考えるというのもあるのかなと思ってます。データそれ自体には価値はなく、その価値を決めるのはあくまで人間なわけで、目の前のデータの山に価値を見いだせる人はそれを扱う術を知っている技術者だけだと思うのですよ。

Sho Shimauchi @shiumachi

@nokuno @kzk_mover 知識はものの見方を変える魔法のメガネなわけで、MapReduceもその一つです。自社のデータを宝に変えることができるのは自社のエンジニアだけですから、自分としては一刻も早く技術を普及させたいなと思うのです。自分の稀少価値下がりますけどね！

Sho Shimauchi @shiumachi

海外への人材流出で思い出したが、インドの同期も「インドじゃ優秀な人がどんどん海外にいっちゃってさ」とボヤいてた。インドは言葉の壁がないから日本以上に大変なのだろうな

Yoh Okuno @yoh_okuno

@shiumachi インド人も英語に苦労しているような気もしますがw　優秀な人は日本以上に海外志向が強いでしょうね。

Yoh Okuno @yoh_okuno

@shiumachi @kzk_mover なるほど。道具と使い道は表裏一体・鶏と卵なわけで、どちらも大事だと思いますが、エンジニアとしてできることをやろうとすると道具を磨くことが多いかな、と思います。

チーフ データサイエンティスト@トレジャ @doryokujin

@nokuno @kzk_mover @shiumachi 大規模データは無いものは無いので大規模処理ができないのは仕方ないと思います。日本の市場規模やクックパッドのようなデータビジネスをやっている企業が少ない事を考えれば多くの企業では1サービス：数十GB/日がせいぜいなのでは。

Yoh Okuno @yoh_okuno

@doryokujin @kzk_mover @shiumachi doryokujinさんのおっしゃるとおりだと思います。今目の前にあるデータと向き合う（必要そうな道具は覚える）のが大切かな、と。

チーフ データサイエンティスト@トレジャ @doryokujin

@nokuno @kzk_mover @shiumachi @shiumachi さんの言うとおりデータの規模より、それをどう活かすかという本来の目的と、データ処理プロセスの正しい知識を学んで取り組んで行くしかないです。データが価値を持てばそこからデータが産まれてくるはずです

チーフ データサイエンティスト@トレジャ @doryokujin

@nokuno @kzk_mover @shiumachi 本音を言うと日々大規模データといちゃいちゃしている @nokuno 先生が僕はただただうらやましいです！