-
- いいね！2
みうら かずひと(SonarQube好き)
@kazuhito_m
「StreamAPIにテストの考慮がない」 うーん、それはそのとおりなのだけど…「テストが必要なとこは外だししとけ」っていう組み方にもよる…本質的じゃないからやめとこ。 #jjug_ccc #ccc_gh6
2015-11-28 18:28:35
Yuta Okamoto
@okapies
Stream API は入力が並列化できないので、マルチスレッド対応といっても半端、というのはそうだよなー。一方、Spark や Asakusa は大量データを分散処理するためのフレームワーク。 #jjug_ccc #ccc_gh6
2015-11-28 18:29:46
みうら かずひと(SonarQube好き)
@kazuhito_m
この話聞いてると「Apache Spark素敵！」ってなるのだけど…実際「ギョームプログラムを書く」となると、Asakusa Fremeworkの思想「バッチアプリケーションを作成するため」っての、良く働くのかもなー？ #中身しらんと言ってる #jjug_ccc #ccc_gh6
2015-11-28 18:30:34
dahlia
@dahlia_cocoa
Asakusa Framework、なんか思ったより敷居低そうなフレームワークやなあ。分散処理するバッチアプリケーションを作るためのFWでSparkも実行基盤にできるよ、と #ccc_gh6 #jjug_ccc
2015-11-28 18:30:48
dahlia
@dahlia_cocoa
Javaでサービス組む日がもし来たら(多分しばらく新規サービスはないが)使いたいかもしれないと一瞬思ったなど #ccc_gh6 #jjug_ccc
2015-11-28 18:32:19
Yuta Okamoto
@okapies
Asakusa は、当初 Hadoop 版でやってた処理を Spark ベースでやるようにしたところ、処理時間が10分の1になった。オーバヘッドが小さくなってきたのでデータサイズの小さいユースケースでも悪くない、と。 #jjug_ccc #ccc_gh6
2015-11-28 18:35:49
みうら かずひと(SonarQube好き)
@kazuhito_m
■あるバッチの実行時間変遷 ・Hadoop 45〜50 ・Hadoop + スモールジョブ実行エンジン 10〜15分 ・Sperk 3〜4分 この話解りやすいなー。 でも「ちゃんとその中身知ってないといけない」から盲信したらアカンけど。 #jjug_ccc #ccc_gh6
2015-11-28 18:36:14
みうら かずひと(SonarQube好き)
@kazuhito_m
ここで、@kis さんのセッションとでも出てきた「CPU頭打ち問題」の話。 #jjug_ccc #ccc_gh6
2015-11-28 18:37:36
こざけ@よければ一緒に
@s_kozake
クロック数は頭打ち、コア数はどんどん増えている 今日は色んなところでこの話しを聞くな〜 #jjug_ccc #ccc_gh6
2015-11-28 18:37:39
Yuta Okamoto
@okapies
SSD、メニーコア化、大容量不揮発性メモリの普及が進むと、また最適なアーキテクチャは変わってくる、と。Asakusa はリコンパイルだけで追従できる？ #jjug_ccc #ccc_gh6
2015-11-28 18:40:19
みうら かずひと(SonarQube好き)
@kazuhito_m
そうなんだよなー「Streamのparalel()」って、「設定やアノテやAOPみたいに”透過的”に適用できない」で、ソース変更が必要なんだよなー。 #jjug_ccc #ccc_gh6
2015-11-28 18:42:13
sandfishlab
@sandfishlab
本当に灰色のページにはお世話になってます。 そしてDQ10はスライドに書いてあっても触れていかないスタイル。 #jjug_ccc #ccc_gh6
2015-11-28 18:45:03