2016年7月29日

Apache NiFi 勉強会 〜データフローの自動化〜 #futureofdata #hortonworks

Apache NiFi 勉強会 〜データフローの自動化〜のまとめ
1
Masaru Dobashi @masaru_dobashi

きょうはこちら -> Apache NiFi 勉強会 〜データフローの自動化〜 futureofdata.connpass.com/event/35428/ #futureofdata

2016-07-27 19:04:59
Hokuto Takai @tsubame959

#futureofdata 河村氏ってCouchの人だと思っていたら、Apache NiFiの人になっていた。

2016-07-27 19:10:16
Neofact @NeofactJ

ApachNifi勉強会始まりました!NiFiコミッター河村さん #futureofdata pic.twitter.com/RQZY91nPO9

2016-07-27 19:10:57
拡大
中村 実 @nminoru_jp

これ開催中なのか。 / “Apache NiFi 勉強会 〜データフローの自動化〜 - connpass” htn.to/yYNtGnS6S

2016-07-27 19:13:22
Masaru Dobashi @masaru_dobashi

コア部分はJavaで作られているっぽいかなぁ…。とりあえずcloneするか。 #futureofdata

2016-07-27 19:25:46
Kimihiko Kitase 🏠 @kkitase

はじまりました > Apache NiFi 勉強会 〜データフローの自動化〜 connpass.com/event/35428/ #futureofdata

2016-07-27 19:30:39
sasazawa @sasasan11

はじめてだけど...nifiで集めて加工。Apache NiFi 勉強会 〜データフローの自動化〜 futureofdata.connpass.com/event/35428/ #futureofdata

2016-07-27 19:31:52
Masaru Dobashi @masaru_dobashi

Attributeをリッチにしていくイメージかぁ。こういうプロダクトで、どこまで加工処理を受け持つか、はバランス感覚が必要そうだなぁ。 #futureofdata

2016-07-27 19:33:34
Masaru Dobashi @masaru_dobashi

この辺が、データマネジメントっぽい考え方の入ったデータフローツールだなぁ、と感じますよね。 #futureofdata twitter.com/kimutansk/stat…

2016-07-27 19:34:32
Kimura, Sotaro @kimutansk

実行時の注意点は有り難い内容ですね。細かく見れる分、溢れる、は結構やらかしますので。 #futureofdata

2016-07-27 19:36:41
Masaru Dobashi @masaru_dobashi

確かに想定しないデータがやってくるのは常なので、そいつをハンドリングする仕組みとうまく連結させるようにする、っていうのは大切かも。 #futureofdata

2016-07-27 19:37:01
Masaru Dobashi @masaru_dobashi

ノンストップで支流させられるっていうのはありがたい。(実際にやろうとすると色々と気がかりではありますが…) #futureofdata

2016-07-27 19:39:27
Kimura, Sotaro @kimutansk

メッセージがキューイングされてるので部分的に止めて更新して試せるのは試行中にはやはり便利。 #futureofdata

2016-07-27 19:39:48
Kimura, Sotaro @kimutansk

DataProvenance、エラー発生時の履歴追うのにやたらと便利ですが、 その分リソースが必要なのは。。。そればっかりは仕方ない話。 #futureofdata

2016-07-27 19:43:15
Masaru Dobashi @masaru_dobashi

DAG型のストリーム処理エンジンとの違いっていうのは、「管理」っていう考え方が色濃く反映された機能、仕様に仕上がっている点なのかなぁ。(考察中) #futureofdata

2016-07-27 19:43:47
yemoto @kaakaa_hoe_prog

DataProvinanceのレンダリングは何使ってるんだろう。ヌルヌル動いてたな #futureofdata

2016-07-27 19:44:43
Neofact @NeofactJ

続いて 木村さんから、Apach NiFiと他プロダクトのつなぎ方 セッション #futureofdata

2016-07-27 19:47:01
Masaru Dobashi @masaru_dobashi

Input・Output Portの可用性はどう担保されるのだろう? #futureofdata

2016-07-27 19:50:39
Masaru Dobashi @masaru_dobashi

なるほど…。役割分担的にはできるだけデータ保持させないほうがよさそうな印象。だとすると、外部データストア、メッセージングシステムからデータを読み込む場合のインデックス管理などの機構が気になりますね。 #futureofdata

2016-07-27 19:56:52
Koji Kawamura @Ijokarumawak

Site to Siteの分散、対応してますのでご安心を!クラスタリングの機構が1.0から変わるため、masterブランチが過渡期だったと思われます #futureofdata

2016-07-27 19:57:39
Cosign @cosign930

会場のタグ指摘間違っていた、うごごご… #futurofdata#futureofdata か…orz

2016-07-27 20:00:42
Masaru Dobashi @masaru_dobashi

コアとエッジを分けたのはワークロードによって、リソースを分離するため?聞き逃してしまいました…。 #futureofdata

2016-07-27 20:03:25
Hiroaki ONO @hihihiroro

途中まで間違ってたショック #futureofdata

2016-07-27 20:04:28
Neofact @NeofactJ

最後のセッションは今井さんからApachNiFiのIOTアプリケーション利用例のご紹介です。#futureofdata pic.twitter.com/g6ARO67kkz

2016-07-27 20:06:17
拡大
残りを読む(25)

コメント

コメントがまだありません。感想を最初に伝えてみませんか?