Apache NiFi 勉強会 〜データフローの自動化〜 #futureofdata #hortonworks

Masaru Dobashi @masaru_dobashi

きょうはこちら -> Apache NiFi 勉強会 〜データフローの自動化〜 futureofdata.connpass.com/event/35428/ #futureofdata

Hokuto Takai @tsubame959

#futureofdata 河村氏ってCouchの人だと思っていたら、Apache NiFiの人になっていた。

Neofact @NeofactJ

ApachNifi勉強会始まりました！NiFiコミッター河村さん #futureofdata pic.twitter.com/RQZY91nPO9

拡大

中村 実 @nminoru_jp

これ開催中なのか。 / “Apache NiFi 勉強会 〜データフローの自動化〜 - connpass” htn.to/yYNtGnS6S

Masaru Dobashi @masaru_dobashi

今年の夏にNiFi1.0かぁ。 #futureofdata

Masaru Dobashi @masaru_dobashi

コア部分はJavaで作られているっぽいかなぁ…。とりあえずcloneするか。 #futureofdata

Kimihiko Kitase @kkitase

はじまりました > Apache NiFi 勉強会 〜データフローの自動化〜 connpass.com/event/35428/ #futureofdata

sasazawa @sasasan11

はじめてだけど...nifiで集めて加工。Apache NiFi 勉強会 〜データフローの自動化〜 futureofdata.connpass.com/event/35428/ #futureofdata

Masaru Dobashi @masaru_dobashi

Attributeをリッチにしていくイメージかぁ。こういうプロダクトで、どこまで加工処理を受け持つか、はバランス感覚が必要そうだなぁ。 #futureofdata

Masaru Dobashi @masaru_dobashi

この辺が、データマネジメントっぽい考え方の入ったデータフローツールだなぁ、と感じますよね。 #futureofdata twitter.com/kimutansk/stat…

Sotaro Kimura @kimutansk

実行時の注意点は有り難い内容ですね。細かく見れる分、溢れる、は結構やらかしますので。 #futureofdata

Masaru Dobashi @masaru_dobashi

確かに想定しないデータがやってくるのは常なので、そいつをハンドリングする仕組みとうまく連結させるようにする、っていうのは大切かも。 #futureofdata

Masaru Dobashi @masaru_dobashi

ノンストップで支流させられるっていうのはありがたい。（実際にやろうとすると色々と気がかりではありますが…） #futureofdata

Sotaro Kimura @kimutansk

メッセージがキューイングされてるので部分的に止めて更新して試せるのは試行中にはやはり便利。 #futureofdata

Sotaro Kimura @kimutansk

DataProvenance、エラー発生時の履歴追うのにやたらと便利ですが、 その分リソースが必要なのは。。。そればっかりは仕方ない話。 #futureofdata

Masaru Dobashi @masaru_dobashi

DAG型のストリーム処理エンジンとの違いっていうのは、「管理」っていう考え方が色濃く反映された機能、仕様に仕上がっている点なのかなぁ。（考察中） #futureofdata

yemoto @kaakaa_hoe_prog

DataProvinanceのレンダリングは何使ってるんだろう。ヌルヌル動いてたな #futureofdata

Neofact @NeofactJ

続いて 木村さんから、Apach NiFiと他プロダクトのつなぎ方 セッション #futureofdata

Masaru Dobashi @masaru_dobashi

Input・Output Portの可用性はどう担保されるのだろう？ #futureofdata

Masaru Dobashi @masaru_dobashi

なるほど…。役割分担的にはできるだけデータ保持させないほうがよさそうな印象。だとすると、外部データストア、メッセージングシステムからデータを読み込む場合のインデックス管理などの機構が気になりますね。 #futureofdata

Koji Kawamura @Ijokarumawak

Site to Siteの分散、対応してますのでご安心を！クラスタリングの機構が1.0から変わるため、masterブランチが過渡期だったと思われます #futureofdata

Cosign @cosign930

会場のタグ指摘間違っていた、うごごご… #futurofdata → #futureofdata か…orz

Masaru Dobashi @masaru_dobashi

コアとエッジを分けたのはワークロードによって、リソースを分離するため？聞き逃してしまいました…。 #futureofdata

Hiroaki ONO @hihihiroro

途中まで間違ってたショック #futureofdata

Neofact @NeofactJ

最後のセッションは今井さんからApachNiFiのIOTアプリケーション利用例のご紹介です。#futureofdata pic.twitter.com/g6ARO67kkz

拡大