-
- いいね！14
sasazawa
@sasasan11
10/26 27 hadoop summit あるよ！ホートンワークス今井さん #futureofdata #IDCF pic.twitter.com/0XTfMgQIKT
2016-07-27 20:07:12
拡大
Masaru Dobashi
@masaru_dobashi
ドキュメントはしっかりしている印象。 nifi.apache.org/docs.html #futureofdata
2016-07-27 20:09:35
Sotaro Kimura
@kimutansk
@masaru_dobashi 事例ですので私の個人的な考えになりますが、リソースの分離もありますが、収集部を分散可能とするため、プロセスをわけているのだと考えています。 #futureofdata
2016-07-27 20:11:12
Masaru Dobashi
@masaru_dobashi
ふむふむ。分かりやすい理由と思います。あとは、もしかしたら使用するリソースも種類が違うっていうのもあるかもしれませんね。CPUインテンシブか、IO（IOバッファリング）インテンシブか、など。 #futureofdata twitter.com/kimutansk/stat…
2016-07-27 20:14:52
Masaru Dobashi
@masaru_dobashi
プロダクトの選択はさておき、ここで紹介されているアーキテクチャ構成は本当によく見るものだなぁ、と。（私も同じような構成で組むこともありますね） #futureofdata
2016-07-27 20:23:34
Hiroaki ONO
@hihihiroro
データソースの種類が多様、データソースを動的に足したいこともある場合のデータパイプラインにはNifi が良い #futureofdata
2016-07-27 20:29:50
Masaru Dobashi
@masaru_dobashi
データパイプラインを組む時に、フローを中心に考えるか、メッセージングシステムを中心に考えるかで方式が少し変わってきそう。（あとで、どっかでちゃんと説明したい） #futureofdata
2016-07-27 20:30:14
Koji Kawamura
@Ijokarumawak
そのデータフロー NiFiで楽にしてあげましょう #nifi #futureofdata slideshare.net/KojiKawamura/n… via @SlideShare
2016-07-27 20:56:34
Masaru Dobashi
@masaru_dobashi
NiFiを発端としたマネージメントを意識したデータフローの話はけっこう刺激になりました。色々と議論できました。#futureofdata
2016-07-27 21:47:39
Kimihiko Kitase
@kkitase
Apache NiFi 勉強会 〜データフローの自動化〜 終了 参加された方、会場提供いただいたIDCフロンティアさん、ありがとうございました！登壇者の皆様、お疲れ様でした！#futureofdata pic.twitter.com/eAzdyLJrTo
2016-07-27 23:20:03
拡大
Sotaro Kimura
@kimutansk
本日の発表資料です。尚、StSClientのクラスタリングについては移行時の一時的な状況とのことです。>Apache NiFiと他プロダクトのつなぎ方 slideshare.net/SotaroKimura/a… twitter.com/Ijokarumawak/s… #futureofdata
2016-07-27 23:21:42
Koji Kawamura
@Ijokarumawak
Site to Siteの分散、対応してますのでご安心を！クラスタリングの機構が1.0から変わるため、masterブランチが過渡期だったと思われます #futureofdata
2016-07-27 19:57:39
Masaru Dobashi
@masaru_dobashi
NiFiのマスタブランチのとあるpomを見ると、Kafkaのバージョンは0.8.2.2っぽいけど8系対応なのかな。認識あっているのだろうか。 #futureofdata
2016-07-27 23:22:36
Masaru Dobashi
@masaru_dobashi
というか、そういうバージョン関係の情報はドキュメントのどの辺に載っているのだろう。 #futureofdata twitter.com/masaru_dobashi…
2016-07-27 23:29:40
Masaru Dobashi
@masaru_dobashi
あ！ありました。0.9.0.1ってなっていますね。ありがとうございますー。FAQっぽい話ですね（＾＾；；； #futureofdata twitter.com/Ijokarumawak/s…
2016-07-27 23:42:25
Koji Kawamura
@Ijokarumawak
@masaru_dobashi 8系と9系のmoduleが２つあって、nifi-kafka-pubsub-processorsのConsumeKafka, PublishKafkaは0.9系です
2016-07-27 23:35:07
Masaru Dobashi
@masaru_dobashi
AbstractKafkaProcessorあたりを読むと、処理後に明示的にコミット呼ぶようにしているように見えますね。(kafka9系対応版API） #futureofdata twitter.com/masaru_dobashi…
2016-07-28 00:03:16
Masaru Dobashi
@masaru_dobashi
なるほど…。役割分担的にはできるだけデータ保持させないほうがよさそうな印象。だとすると、外部データストア、メッセージングシステムからデータを読み込む場合のインデックス管理などの機構が気になりますね。 #futureofdata
2016-07-27 19:56:52
ふじわらとしゆき
@SalviatiAisle
The latest デイリー つぶやき新聞! paper.li/SalviatiAisle?… Thanks to @u_sib #choicecontent #futureofdata
2016-07-28 06:14:44
chimcity
@chimcity
The latest デイリー chimcity! paper.li/chimcity?editi… Thanks to @aoki3kara @wats4936 #jazug #futureofdata
2016-07-28 08:05:02
Kimihiko Kitase
@kkitase
7/29 大阪で開催。データ活用最前線 〜 蓄積、分析、可視化 〜 connpass.com/event/35431/ #futureofdata #hortonworks
2016-07-28 08:07:28
Yuta Imai(imai-factory)
@imai_factory
昨日のApache NiFi勉強会で話したIoTアプリケーションの資料です。Demoアプリケーション、また後日パブリックに動かして誰でもアクセスできるようにしたいと思いますが、ひとまずスライドだけ。 slideshare.net/imaifactory/io… #futureofdata
2016-07-28 17:48:08