OCHaCafe2 #6 『Cloud Native × Streaming はじめの一歩』

5月13日19時より開催された 🍔OCHaCafe2 #6 🍔 ~Cloud Native × Streaming はじめの一歩 ~にて投稿いただいたTweetをまとめました! OCHaCafeとは? Oracle Cloud Hangout Cafe、略してOCHa Cafe(おちゃかふぇ)🍔 続きを読む
0
Oracle Developer Community JP @OracleDev_JP

【OCHa Cafe2最終回🍔】 #ochacafe シーズン2 始まって半年。 5/13はシーズン2 最終回をオンラインで開催👨‍💻 今回は Spark Streaming をテーマに『Cloud Native × Streaming はじめの一歩』と題してお届け✨ もちろん、OCHa Cafe名物デモもあります! お気軽にご参加ください♪ ochacafe.connpass.com/event/169396

2020-05-11 17:47:18
Tadahisa Kotegawa @tkotegaw

開始は19:00 ですけどね... 本日よろしくお願いします! #ochacafe twitter.com/kenken87647/st…

2020-05-13 13:24:06
Tadahisa Kotegawa @tkotegaw

例によって今日の #ochacafe でやるデモのソースを先に公開します github.com/oracle-japan/o…

2020-05-13 13:27:48
Ryusaburo Tanaka @rewtheblow

#ochacafe season2最終回「 Cloud Native × Streaming はじめの一歩」の開始~! pic.twitter.com/Sb4YkFFlEh

2020-05-13 19:02:20
拡大
ひこまろ@見習いエンジニア @bookmark_ex

始まりました! OCHaCafe2 #6 Cloud Native × Streaming はじめの一歩 ochacafe.connpass.com/event/169396/ #ochacafe

2020-05-13 19:04:16
Takuya Niita @takuya_0301

参加者の皆様全員自宅から! #ochacafe

2020-05-13 19:04:38
z a k i @zaki_hmkc

zoomってアンケートもとれるんですね。しらなかった #ochacafe

2020-05-13 19:04:47
gonsuke777 @ora_gonsuke777

ちと出遅れたが OCHaCafe に Zoom in! 彡(゚)(゚) #ochacafe

2020-05-13 19:10:25
gonsuke777 @ora_gonsuke777

Apache Spark の仕組み、並列分散処理のプラットフォーム 彡(゚)(゚) #ochacafe

2020-05-13 19:11:20
Takuya Niita @takuya_0301

Apache Spark=並列分散処理プラットフォーム。バッリ、ストリーミング、統計/機械学習処理などに利用可能 #ochacafe

2020-05-13 19:11:21
gonsuke777 @ora_gonsuke777

Hadoop の MapReduce の課題、中間処理による DiskI/O多発 彡(゚)(゚) #ochacafe

2020-05-13 19:12:20
gonsuke777 @ora_gonsuke777

Apache Spark は M/R の課題に対して、メモリの活用でアプローチした。 彡(゚)(゚) #ochacafe

2020-05-13 19:13:52
ほかいち(Shino) @hokaichimei

#ochacafe はオンラインのセミナーで今からでも参加できます ↓ oracle.zoom.us/webinar/regist…

2020-05-13 19:14:11
Takuya Niita @takuya_0301

従来のMapReduceは中間データをHDFSで管理するためディスクI/Oが大半を占めていたが、Sparkは中間データをメモリで管理することで、ディスクI/Oを削減した #ochacafe

2020-05-13 19:14:42
gonsuke777 @ora_gonsuke777

RDD でデータを分散 彡(゚)(゚) #ochacafe

2020-05-13 19:14:53
gonsuke777 @ora_gonsuke777

RDD(Resilient Distributed Datasets)、複数ノードのメモリに分散したパーティションを、一つのデータ単位として扱う仕組み 彡(゚)(゚) #ochacafe

2020-05-13 19:17:08
Takuya Niita @takuya_0301

SparkはRDDという分散コレクションを使うことで大量のデータを高速に処理可能 #ochacafe

2020-05-13 19:17:15
gonsuke777 @ora_gonsuke777

RDD は Disk に永続化することも可能 彡(゚)(゚) #ochacafe

2020-05-13 19:18:25
gonsuke777 @ora_gonsuke777

RDD(Spark 1.0) → DataFrame(Spark 1.3) → Dataset(Spark 2.0) とバージョンと共に分散コレクションのタイプが増えている。 彡(゚)(゚) #ochacafe

2020-05-13 19:20:04
Takuya Niita @takuya_0301

分散コレクションタイプの名前、RDD→DataFrame→Datasetという流れが機械学習を意識しているように見えてしまう...(違うと思うけど #ochacafe

2020-05-13 19:21:22
残りを読む(103)

コメント

コメントがまだありません。感想を最初に伝えてみませんか?