- bloodeagle40234
- 720
- 0
- 1
- 3
なんか課題あるかなってPrestoからSwift叩いてみたけど、多少つまったものの、とりあえず動いてしまった。そうすると、性能とか見た方がいいのかなぁ。性能の感覚(これが速いとか遅いとか)とかわからんのだけど。
2017-06-20 18:01:12お、来た。やっぱdefaultはsigv4なのか。sigv2らしきconfigに変えたら動いたぞい。
2017-06-20 17:23:07ちょっとずつ進んでる感はある。とりあえずHiveクエリでローカルのSwift(via Swift3)とおしゃべりするところまでは来たのだけれど、若干方言があるのか、Hive様にご報告がご理解頂けていないご様子。
2017-06-20 14:25:02とりあえず、めんどいので一旦bucket固定でhost名べた書き登録して乗り切ろう。せっかく、理解し始めた環境を他のインストーラにぐちゃぐちゃにされるのはいやだ。
2017-06-20 13:38:37HDP、マニュアル見る感じだとUbuntuにも対応している模様。1patchのためにHadoopのセットアップやり直すかどうか悩み中。
2017-06-20 13:26:12@_oza おう、そういうことか。apache.orgからとってた。そっちを試してみよう。DL用のリンクある?
2017-06-20 11:47:26@_oza Hadoop? とりあえずfs.s3aの設定はyarn-site.xmlに書いてるし、まだHiveコンソール試してる段階なのであってるはずなんだが。endpointはlocalhostに向けられてるんだけど<bucket>.localhostになってしまう。
2017-06-20 11:45:18うーん、なんでだろ。fs.s3a.path.style.accessをtrueにしてるのにvirtual hosted styleでアクセスに行ってhost not knownされてしまう。
2017-06-20 11:38:33@_oza おk、おk。昨日のエコ的な話も理解し始めた。元々HDFS+HIVEで動くものがあって、その足回りだけS3に付け替えて後はコード流用って話なんね。
2017-06-20 11:36:04@_oza ほーい、さんくす。とりまメタストアがテーブルと実ファイルの紐付けってのは合ってるんだよね?正直、なんか改良ポイントがあるのか、あるとすればどこ触ればいいのかを見てる段階なので動きの把握の段階なのです。(歴史的経緯抜きになにがどこにあったほうが、ていうのは整理の一環)
2017-06-19 22:08:09@_oza あー、EMRはpresto+hive metastoreのセットアップあったね。原理上はできるってことか。6000行っていうのはよくわからんかったけど。
2017-06-19 21:54:40@_oza んー、なるほど。とはいえ、S3使う場合hdfsのセットアッブ強いられるのって辛くないのかな?概念だけでいえばhiveメタストアとstorage engineはスパースでよさそうだけど。(理解があってるかは自信ない
2017-06-19 21:19:19Oracle様からサインアップ用のメールが届かないので、今日はこのぐらいにして帰ろう。Hive metastoreのセットアップ完了したら動くといいな。
2017-06-19 20:08:30最近はJDBCドライバのダウンロードにもOracle様のご承認が必要になっておりますか、さいですか。DB周り触るの久しぶりすぎて本当にウラシマってる。
2017-06-19 20:02:05ん?これHadoop homeのセットアップが必要なだけで、hdfsのセットアップ必要なかったんちゃうん?
2017-06-19 19:59:42あぁ、やっぱり。Presto-Cliでmetastore not foundって怒られた。metastoreのセットアップからか。
2017-06-19 18:39:05えぇ、データソースとして直接S3触るのにわざわざHiveその他もろもろいれなきゃいけないの!?
2017-06-19 18:25:54このTweetはわたしを救った twitter.com/sugarlife/stat…
2017-06-19 18:13:19@bloodeagle40234 openjdk-9-jre が入ってるんじゃないかな。openjdk-9* のパッケージ全消しして-8入れるといいと思う
2017-06-19 18:05:51