時系列データ分析を効率的に "pandasによる時系列データ処理" #pyconjp #pyconjp_202

pandasによる時系列データ処理 @sinhrks Masaaki Horikoshi https://pycon.jp/2016/ja/schedule/presentation/23/ データ分析ライブラリであるpandasを利用して、時系列データのグループ化や集計、サンプリングなどの処理を簡単・高速に行う方法を説明します。また、統計解析パッケージであるstatsmodelsを用いて簡単な時系列モデリングを行います。
2
さわでぃさん🍅🦒🗼🐴💻⚓ @sawadyrr5

to_datetimeはかしこいので人間が理解できるフォーマットなら大概parseできる formatオプション付ければ日本語日時もいける #pyconjp_202

2016-09-22 15:37:42
Ingegnere ignoto @kazukibs

時系列の話はちらほら聞くけどパネルデータの話ってあまり実務では聞かないというか時系列に吸収されてるんじゃないか疑惑(適当に言っているので間違ってるかも)と思ったけどやっぱパネル系の手法自体滅多に聞かない気がする。#pyconjp_202

2016-09-22 15:38:13
さわでぃさん🍅🦒🗼🐴💻⚓ @sawadyrr5

Series=列、DataFrame=表で、列を並べて表にするのは頭では分かるんだけどRDBMS的にはきもちわるさを感じる… まぁ現実には一部SeriesのIndexが欠けてたりするからIndexでmergeして表になるのが良いと思うんだけど #pyconjp_202

2016-09-22 15:39:42
Jun Ohtani @johtani

timezoneとかも指定できるんだろうなぁ、きっと。 #pyconjp_202 #pyconjp

2016-09-22 15:39:54
さわでぃさん🍅🦒🗼🐴💻⚓ @sawadyrr5

pandas_datareaderでyahoo financeから株価データを取るときにtickerをlistで渡すとPanelで返ってきます(余談) #pyconjp_202

2016-09-22 15:40:50
FJ @FJKei

#pyconjp pandasのセッション。datetimeの周りが優秀だとのこと。こんなに細かく意識して使ったこと無いです。

2016-09-22 15:40:57
さわでぃさん🍅🦒🗼🐴💻⚓ @sawadyrr5

このへんの話はオライリーの「Pythonによるデータ分析入門」に詳しいからぜひ買おうね #pyconjp_202

2016-09-22 15:43:07
hironow @hironow

> df.interporate() 昔、わざわざ scipy.interporate() を使ってた… #pyconjp #pyconjp_202

2016-09-22 15:44:49
さわでぃさん🍅🦒🗼🐴💻⚓ @sawadyrr5

rolling.mean()はSimple-MAだからTA-Lib使ってもいいんじゃないかという気もする #pyconjp_202

2016-09-22 15:45:08
hironow @hironow

> df.rolling() たしか、defaultが右合わせだったっけ…? #pyconjp #pyconjp_202

2016-09-22 15:45:40
driller/どりらん @patraqushe

対数収益率を計算するときに便利 < .shift #pyconjp_202

2016-09-22 15:45:58
さわでぃさん🍅🦒🗼🐴💻⚓ @sawadyrr5

np.log(closes/closes.shift(1)) ってやると行列的に対数収益率が計算できて便利です #pyconjp_202

2016-09-22 15:46:05
hironow @hironow

> pd.Grouper df.groupby()ばかり使っていて、Grouper知らなかった… #pyconjp #pyconjp_202

2016-09-22 15:48:31
hironow @hironow

> df['発売日'].dt.weekday datetime型なら、 `.dt` が使える! #pyconjp #pyconjp_202

2016-09-22 15:50:30
Tatsuro Fujii @FGtatsuro

pandas、現実の多様な(ある意味汚い)データに対応する仕組みが満載 #pyconjp_202

2016-09-22 15:51:03
さわでぃさん🍅🦒🗼🐴💻⚓ @sawadyrr5

汚いデータに「ありがとう」と言葉をかけ続けるときれいなデータになるからpandasは不要説 #pyconjp_202

2016-09-22 15:54:25
さわでぃさん🍅🦒🗼🐴💻⚓ @sawadyrr5

ARIMAとかGARCHとかってボラティリティ推定モデルの構築に使われてたっけ(?) #pyconjp_202

2016-09-22 15:55:30
さわでぃさん🍅🦒🗼🐴💻⚓ @sawadyrr5

トレンドと季節性という言葉が出て金融関係者は目を離せない #pyconjp_202

2016-09-22 15:56:25
京極 @kyogoku

sm.tsa.seasonal_decomposeで時系列データの成分分解ができる。シンプル。 #pyconjp #pyconjp_202

2016-09-22 15:56:47