Power BI 勉強会 / Power Query 秘密特訓「虎の穴」 #2 まとめ
-
br_Yellow11
- 12091
- 3
- 0
- 66
-
- いいね！66
Yellow11
@br_Yellow11
後、Web.Contents関数も使います。 #PowerBI #PowerQuery #PBIJP docs.microsoft.com/en-us/powerque…
2019-02-02 14:43:43
Yellow11
@br_Yellow11
Web.Contents関数はBinaryを返すので、AccessやExcel、Json、Xml、Csvも取得できる。 変なJavascriptのせいでhtmlで読み込もうとするとエラーが出る社内Webサービスとかも、Binaryをテキストで読み出して目的のデータの箇所だけを抽出したり出来る。 #PowerBI #PowerQuery #PBIJP
2019-02-02 14:51:36
Yellow11
@br_Yellow11
Web.Contents関数をうまく使えば、こういう行政のなんちゃってオープンデータのcsvをリスト化する事もできます。 #PowerBI #PowerQuery #PBIJP city.yokohama.lg.jp/kodomo/unei/sh… pic.twitter.com/kO1yoeykrj
2019-02-02 14:54:41
拡大
拡大
Yellow11
@br_Yellow11
ソース =List.Combine(List.Transform(Text.Split(Text.Clean(Text.FromBinary(Web.Contents("city.yokohama.lg.jp/kodomo/unei/sh…"), 932)),""">CSV</a>"),each List.Select(Text.Split(_,"<a href=""."),each Text.EndsWith(_,".csv"))))
2019-02-02 14:55:24
Yellow11
@br_Yellow11
Webページを取得する時、「例を使用してテーブルを追加」を使ってみる。 これを使うとCSSセレクタをを利用してWebページが取得できる。 #PowerBI #PowerQuery #PBIJP pic.twitter.com/OYxZ020qk1
2019-02-02 15:04:08
拡大
拡大
Yellow11
@br_Yellow11
データの取得ダイヤログでなくても、htmlテキストさえあればHtml.Table関数を利用してCSSセレクターを利用した要素の取得ができる。 #PowerBI #PowerQuery #PBIJP docs.microsoft.com/en-us/powerque…
2019-02-02 15:06:36
Yellow11
@br_Yellow11
CSSセレクターで欲しい要素を調べる場合、Edgeなら右クリックで「要素の検査」、Chromeなら「検証」 #PowerBI #PowerQuery #PBIJP pic.twitter.com/cXYqAOBvuQ
2019-02-02 15:10:25
拡大
拡大
拡大
Yellow11
@br_Yellow11
Webサーバーの負担をかけないよう、間隔をあけてアクセスしたい時はFunction.InvokeAfter関数を使う。 スクレイピング等の制限に引っ掛かりアクセス拒否されると元も子もない(´・ω・｀) #PowerBI #PowerQuery #PBIJP docs.microsoft.com/en-us/powerque…
2019-02-02 15:12:48
Yellow11
@br_Yellow11
今回やってるPower Queryで使われるM言語のリファレンスは此方ですよー #PowerBI #PowerQuery #PBIJP docs.microsoft.com/en-us/powerque…
2019-02-02 15:15:18
Yellow11
@br_Yellow11
M言語の関数の日本語リファレンスは、こちらの記事の通りに設定すればPower Query上で全ての関数の説明が見れます。 常に更新され、全てが日本語で解説されている宝の山。 qiita.com/PowerBIxyz/ite… #PowerBI #PowerQuery #PBIJP
2019-02-02 15:18:40
Yellow11
@br_Yellow11
Webページの取得は此方に詳しい解説がまとめられています。 qiita.com/PowerBIxyz/ite… #PowerBI #PowerQuery #PBIJP
2019-02-02 15:20:23
Yellow11
@br_Yellow11
データを取得してきたら行が0行でした try <検査したい数式> otherwise <何を返すか> ちょっとうまくまとめられない(´・ω・｀) #PowerBI #PowerQuery #PBIJP
2019-02-02 15:24:49
Yellow11
@br_Yellow11
たった今の質問タイムで出た課題のヒントになりそうな記事を見つけた thebiccountant.com/2016/05/22/mul… #PowerBI #PowerQuery #PBIJP
2019-02-02 15:51:24
Yellow11
@br_Yellow11
上手く解説できないけど、テーブルをCrossJoinしてText.Containsで一致を確認する力業で解決しそう(´・ω・｀) #PowerBI #PowerQuery #PBIJP
2019-02-02 16:05:07
Yellow11
@br_Yellow11
Power Queryに限らず、古いはリスク 最新バージョンだと問題が解決されていることも多いですよー #PowerBI #PowerQuery #PBIJP
2019-02-02 16:07:41
Yellow11
@br_Yellow11
今後、Power Queryの最新バージョンがExcel2016に降りてくるかどうかは不透明。 古いのはやっぱりリスクだよなぁ #PowerBI #PowerQuery #PBIJP
2019-02-02 16:22:32
Yellow11
@br_Yellow11
列で並べ替えとPower BIビジュアル上での並び順の質問が出た。 列で並べ替えは、並び替えの基準と並び替えの対象が互いに一意でないと有効にならないのか。 #PowerBI #PowerQuery #PBIJP pic.twitter.com/RdgQ9oC9QX
2019-02-02 17:02:48
拡大
Yellow11
@br_Yellow11
データモデルの作り方の話はとても聞きたい(´・ω・｀) Column名が重要とか色々と面白そう。 #PowerBI #PowerQuery #PBIJP
2019-02-02 17:03:42
Yellow11
@br_Yellow11
マシンラーニングや中の人の分析を効果的に利用したい場合、メジャーテーブルは使わない方がいい。 メジャーを参照している元のテーブルに置いておけば、関連性ありと中の人が判断してよしなにしてくれる。 #PowerBI #PowerQuery #PBIJP
2019-02-02 17:08:04
Yellow11
@br_Yellow11
メジャーテーブルにメジャーを外出しするような、関連性を消す行為はなるべく控えた方がいい。これから先、得られるものが減る可能性が高い。 列は少ない方がいい。 行は増えても問題ない。 #PowerBI #PowerQuery #PBIJP
2019-02-02 17:10:25
Yellow11
@br_Yellow11
メジャーテーブルにメジャーをまとめてる場合と、メジャーテーブルを作らない場合だとPower BI Serviceでのクイック分析情報の結果が異なる。 中の人がこれはメジャーとテーブルの関連性を見ているから。 メジャーテーブルを作るとこの関連性が無くなってしまう。 #PowerBI #PowerQuery #PBIJP
2019-02-02 17:15:00
Yellow11
@br_Yellow11
クエリがステップの中でどの程度の量のデータを扱うか。 データ更新の速さにはこれが重要。 どれだけ早く列を減らせるか、どれだけ早く行を減らせるか。 減らした分だけ扱えるデータが増える。 #PowerBI #PowerQuery #PBIJP
2019-02-02 17:21:56
Yellow11
@br_Yellow11
処理に置いて、Queryの「参照」と「複製」はどちらも差はない。 遅延評価でステップを後ろから見ているので、参照したクエリを読み込んでいる訳ではない。 この場合、事前に使うことが分かっているならTable.Bufferでバッファしておけば読み込みを早くできる場合がある。 #PowerBI #PowerQuery #PBIJP
2019-02-02 17:25:24
狸
@tanuki_phoenix
#PowerQuery の詳細エディタ及びプレビュー結果は拡大・縮小できます．今日教わりました． shift +ctrl +「+」or 「-」にて．（カギ括弧は打たない） PowerBI／Excel365（1901版）ともに最新版はできました．アドイン版でもできるといいなぁ． ちなみにAccessSQLビューは拡大できなかった．(^^; pic.twitter.com/7fEBKMg5Sm
2019-02-02 23:20:54
拡大
拡大