(倉庫) #山田への言語と計算機処理

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS 撮影したデータをD_4とする。 このとき，この４枚の写真どうしの間で「類似度」を算出し， どの写真とどの写真が同一波形を撮影したものなのかを機械的に(計算によって)判定したい。 しかし前述の①～⑤の「類似度の尺度」の手法を使った場合は，いずれもこの４枚の写真の類似度をうまく算出できない。

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS なぜダメなのか理由を説明せよ。 (3) (2)の問題点を解消するために，新たに下記の手法を考える。 「2つのデータどうしの間のずらしかた(ずらしの距離τ)を色々変えながら， その都度，ずらしたデータどうしの間で相関係数ρを毎回計算してみる。 どのようなずらしかたをすれば，2つのデータどうしの間で

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS 相関係数ρが大きくなるかをτの関数としてプロットし， 最大値や最小値を見つける。」 すなわち，２つのデータ間で「データ全体が距離τだけ移動している」と考え， このずれτを除去した上で２つのデータを重ね合わせ，「平均値を除去した内積」をとればよい というわけである。 このような考え方に基づ

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS いて２つのデータの「類似度の尺度」を設けるとき，その計算式はどのような式になるか？ (4) (3)で導入した「類似度の尺度」には，「相関関数」という名前が付いている。 ただ注意点として，相関係数のことを相関関数と呼んでしまっている例もあるので，この２つの区別をしっかりしよう。 下記の

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS ページを見よ。 相関関数 hooktail.sub.jp/fourieralysis/… τ だけずらし乗算したものを，－∞ から ＋∞ の範囲分まで積分したもの。 ２つの関数を少しずつずらしながら積を取っていくことで求まる。 上記によれば， 相関係数(1つのスカラー値)と 相関関数(関数)の間には どのような明確な違いがあるか？

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS (5) 2つのデータの間の(相関係数ではなく)相関関数を見れば， それら2つのデータが「ある方向に向かってどれだけずれる前後のものか」を判定できる。 たとえば ・直線形の高速道路を上空から衛星写真によって撮影する際，10分おきに写真を撮影し，それら2枚の写真のあいだの相関関数を算出してρの

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS 最大値を見つけることによって，車の流れが全体として１０分の間にどの方向にどれだけ進んだかが分かる。→車の流れの平均速度や，渋滞の解消見込み時刻を算出できる。 ・画面全体に空中の無数の落ち葉や，水中の無数の微粒子が撮影できる時，１秒間隔で２枚の写真を撮影し，その２枚の写真の間の相関

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS 関数を算出してρの最大値を見つければ，画面内で全体的に流体の流れがどの方向を向いており，どれぐらいのスピードで全体の撮影物が移動したかを推定できる。 ほかに相関関数の応用方法を考えよ。 (6) ２つの異なるデータの間で(相関係数ではなく)相関関数を作れば，「２つのデータが最も一致するずら

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS し方τ」を求める事ができる。 しかし，２つの異なるデータではなく，１つの同じデータに対して相関関数を求めることもできる。 これを自己相関関数と呼ぶ。 自己相関(autocorrelation) ja.wikipedia.org/wiki/%E8%87%AA… 自己相関関数を算出する際には， 「あるデータをどれだけずらせば自分自身と一致し

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS やすいか」を求めることになり， 当然ながら，ずれτ＝0においてρは最大値をとるが τ＝0以外のずれにおいてρの極大値を見つける事ができれば， このデータは周期性をもち周期はτであるとの結論が可能になる。 なぜそう言えるのか説明せよ。 (7) 自己相関関数がτ＝0の時のみ値を持ち，τ≠0においてρ＝0

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS となるようなデータを考える。 このようなデータはどのようなずらし方をしても自分自身との一致の度合いが全くないことになる。 このようなデータをホワイトノイズ(白色雑音)と呼び数理科学や物理学において現れる。 数理工学的には統計的信号処理，物理学ではブラウン運動において必要な概念となる。

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS ホワイトノイズ(White noise) ja.wikipedia.org/wiki/%E3%83%9B… 引用 「ホワイトノイズは…Wiener-Khintchineの定理から， 『自己相関関数がデルタ関数となる』ことと同じである。 統計学の言葉で言うと，定常独立であることを意味していて 簡単にいえば非常に不規則なノイズということである。」

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS ここで上記の通り，「自己相関関数がδ関数であるような波形」は 「不規則(ランダム)波形である」と言えるのはなぜだろうか。 グラフの "ランダム性" を自己相関関数によって特徴づけることの根拠を説明してみよ。

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS 11週の #山田への言語と計算機処理 問７７ この世界にただ4つだけのWebサイトA,B,C,Dがあり， これらが互いのサイトへリンクを張り合っているとしよう。 このとき，各サイトの「価値」V_A, V_B, V_C, V_D をどのように算出できるだろうか？ サイトの価値の算出にあたっては，下記の原則を用いる。

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS 「価値の高いサイトからリンクされると，リンクされた側のサイトも価値が上がる。」 「１サイトから他の複数のサイトへリンクしている場合，リンク元のサイトの価値を等しく分配し，それらのリンクの価値が決まる。」 ただしここでリンクは片方向の関係性であって， 片側からリンクされているからとい

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS って他方からリンクが返ってくる(相互リンクになる)とは限らない。 また，自分自身にリンクすることは無い(リンクとして考慮しない)ものとする。 (1) 実際に具体例を考えてみよう。 AはB，Cにリンクしている。 BはA，C，Dにリンクしている。 CはDにリンクしている。 DはCにリンクしている。 という状

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS 況を考える。 この状況を，「リンクがある」を「1」という値で表し 各サイトが「どのサイトにリンクしているか」を行列の形に整理すると M_1 ＝ {  { 0, 1, 1, 0 },  { 1, 0, 1, 1 },  { 0, 0, 0, 1 },  { 0, 0, 1, 0 } } となる事を確かめよ。これは有向グラフの「接続行列」となる。 この行列が一般

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS に，対角成分が0の非対称行列であるのはなぜか？また対称行列になるのはどんなときか？ (2) グラフの接続行列の概念を拡張し， グラフの接続(Webサイトの場合はリンク)のうち，とくにどの部分に価値があるのかを反映した行列を作ってみよう。 そのために，リンク元の各Webサイトの価値 V_A, V_B, V_C,

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS V_D で グラフの接続部分(リンク)を重み付けしてみよう。 M_2 ＝ {  { 0,　 V_A, V_A, 0 },  { V_B, 0,　 V_B, V_B },  { 0,　 0,　 0,　  V_C },  { 0,　 0,　 V_D, 0 } } こうすると，行ごとに「Aというサイトの価値 V_A だけ，あるリンクが重みづけされている」 「価値あるサイトからのリンクほど

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS 価値あるリンクである」 のように，「個々のリンクの価値」を算定できるようになってくる。 しかし，この方式で作成した上記の行列 M_2 には問題があり， 1つのWebサイト(たとえばA)が他所に対してリンクを大量に張りまくったら， Aというサイトはリンクの個数を増やすだけ無制限・無限大の価値を生み

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS 出せてしまうことになる。 そのような事態を引き起こさないために、あるサイトが外部に対して生み出せる価値の大きさを制限するにはどうすれば良いか？ (3) (2)の問題を解決するために， 「張っているリンクの個数が多くなると，そのぶんリンクの価値が薄まる」 という原則を採用しよう。 つまり，

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS サイトAから10個のサイトに対してリンクを張ったら， 個々のリンクの「価値」はV_A / 10 となるのである。 この観点から(2)の行列を書き換えると

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS M_3 ＝ {  { 0,　　　V_A / 2, V_A / 2, 0 },  { V_B / 3, 0,　　　V_B /3,　V_B / 3 },  { 0,　　　0,　　　0,　　　V_C },  { 0,　　　0,　　　V_D,　　0 } } となり， Aが発しているリンクの価値は各々1/2され， Bが発しているリンクの価値は各々1/3された。 この行列 M_3 について， 各々の行は

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS 「ある1つのサイトからリンクを張っている対象」を表わすために合計値はそれぞれ1であるが， 各々の列は「ある1つのサイトがよそから受けているリンク全て」という情報を表わし， また各列内の値の和は「ある一つのサイトがよそからのリンクによって受けている価値」を表わすことを示せ。

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS (4) (3)の行列を転置してみよう。 M_4 ＝ (M_3)^T ＝ {  { 0,　　　V_B / 3, 0,　 0 },  { V_A / 2, 0,　　　0,　 0 },  { 0,　　　V_B / 3, 0,　 V_D },  { 0,　　　V_B / 3, V_C, 0 } } (3)では列内の和をとることを考えたが， ここでは転置したので行内の値の和をとることを考えればよい。