(倉庫) #山田への言語と計算機処理

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS 問７ (1) ２つの文字列のあいだのレーベンシュタイン距離を算出するプログラムを実装せよ。 レーベンシュタイン距離 (Levenshtein distance) ja.wikipedia.org/wiki/%E3%83%AC… この程度のアルゴリズムを提示された場合は，自分の手元で直ちに実装できる程度のプログラミングスキルが必須である。

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS (2) (1)で実装したプログラムを用いて，"father" と "Vater"，また "mother" と "Mutter" の間の距離をおのおの算出せよ。 ・また書記素としての文字列同士ではなく，音韻や音声に基づいて類似度・距離を算出する場合はどうなるか？ ・現代の印欧語と、印欧祖語の単語との間で距離を出してみると？

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS (3) 単語同士ではなく，言語どうしの距離を考える場合はどうなるだろうか。 ある２つの言語どうしの類似関係を定量的に求める際，上記の手法を使って語彙セット同士の類似度に着目すると， 言語どうしの類似度の指標公式をどのように定義できるか？

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS (4) (1)のアルゴリズムには「動的計画法」という手法が使われている。 動的計画法 (Dynamic Programming, DP) ja.wikipedia.org/wiki/%E5%8B%95… これは競技プログラミングでは必須の考え方であり， 競プロ勢はまるで息を吸ったり吐いたりするかのように極めて日常的に毎日 DPを使ったアルゴリズムを普段から

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS 自力で素早く考案・設計・実装・活用している。 DPが使われているアルゴリズムは(1)のほかにも数えきれないほど存在するが， いくつか身近な例を挙げ，それらのアルゴリズムの中でどのようにDPが役立っているかをそれぞれ説明せよ。

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS #山田への言語と計算機処理 問14 形態素解析とは，自然言語の文章を読み取って単語に分解し，品詞やその活用形を認識・決定することである。 複雑な処理に見えるが，しかし形態素解析はフリーソフトがたくさんあるので， 自作のプログラムからだれでも簡単に実行できる。 これについて…

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS (1) 日本語の形態素解析フリーソフトとして有名なもの(kakasiやchasenなど)を使い， テキストファイルの中に書かれた日本語の長い文章を 自作プログラムで形態素解析するというプログラムを実装してみよ。

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS (2) 英語の形態素解析フリーソフトとして有名なもの(TreeTaggerなど)を使い， テキストファイルの中に書かれた日本語の長い文章を 自作プログラムで形態素解析するというプログラムを実装してみよ。

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS (3) 日本語，英語以外の言語(たとえば印欧語族のさまざまな諸言語)で 手軽に形態素解析を行なうためには，どんな無料のツールを使えばよいだろうか？ (4) 自然言語を形態素解析するアルゴリズムについて，その処理の仕組みはどうなっているか？

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS #山田への言語と計算機処理 問21 下記はIPA基本母音の母音台形である。 1[i][y]9 17[ɨ][ʉ]18 16[ɯ][u]8 　　 [ɪ][ʏ] [ɪ̈][ʊ̈] [ɯ̽][ʊ] 2[e][ø]10 [ɘ][ɵ]　 15[ɤ][o]7 [e̞][ø̞]　 [ə][ɵ̞]　　 [ɤ̞][o̞] 3[ɛ][œ]11 [ɜ][ɞ]　 14[ʌ][ɔ]6 [æ]　　 [ɐ][ɞ̞] 4[a][ɶ]12 [ä]　　 5[ɑ][ɒ]13

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS (1) これら母音のうち 最も力を抜いた状態で，最もエネルギーを少なく発音できる母音はどれだと考えるか。 1つか2つ選べ。 (2) (1)で設定したコスト最小の母音の座標を原点とし 母音台形上で各母音への格子座標距離を考える事で 各母音の発音コストを設定してみよ。 台形の形状を任意に設定してよい。

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS (3) 各母音を発声するために要するコストを算出する方法として(2)に加味できるのが， 各母音の音声波形がもつ物理的なエネルギーの大小である。 つまり，各母音の音声信号を計測した時に， それぞれの波形のうち最もエネルギーを消費している振動波形と， 最もエネルギーの弱い振動波形とが

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS あるはずであって， 各波形のエネルギーはフーリエ解析(パーセバルの等式など)によって求まるはずである。 ここから各母音を発声するためのエネルギー消費量の大小をランク付けできるはずであるが，そのランク付けを試みてみよ。

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS (4) (3)のランク付けは，各言語ごとの各音素のソノリティ(聞こえ度)によってどのように変化するか？

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS #山田への言語と計算機処理 問２８ 今回は計算機科学分野として， 探索アルゴリズムの初歩について学ぼう。 (1) アルゴリズムの基本のきであるが， ①「深さ優先探索」と ②「幅優先探索」の 違いを述べよ。

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS (2) パソコン内のファイルシステムで，ディレクトリツリーとファイルのリストを再帰的にスキャンすることを考える。 ①と②のそれぞれを使った場合のこの処理の実装を，疑似コードで記せ。 (任意のプログラミング言語で記しても良い)

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS (3) ①深さ優先探索と ②幅優先探索 の違いを理解しておくことは，とくにADHD患者にとって致命的に重要である。 この違いを知識として知っておくことによって，ADHDゆえに冒してしまうありとあらゆる大きな失敗を回避することが可能な抑制力が生まれる。 とくに勉強・学問・探究・研究活動・

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS 本の読み方・買い物の仕方においても顕著に現れる。 なぜそう断言できるのか，理由を記せ。 (4) (3)について考えると，自分自身は①深さ優先探索と②幅優先探索の違い・特性を ふだんの私生活や、今後の人生にどのように有用に役立てる事ができるか？

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS (5) 深さ優先探索と幅優先探索の各々の手法について， ノード総数Ｎの木構造をスキャンする際に要する 時間計算量と空間計算量との概算を見積もれ。 (6) 「全体を素早く概観する」 という行為をすることによって、 木構造全体のスキャンはどのように加速するか。

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS 問28の講評 (1)〜(2) アルゴリズムの定番本である近代科学社「アルゴリズム・イントロダクション　第２巻」の ２３章「初等的グラフアルゴリズム」の 23.2.「幅優先探索」と 23.3.「深さ優先探索」を参照。

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS (3)〜(4) 人間はコンピューターではない。 しかし， 「ある大きな仕事を コンピュータがもっとも効率的に果たすうえで どのような秩序だった作戦・方針・手順のもとで行なうか？ 複数の手法が存在する場合，どのように作戦を使い分けるか？」 という方法論を観察することによって，

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS 人間も大いに学べるのである。 深さ優先探索 (depth-first search, DFS, バックトラック法, 縦型探索) ja.wikipedia.org/wiki/%E6%B7%B1… 幅優先探索 (breadth first search, 横型探索) ja.wikipedia.org/wiki/%E5%B9%85… この２つの違いはとてもシンプルかつ根本的で， 本の読み方や買い物の仕方など，

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS 個人のごく日常的な思考法や作業能率にも影響を及ぼす。 ADHDはそこを暴走させ，バランスを崩すのである。 この①②の差異を深く認識しておくと，今後の人生で様々な問題を回避し，うまく対処し，バランスのとれた生活を送りやすくなる。

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS 具体的には、ボキャブラリーとして上記のアルゴリズムを知っておけば… 「ああ、自分がADHDゆえに陥りやすいハマり所は、 "すぐ深さ優先探索を始めちゃいそうになる" から、集中して根っこまで深く掘り下げすぎるせいでいつまでも肝心な本業が終わらない、って事だったのか。

自然言語処理たん @NatuLangProcTan

@zattanatubuyaki @C4TTUS ということは対処法は、深さ優先で探索するのをやめるか、または"掘ってよい深さに制限を設けておく"ことが身の守りになるってことか。」 のように気づける。 あるいは 「"幅優先探索を頑張りすぎて、やりたいジャンルが多くなりすぎてしまう" という性格がキャパオーバーを引き起こし、