【新機能】作り忘れたまとめはありませんか?31日前まで期間指定してまとめが作れる高度な検索ができました。有料APIだからツイートの漏れはありません!

ボコーダー、人工内耳、聴覚の発達による大脳(新皮質)の大容量化

utsunomiaa_comさんのつぶやきが非常に興味深い内容だったので、まとめさせて頂きました。
37610view 28コメント
22
ログインして広告を非表示にする
宇都宮泰 @utsunomiaa_com 2012-06-11 23:01:43
060Bh 新刊「エレクトロ:ヴォイス」デイブ・トンプキンズ著p-vine刊(日本語訳。全編ボコーダーについて書かれた歴史本。私の世代にはとても面白いが、若者には暗号書。ボコーダーそもそも暗号変調・復号装置! 読み物として推奨。三笠宮殿下の愛用機もこの技術の応用。
宇都宮泰 @utsunomiaa_com 2012-06-12 18:33:18
0617h ボコーダ、ローランド系とコルグ系はフィルターの配置が異なる。後者は周波数に対して対数等間隔に、前者は非等間隔配置で、素子数を削減。設計者に自慢された覚え。初期の製品の話。
宇都宮泰 @utsunomiaa_com 2012-06-14 01:20:11
063Dh 0617hの訂正:正しくはローランド系は対数等間隔、コルグ系周波数リニア。 http://t.co/RxIH6ags
宇都宮泰 @utsunomiaa_com 2012-06-12 18:36:59
0618h リアルタイム動作の実機としてはSE70搭載のものが、もっともエレガントな1台。Audacityに搭載のものも優秀。もちろんボコーダーはキーボードではありません。MIDIとも無関係です。スペクトラム分析・移植装置。スペクトラムに対しての掛け算機です。
宇都宮泰 @utsunomiaa_com 2012-06-12 18:41:40
0619h ゆえに入力2に対して出力は1。A入力の逐次スペクトラムをB入力に移植したものが出力。Bにギター、Aに犬の声とか、Bに人物、Aに別の人物、とかBに小川のせせらぎAに声なんていう組み合わせも。
宇都宮泰 @utsunomiaa_com 2012-06-12 18:44:28
061Ah アナログボコーダーは固定されたフィルター群を用いるが、要はスペクトラムの分析移植なので、FFTやウェーブレット変換も利用可能。ある意味VocalShifterもそんな一面がある。
宇都宮泰 @utsunomiaa_com 2012-06-12 18:47:30
061Bh 固定されたフィルター群を用いても、ウェーブレットでも構わないが、少々不器用な前者をボコーダーと呼ぶことが多いので、Audacity プロマニュアルのボコーダの項にその解説を書いたら、情報系の識者からクレームが・・・。歴史的な構造を知らないのかな。
宇都宮泰 @utsunomiaa_com 2012-06-12 18:59:21
061Ch ボコーダ、別の言い方すれば、A入力の倍音構成を持った、B入力の音程もった出力が得られる。とくにA入力が声の場合の、倍音(スペクトラム)のことをホルマントと呼びます。多くの子音は極短時間に、母音は1語ごとの長さに。面白いのは聴いた人の脳内。子音と母音は一度解体され・・
宇都宮泰 @utsunomiaa_com 2012-06-12 19:01:51
061Dh ・・別々の処理がなされ、再統合後に「語」として認識。現在では蝸牛インプラント(人工内耳)があるため研究が進んでいるが、その多くは驚愕の事実のオンパレード。
宇都宮泰 @utsunomiaa_com 2012-06-12 19:12:42
061Eh ホルマントを何らかのルールに従って視覚化したものを声紋と呼び、かつてはヘテロダイン解析、現在ではスペクトログラムベースで表示できる。フリーソフトではMi氏作FFTWSGなどを推奨(ファイル入力)。
宇都宮泰 @utsunomiaa_com 2012-06-12 23:02:34
0621h 蝸牛インプラント(人工内耳)とは、蝸牛管から脳への神経束、または蝸牛管内部に電極をセット。電気的に拾い上げた音をパルス変換し脳へ直接送り込む治療技術。
宇都宮泰 @utsunomiaa_com 2012-06-12 23:04:44
0622h 驚愕いくつか。配線の組み合わせを正しくあわせることは不可能だが、組み合わせが正確でなくても聴力を取り戻せる・・・絶対的な接続があるわけではない。
宇都宮泰 @utsunomiaa_com 2012-06-12 23:05:46
0623h ちなみに各周波数ごとの信号分離は、ボコーダーの技術と近隣。
宇都宮泰 @utsunomiaa_com 2012-06-12 23:07:47
0624h 先天的な聴器官の不調の場合、2~3歳までにインプラントしないと、脳の子音領域が確保されない。(それ以降でインプラントしても母音の識別しかできない)
宇都宮泰 @utsunomiaa_com 2012-06-12 23:13:58
0625h インプラント話ではないが、脳(新皮質)と音との関係。 聴覚の発達要求が大脳を大容量化させるらしい。例えば鳥類。視覚の進化と大脳の容量増加はあまり関係しないが、ミミズクやフクロウでは聴覚を発達させたゆえか、大脳が肥大。もはや飛行の限界。
宇都宮泰 @utsunomiaa_com 2012-06-12 23:16:43
0626h 映画「禁じられた遊び」でもフクロウの頭蓋が出てくる。しばしば嬰児の死体とごにんされるほどの大容量。
宇都宮泰 @utsunomiaa_com 2012-06-12 23:19:21
0627h これらの鳥では、わずかな物音から、正確に獲物を聞き分け、同時に音響的測量。滑空して獲物を捕らえるが、聞き分け測量することが莫大な計算を要求。そのため演算装置が大型化らしい。
宇都宮泰 @utsunomiaa_com 2012-06-12 23:24:08
0628h リバーブ(空間の情報を含む)を付加することは容易だが、リバーブを外すことは容易ではない。シングルディレーの実習例はAudacity練習問題Vol1 No3があるが、、正弦波加算は大した演算は必要ないが、フーリエ解析は莫大な演算量であることに近い。
宇都宮泰 @utsunomiaa_com 2012-06-12 23:28:43
0629h 空間に生きる、聴くとは、残響音に埋もれた「劣化した=エントロピーの増大した」音から、埋もれる前の元の音を復元しながら聴いている=莫大な計算をしながら聴いていることに。普通は処理前の劣化した音を意識することは無い。意識できる音は処理後の音。
宇都宮泰 @utsunomiaa_com 2012-06-12 23:32:34
062Ah 簡単に実験するには、片方の耳だけ聴いてみる(片方は耳栓)。こちらが正しい音。残響だらけ、高域は劣化、、、。では両耳で聴いた音は・・脳が処理(ある意味エントロピー逆行した)した音。マイクで録音すると片耳で聞いたときに近似。
宇都宮泰 @utsunomiaa_com 2012-06-12 23:34:43
062Bh 宴会などで酔っ払うと、処理能力が低下。自分の声が聴こえにくくなり、声が大きくなる、もちろん他人の声も聴こえにくくなる・・この逆演算は影響を受けやすい。
宇都宮泰 @utsunomiaa_com 2012-06-12 23:38:42
062Ch 両耳/片耳を比較すると、両耳時には音源までの距離を1/10以上にも縮めたのにも匹敵。逆演算のパワー・・多くの哺乳類に共通するようだ。まあ、逆エントロピーエンジンとでも言うべきか。
宇都宮泰 @utsunomiaa_com 2012-06-12 23:41:17
062Dh このような進化のきっかけは、恐竜の時代、腕力では劣勢であること→夜行性の獲得の一環とする説も。聴覚発達→大脳肥大は古生物学者の意見。裏づけはなかなか難しい。
宇都宮泰 @utsunomiaa_com 2012-06-12 23:43:44
062Eh 人間よりもさらに大容量化した新皮質の持ち主は、イルカやくじらなどの海洋哺乳類。彼らの脳には水中音響によるワールドマップが標準装備との説も。マップが変わると乗り上げるわな。
宇都宮泰 @utsunomiaa_com 2012-06-12 23:46:52
062Fh メロン(いるかの頭部のでっぱり)から超音波を発し、目前の魚を気絶させるなんて、どんな気分なんだろう・・。してみたい。
残りを読む(17)
フォロワー限定公開ならプライベートで楽しめる。 鍵アカのツイもまとめられるよ。

ブックマークしたタグ

あなたの好きなタグをブックマークしておこう!話題のまとめを見逃さなくなります。

コメント

宇都宮泰 @utsunomiaa_com 2012-06-14 01:20:11
063Dh 0617hの訂正:正しくはローランド系は対数等間隔、コルグ系周波数リニア。
宇都宮泰 @utsunomiaa_com 2012-06-14 01:30:21
063Eh この上↑の「あわせて読みたい」も一読の価値。インプラントのなじみの悪さは想像に難くない。が、聴覚による脳刺激はその後の感覚形成に大きく影響すると思う。参考までに、十数年前のことだが、指導学生の卒論に付き合い聾学校でのリサーチでのこと。1番人気のクラブは音楽クラブ(太鼓)、もちろん聴こえはしないが、皮膚や髪の毛の振動で察知・楽しんでいるし、なかなかの演奏だった。
宇都宮泰 @utsunomiaa_com 2012-06-14 01:38:36
063Fh この件以来、私は音楽を聴覚芸術なんて言い換えるのをやめた。聴覚に拠らなくても音楽は機能。ではどのように言えばよいのか→時間軸構造物と呼ぶことに。耳は聴こえなくても相当する刺激(時間軸上の)を切に欲しているのだ。欲していないのは父兄やまわりの気遣い。この経験の有無で後の時間感覚を左右しているように思える現象も。  テクノロジーはこのような要請に応えるべきだろう。
宇都宮泰 @utsunomiaa_com 2012-06-14 02:30:41
0645h 大脳の仕組みについてペンフィールドやブロードマンの脳地図にあるような、局在的な解釈があるが、聴覚の発達進化→大脳の肥大、を言おうとすると、それ以外の脳の動作モード・・非常に広範囲を短時間(例えばドミノ崩しのような)使用するフラッシュ・モードのような・・が見つかれば、大容量化の必然になる。
宇都宮泰 @utsunomiaa_com 2012-06-15 14:01:18
0577h 062Ah補足:なるべく生両耳(逆エントロピー機能が動作するように)に近づけた録音方式が、ダミーヘッド(ヒトの頭部の形状の)マイクロホンによる録音。バイノーラル録音とも。正確にはバイノーラルとはヘッドホン再生を前提とした制作を指し、必ずしもダミーヘッド録音ではない。・・・それなりにリアルなのだが、なぜかおとが前方定位せず、頭上や背面に音定位。これを改良したのが拙作バイオ・バイノーラル。
宇都宮泰 @utsunomiaa_com 2012-06-15 14:05:45
0578h 改良点はシンプル。生頭部はある規則にしたがって空間中を動きながら音を補足するが、旧来のマイクはスタンドに固定=死体の耳、と考え、生体の(耳部)の代表動きを抽出、録音に適用。すると前方(360度)定位が得られる。初期には単純にリズムに合わせて頭部を動かす方式だった。これらも音楽表現と私は考える。
宇都宮泰 @utsunomiaa_com 2012-06-15 14:12:53
0579h 初期のリズムに合わせて動かす方式は、「AFTER DINNER」のアルバムGlass tubeのなかの”お嬢さんとシャベル”。改良型(自然な自発動きの利用)はJON & Utsunomiaの大半の曲。改良型は、脳のフラッシュモード仮説に従ったつくりになっている。  このアルバムの制作初期では仮説(定数)に甘さがあり、予想する効果が得られず、再調査・再確定を何度か行い、編集のみで2年半かかった。
T.K @2I000mg 2012-06-17 16:43:52
ちょうどいいvocoderの例がありました。http://www.youtube.com/watch?v=0MCnnfXPSHw
宇都宮泰 @utsunomiaa_com 2012-06-18 02:40:05
05B3h 時計仕掛け~のサウンドトラックでは「Time steps」がやはり一番。映画のサントラ盤には編集短縮されたものしか入ってないが、スイッチト・オン・ベートーベンでは、フルサイズで収録。この曲を聴かなかったらシンセサイザーやってなかったかも。あまり関係ないが映画「リップスティック」の中で主人公が作ったという設定の曲「怒りの子」(怒りの日にかけた)もポップ電子音楽。作曲はなんとミッシェル・ポルナレフ!
宇都宮泰 @utsunomiaa_com 2012-06-18 02:44:58
05B4h 電子音楽(含む、コラージュ、コンクレート)やってる青年、映画「リップスティック」みてしゅーんとなろう。
T.K @2I000mg 2012-06-18 04:12:09
Roland VP-330 O Superman - Laurie Anderson - as displayed in the MOMA, New York - YouTube http://www.youtube.com/watch?v=-VIqA3i2zQw&feature=related
宇都宮泰 @utsunomiaa_com 2012-06-18 04:31:11
05BBh 多分LipStickの電子音楽部分はYoutubeには無いと思う。しかし、http://www.youtube.com/watch?v=zvuHbx6csjA&feature=related の冒頭部分の背景に写っているのはAmpex AG600レコーダー。ジョン・ケージも愛用。場面は・・・・
宇都宮泰 @utsunomiaa_com 2012-06-18 05:09:41
05BDh ↑おもしろいですね。
宇都宮泰 @utsunomiaa_com 2012-06-18 09:11:03
05C0h 本来はこのシーンでも、例の電子音楽が使用されていたが、http://www.youtube.com/watch?v=-Z4mjoj2feA&feature=endscreen ここで聴こえるのは投稿者の自作音楽。おまえなんか撃ち殺されてしまえ!
宇都宮泰 @utsunomiaa_com 2012-06-19 05:37:49
06C3h 方向がそれた事をおわびします。本稿のテーマを理解するには、ホルマントを視覚化して眺めてみることを推奨します。以前なら数百万円分の測定器を山積みにして行っていた分析が、PCとフリーウェアで簡単に実現できます。
宇都宮泰 @utsunomiaa_com 2012-06-19 05:46:00
06C4h サウンド・スペクトログラム表示ソフトはいくつかありますが、ここではMI氏作・FFTWSGを推奨。http://www.geocities.co.jp/SiliconValley-PaloAlto/8964/ から、fftwsgの最新バージョンをダウンロード。LZH圧縮なので、展開ツールで展開。展開するときに任意のフォルダを作っておき、その中で展開すると、ファイルが飛び散らない。ファイルは5つ。
宇都宮泰 @utsunomiaa_com 2012-06-19 05:51:48
06C5h このソフトはレジストリは使用せず、インストールも不要。USBメモリーに入れておけばどこでもお供。このソフトはファイルを読み込み解析するソフトなので、WaveSpectraやAudacityで録音しておく。WAV形式、サンプリング周波数は44.1kHzまたは48KHzで、必ず16ビットファイルを作成し、fftwsgに読み込ませる。
宇都宮泰 @utsunomiaa_com 2012-06-19 05:54:30
06C6h Audacityの場合、録音したらエフェクト→正規化 を実施しておくと、きれいに表示。fftwsgの最近のバージョンではデフォルトがMP3になっているので、WAVに変更し読み込ませる。
宇都宮泰 @utsunomiaa_com 2012-06-19 06:00:17
06C7h とりあえずの実験では、あー、かー、さー、たー、なーなどの語がわかりやすい。子音は短く、スペクトラムが高域まで広がり、母音は長く、スペクトルはあまり高域までのびていないことが観察できる。  このソフトは操作がなかなか大変ですが、もっとも美しく表示でき、また正味の声紋(kp)なども表示できます。まずはいろいろな音声や、身の回りの音を録音し解析してみる(眺めながら音との関連を観察する)ことが、理解への近道。
宇都宮泰 @utsunomiaa_com 2012-06-19 06:01:26
06C8h ボコーダーや人工内耳の開発者たちも、これを見ながら構想を練ったわけです。
宇都宮泰 @utsunomiaa_com 2012-06-19 16:00:54
06C9h 先のfftwsg.exeが起動・実行ファイルです。これをダブルクリックすると起動。→ファイル入力の催促(→MP3をWAVに、音声ファイル(WAV)を指定)→OK。画面左中央がサウンド・スペクトログラム、画面中央がKp、左上が波形、左下がスペクトル(FFT)、右上がリサージュ(リサジュ)、右下が操作画面本体。各画面を右クリックすると各パラメータ。必要な画面のみにすれば動作は軽くなる。元に戻せなくなったら圧縮ファイルから再びfftwsg.iniを取り出し、上書きで。
宇都宮泰 @utsunomiaa_com 2012-06-19 16:08:20
06CAh これに似た画面が、あっきー氏作WaveTone。http://ackiesound.ifdef.jp/download.html#wt しかしこちらはFFTとウェーブレット変換の中間概念による「人工耳」「または機械ソルフェージュ」を目指しているソフト。このソフトもファイル読み込み→解析(オフライン処理)だが、最高解像度設定での処理の重さは、そのまま脳処理のすさまじさを表している。本稿とこれらは、根本で密接につながっているんですよ。
宇都宮泰 @utsunomiaa_com 2012-06-19 16:17:41
06CBh もちろん彼らは脳科学者ではなく、情報処理分野のエキスパート。処理の方法も脳が行っている処理とはまったく異なる。にも関わらず、目標を達成しようとすると必然的に「進化の道」を辿ることに。
宇都宮泰 @utsunomiaa_com 2012-06-19 16:59:58
06CAh ファイル形式(拡張子=wav、MP3、AIFで表されるファイル書式)やスペック(サンプリング周波数、ビット深度)の変更や解析にはAudacity(プラグインのLAMEやffmpegを装備した)を強く推奨します(ただしWMFのみ非対応)。破損したファイルの修復や読み込みにも対応可能(要バイナリ・エディタ)。また拡張されたWAV(BWF)のヘッダー解析・操作・情報抽出にはWaveSpectra ver1.50を推奨。
ログインして広告を非表示にする
ログインして広告を非表示にする