半角濁点の編集上の扱いについて

exeal（犬） @exeal_

ちなみに書記素の判定を、素の UAX #29 だけでやるとインド語群の nukta とかでコケる。

vyv03354 @vyv03354

@monokano NFKCで「ド」になりますよ? 半角濁点はU+3099と互換等価です。U+309Bではありません。

ものかの @monokano

あー！ しまったぁあ！ ご指摘猛烈感謝です！！ RT @vyv03354: @monokano NFKCで「ド」になりますよ? 半角濁点はU+3099と互換等価です。U+309Bではありません。

ものかの @monokano

『半角カナ２文字「ﾄﾞ」を全角１文字「ド」にするUnicode正規化は存在しない』は正しいです。NFKCでは『基底文字+結合文字の２文字「ド」』になります（Cなのにさらに合成されて全角１文字「ド」にならないのが面白いですね）。 @vyv03354 @query1000

ıɥɔıɐʇ ɐʇɐqɐʍɐʞ @kawabata

「ﾄﾞ」は、NFKCでは「ド」になるはずです…あれ、Emacsのucs-normalizeはならないなぁ。バグかな。 RT @monokano:『半角カナ２文字「ﾄﾞ」を全角１文字「ド」にするUnicode正規化は存在しない』は正しいです。@vyv03354 @query1000

ものかの @monokano

@kawabata: なるはず…と言われれば、はずですよねえ。でもOSXのAPIを利用した自作ソフトでは合成済み文字のド「U+30C9」にはなりません。バグ？w http://t.co/jHMqmYk @vyv03354 @query1000

ものかの @monokano

【緩募】｢ﾄﾞ｣をNFKCで正規化すれば「FF84 FF9E > 30C8 3099 > 30C9」になりそうなものなのに、なぜか「30C8 3099」にはなるけど「30C9」にならない理由。

UTF-8はBOMなしでって言ったよね？ @moji_memo

@monokano なるはずですよね。なんでだろ。ここのテストページでは1文字の「ド」になります。 http://bit.ly/fqrenh @query1000 @kawabata @vyv03354

ものかの @monokano

@moji_memo そのテストページ良いですね。ん〜ライブラリの違い？ @query1000 @kawabata @vyv03354

窮狸校正所 @mori_taksi

@mori_tacsi CotEditoでもやっぱりできませんね。ものかのさんのと同じライブラリなんでしょう。 @usamik26 http://twitpic.com/4ebaf9

拡大

ものかの @monokano

@mori_tacsi こっちでも確認しました。CotEditorのNFKCも合成済み文字になってくれませんね〜

小形克宏 @ogwata

@monokano UnicodeCheckerでは、U+FF84 と U+FF9EをNFKCすると U+30C9となりますね。 http://twitpic.com/4ebhub @kawabata @query1000 @vyv03354

拡大

ıɥɔıɐʇ ɐʇɐqɐʍɐʞ @kawabata

ucs-normalizeのNFKCのバグは特定しました。が、これは一部 Unicode.org にも責がある気が… @monokano さんの使ったライブラリはApple謹製ですか？それともソースコード公開のフリーソフト？ひょっとしたら私と同じ場所でミスをしているかもしれない。

ものかの @monokano

@kawabata Apple謹製のCFStringでやってます。

ıɥɔıɐʇ ɐʇɐqɐʍɐʞ @kawabata

だとしたら、ちょっと内部動作は分からないんですね。私は高速化のための最適化処理で、一部ミスりました。問題なのは、Unicodeから提供されている適合性テストスイートではこのミスは検出できない点です。 RT @monokano Apple謹製のCFStringでやってます。

ものかの @monokano

@kawabata 内部動作は分かりません。しかしどうやらCFStringのバグくさいですね。UnicodeChecker.appはNSStringでやっていて、そっちだと正常な結果になるようです。