「原子カ」（げんしか）で検索して驚いている人に驚・・・いてもいられない

夢乃 @iamdreamers

“原子カ”（げんしか）で検索して驚く人に驚いてみるなど。

夢乃 @iamdreamers

文書をPDF、に限らないけど別フォーマット、に変えてWeb公開したい場合というのは結構ある。拡大・縮小してもデザインが変わらないようにとか、印刷したときのページ単位で見えるようにとか、改変を防ぐためとか。

夢乃 @iamdreamers

さらに、Web公開するのだからブラウザから直接参照できたほうがいいとか、できるだけ多くの人が見られるようにリーダーは無料のもの・できればOS添付のものがいいとか、そんな条件も入ってくる。

夢乃 @iamdreamers

それらの状況を全部満たすフォーマットとして、例えばPDF形式がある。そこで、PDF形式にして、自分のWebサイトに掲載する。

夢乃 @iamdreamers

さて。

夢乃 @iamdreamers

ここにGoogle社など、世界中のWebサイトを定期的にクロールしてその内容のインデックスを作成し、無数と言っても良いWebページから目的のページを検索できるようなシステムを構築・提供している会社がある。

夢乃 @iamdreamers

しかし、PDFのページはテキストで書かれているわけではないので、通常のクロールでは検索用のインデックスを作成できない。HTMLだけを検索するという仕様でもよいけれど、ユーザーの利便性を考えると、PDFも検索できればなおいい。

夢乃 @iamdreamers

そこで出てくるのがOCR、光学文字認識という技術である。WebサイトにPDFを見つけた場合、PDFの表示結果を画像として扱い、そこから文字を抽出してインデックスを作成する、という方法で、PDFのページも検索できるようにした。

夢乃 @iamdreamers

しかし、OCRとて人間の作るものだから、当然の事ながら完璧ではない。そのため、「力」（ちから）と「カ」（か）、「口」（くち）と「ロ」（ろ）など、似た文字を間違って認識してしまうことがある。

夢乃 @iamdreamers

これらをいちいち人間が目視確認してインデックスを修正していけば良いが、何しろ無数のWebページがある今、そんなことをやっている余裕は、どこにもない。結果として「原子カ」（げんしか）などの訳の分からない言葉が検索エンジンにかかる、ということになる。

夢乃 @iamdreamers

そういう仕組みを知らずに「陰謀だ」などと騒ぐ人を「情弱」と切り捨てるのも良い、が・・・それは私たちソフトウェア技術者がやってはいけない。（仕組みを知ってなおかつ陰謀論を唱える人は、捨てておく）

夢乃 @iamdreamers

前にも何度かつぶやいているけど、そういう人たちを「情弱」と切り捨てているうちは、ソフトウェアの技術はまだまだ黎明期にある、ということに他ならない、というのが私の考え。

夢乃 @iamdreamers

だから、こういう人が出ないよう、ソフトウェアの技術（この場合はOCRによる文字認識の精度）を高めて、決してミスを犯さないようにしていくことが大事なのである。

夢乃 @iamdreamers

（「決して」ミスしない、なんてのは事実上不可能なんだけど、でも、そこを目指して日々精進しなければならないのにゃ〜）