写真や画像上の文字列を選択してコピペ可能にするChrome拡張機能「Project Naptha」

写真やJPEG画像、ダイアグラム、スクリーンショット上にある文章など、通常はコピー＆ペーストができない文字列を選択＆コピー＆ペースト可能にするGoogle拡張機能が「Project Naptha」です。

Project Naptha
http://projectnaptha.com/

実際にどういうことができるのか？ということは、以下のGIFアニメを見るとわかります。

拡張機能を使うには、まず「Add to Chrome」をクリック。

「Chromeに追加」という画面が出るので「追加」をクリックします。

拡張機能が追加されると、アドレスバーの横に「Project NapthaがChromeに追加されました」と表示されます。

ということで、実際にGIGAZINEを開いて試してみます。画像内にある「Gunosy」という文字を選択して右クリックでコピー。この時、文字が少しナナメになっていても問題はありませんでした。

Googleを開いて検索欄にペーストすると、画像内の文字をちゃんと貼り付けることができました。

Project Napthaはマイクロソフトの考案した個々の文字からテキストを認識するアルゴリズム「Stroke Width Transform」を元に、カーソルの動きを読み取って、即座にテキストするよう開発されたもの。文字の認識にはOcradというオープンソースOCRを使用しているのですが、ラテンアルファベットといくつかのダイアクリティカルマークしか認識できないのが弱点。また一定の文字の形を基準に認識しているので読み取るべきテキストが「he1|o」という表記で合っていても「hello」として認識されることもあります。

例えば「Texコンパイル」という文字をコピーして……

貼り付けると長い文字列が現れました。

書いてある内容は以下の通り。

TexII ' This text was recognized by the built-in Ocrad engine. A better may be attained by changing the OCR Engine (under the Language menu) to Tesseract. This message can be removed in the future by unchecking "OCR Disclaimer" (under the Options menu). More info: http://projectnaptha.com/ocrad

先頭の文字列を見てみると「TexII」となっており、「Texコンパイル」のうち「コンパイル」が正しく読み取れなかったため、このような表記になってしまっているようです。

アルファベットでもユニークなフォントを使っていると……

同様に、うまく認識されませんでした。

そもそも画像は根本的にラスター要素でできているため、文字を特定するのに必要な情報が欠けています。

そこで、画像センシングや情報の認識などを行うコンピュータビジョンが用いられたりするのですが、これは文字や物体の存在、物体の形などを「見て」いくタイプの技術です。

一方、OCRはもともと図書館や司法の分野で本や文書を認識するために30年以上使われてきた技術がもととなっており、近年ではさまざまなアルゴリズムが加えられ、写真から道路標識を認識したり、名刺の文字を認識するのにも使われます。

Ocradではなく、Googleが提供しているOCR「Tesseract」を使うと、例えば誰かがパブリックイメージに対してTesseractを使った場合、認識結果はGoogle側に保存されるため、その後に別の誰かが同じイメージから文字を読み取ろうとしてうまくいかなくてもキャッシュによって認識が可能と、精度が高くなります。そのため、将来的にはOcradからTesseractに移行していく予定。

現在Project Napthaが使えるのはGoogle Chromeのみで他のブラウザには対応していませんが、Firefox版は近いうちにリリースされるとのこと。その他、「このブラウザにも対応させてほしい」というものがあれば、開発元に連絡することが可能です。