グラフや図表などの視覚データを音に変換して盲目の人でもわかるようにするとこうなる

By Takumi Yoshida

さまざまなものに電子機器が組み込まれるようになり、人間の手では処理しきれないような膨大なデータが記録されるようになったことで、膨大なデータをさまざまな方法で視覚化する試みが行われています。しかし、グラフや図表は視覚に障害のある人にとっては何の役にも立たないということで、グラフを音楽に変えることで視覚障害を持つ人でも数値の変化を感覚的に理解できるようになる取り組みが注目されています。

Listen to these charts turned into music — Quartz
https://qz.com/921662/software-engineers-have-figured-out-a-way-to-turn-charts-into-music-for-the-blind/

データを視覚化したグラフや図表は、数値がどのように変化しているかなどを一発で理解できるようにしてくれる優れた表現方法です。しかし、どれだけわかりやすいグラフや図表を作ったとしても、相手が視覚障害を持つ人の場合、グラフや図表はまったく意味を成さなくなります。

アメリカ・ノースカロライナ州にあるデータ分析会社のSASで働くソフトウェアエンジニアのエド・サマーズさんは、この「視覚障害者にどうやってグラフや図表を見てもらうか」という問題と長く向き合ってきました。なぜなら、サマーズさんは10歳の頃に網膜色素変性症と診断され、現在は「盲目」であると診断されているからです。サマーズさんは、「技術革新が教育現場や職場に影響を与えたことによる(盲目の人に起きた)『本当に不幸な側面』は、グラフや図表がわからないという部分です」と述べており、現代社会においてグラフや図表がわからないことが盲人にとって大きなハンデになっていることを指摘しています。

そんなサマーズさんの指導のもと、2017年2月にSASは「Graphics Accelerator」と呼ばれるツールをリリースしました。Graphics Acceleratorがどんなソフトウェアなのかは以下のムービーを見ればわかります。

Turning charts into music, for the blind - YouTube


グラフを音に変換するのがGraphics Accelerator。ムービー中では画面左に表示されているグラフを音に変換しています。

画面右に表示されていたのはグラフをデータポイントとして音に変換するGraphics Acceleratorの仕組みを視覚化したもの。

Graphics Acceleratorでは棒グラフや折れ線グラフ、時系列グラフ、ヒートマップ、散布図、ヒストグラムなどを音に変換してくれます。

X軸とY軸を指定すれば音が鳴らせる仕組みで、グラフの長さなどで鳴らす音を決めているわけ。

盲目の海洋学者であるエイミー・ボワー教授は、「(Graphics Acceleratorを使えば、盲目の人でも)個々のデータポイントを分解して、『よし、温度が一番高いのはいつだ？』『うん、2005年の7月だな』といった具合に、徹底的にデータを分解することができます」と語っています。

なお、開発者はGraphics Acceleratorのようなソフトウェアがデータの他にも科学や数学、などさまざまな分野で視覚障害者の助けになればと願っています。

ウェブページ上のグラフや図表を認識して音に変換してくれるSAS Graphics AcceleratorはGoogle Chromeの拡張機能として無料提供されており、Firefox向けアドオンもリリース予定です。

SAS Graphics Accelerator - Chrome ウェブストア

Graphics Acceleratorはデータを音に変換する音波処理、ひいては芸術や科学の一例とも言えます。ペンシルベニア州立大学・音楽技術学部のマーク・バローラ教授は、耳はパターンや微妙な変化などを聞き分けるのに効果的であると語っており、視覚障害者向けの音を使ったツールの有用性を指摘しています。

また、X線を聴覚的に認識するためにNASAが開発したソフトウェア「xSonify」を使って研究を続ける盲目の天文学者ワンダ・ディアス・メルセド氏の例を挙げ、視覚障害者にとって音が優れた情報源であることを示しています。実際にX線は以下のムービーのように聞こえます。

X-Sonify, a sonification tool developed by NASA - YouTube


なお、メルセド氏はこのxSonifyを使って健常者が見逃していたX線を検出したことのある人物。メルセド氏とxSonifyについてのストーリーは以下から見ることができます。

ワンダ・ディアス・メルセド: 盲目の天文学者が星の音を聞くようになるまで | TED Talk | TED.com

How a blind astronomer found a way to hear the stars | Wanda Diaz Merced - YouTube


バローラ教授は、「科学や数学を目だけでなく、耳でも学ぶものとして子どもを育てた場合の有用性について常々考えています」と述べ、SASのGraphics Acceleratorのようなツールが20年、30年のうちにとても大きな意味を持つようになるかも知れない、としています。

なお、SASのGraphics Acceleratorはノースカロライナ州ローリー近郊のガバナー・モアヘッド・スクールに通う盲目の学生に実際に使用してもらう実地試験を繰り返しており、プロトタイプからはかなり使いえるレベルのものに進化しているとのこと。ただし、絶対音感を持つ子どもたちにとっては音が完全に合っていないということでイライラするものになっているそうで、まだまだ調整が必要そうです。