情報理論の父と呼ばれるクロード・シャノンの功績とは？

熱気球で世界中にインターネットを提供するプロジェクトが行われたり、高速通信5Gの整備が進んだりと、情報通信技術は日々進歩しています。そんな情報通信技術の基礎となる研究を行い、情報理論の父と呼ばれたクロード・シャノンの功績について、スタンフォード大学で情報学の教授を務めるデビッド・チェ氏が解説しています。

How Claude Shannon’s Information Theory Invented the Future | Quanta Magazine
https://www.quantamagazine.org/how-claude-shannons-information-theory-invented-the-future-20201222/

1916年にミシガン州に生まれたシャノンは、ミシガン大学で数学と電気工学の学位を取得した後、マサチューセッツ工科大学でブール代数を回路設計に適用した修士論文「継電器及び開閉回路の記号的解析」を発表しました。複雑な回路を数学的な理論に基づいて設計することを可能にしたこの研究は、現在も続く回路設計技術に関する研究の出発点とされています。

次に、シャノンは情報通信に関する研究に力を注ぎました。情報通信は人類にとって重要な技術で、のろしや伝書鳩、電話、テレビといったさまざまな情報通信技術が開発されてきましたが、これらの通信システムは、特定の情報源や物理的なモノに依存していました。シャノンはさまざま情報を通信するために使える統一的な理論を求めて研究を行い、1948年に現在の通信技術の基礎的な理論となる「通信の数学的理論」を発表しました。この論文の中で、シャノンは初めて「ビット」という単語を用いています。

この理論でシャノンは情報を「0」「1」の2値のみで表す手法を開発し、時間ごとの情報量をビットを用いて表す「エントロピー(情報量)」という考えを編み出しました。例えば、1分当たり100文字の英文を送信するとき、アルファベットは26文字あるので、1分当たり、26の100乗の組み合わせが考えられます。この情報量をビットを用いて表すと、26の100乗≈2の470乗より、1分当たり100文字の英文を送信するときの情報量は470ビットと表すことができます。このように、さまざまな形式の情報をビットに変換して扱うことができるようになりました。

当時の技術者は、文書、音声、映像といった情報ごとに効率のいい情報通信方式は異なると考えていました。しかし、シャノンの提唱した情報理論によって、どんな形式の情報もビットに変換してから送受信を行うことで効率よく通信できることが明らかになりました。

チェ氏は、「シャノンが研究を始める前から膨大な数の情報技術に関する研究が行われてきましたが、シャノンはそれを1つの理論にまとめました。研究者の仕事は、1つ1つの枝を追加していくことだけでなく、枝を切り取り、美しい木を作ることでもあるのです」と語っています。