情報学の父クロード・シャノンが規定した「情報」とは？

情報理論の父と呼ばれるクロード・シャノンは、情報を「0」「1」の2値のみで表す手法を開発しました。この手法によって表される「情報」の意味を、バーミンガム大学でコンピューターサイエンスについて教えるアーロン・スローマン氏が解説しています。

Jane Austen's concept of information
https://www.cs.bham.ac.uk/research/projects/cogaff/misc/austen-info.html

シャノンは、さまざまな意味を持つ情報を「0」「1」の2値で表す「通信の数学理論」を開発し、「エントロピー(情報量)」と呼ばれる概念を編み出しました。

情報理論の父と呼ばれるクロード・シャノンの功績とは？ - GIGAZINE

スローマン氏によると、シャノンが規定した「情報量」は、人々がイメージする「現象の規模」とは異なるとのこと。例えば、「イモムシが草を食べた」「小惑星が島を壊した」という2つの文からは異なる規模の現象がイメージされますが、両者は「『名詞』が『名詞』を『動詞』」という同じ種類の単語で構成されているため、シャノンの理論に当てはめると「『単語の種類』に関する情報量は等しい」と言えます。

シャノンの情報理論では、情報が一定の信号によって構成される場合、信号の数によって情報量が決定されます。例えば、「.」「-」の2種類の信号で表されるモールス符号の場合、「..--」「--.-」といった4連続のモールス符号で表される情報は、2の4乗＝16通り存在します。言い換えれば、4連続のモールス符号は、16通りの情報の内15通りの情報の可能性を削除できます。同様に、「aaabb」「ababa」といった2種類のアルファベット5文字で表される情報は、2の5乗＝32通りの情報のうち31通りの情報の可能性を削除できます。

また、4つの連続した2種類の信号は2の4乗＝16通りの情報を表せますが、4連続した4種類の信号は4の4乗＝256通りの情報を表せます。このように、シャノンの理論では、信号の長さ・種類が増えるほど情報量が大きくなります。このとき、「zzxxjalp」「azbycxxyrk」といったアルファベットの羅列をシャノンの理論に当てはめると、文字数の多い「azbycxxyrk」の方が情報量が大きいといえます。しかし、両者は意味を持つ英単語ではありません。

「bird(鳥)」「crow(カラス)」の2つの単語には、26文字のアルファベットのうち4文字が含まれており、シャノンの情報理論では同じ情報量を持ちます。このため、「Tweety is a bird(トゥイーティーは鳥である)」「Tweety is a crow(トゥイーティーはカラスである)」という2つの文はシャノンの情報理論では同じ情報量を持ちますが、「鳥」という単語は「鳥以外の動物である」という情報を削除するのに対し、「カラス」という単語は「カラス以外の鳥である」という情報を削除できるため、直感的には「トゥイーティーはカラスである」という文の方が情報量が多く感じるとスローマン氏は指摘しています。

スローマン氏は、「シャノンの情報理論では、情報量を信号の種数と組み合わせ可能な数によって規定します。そのため、私たちが『意味』『内容』と呼ぶものと、シャノンの情報には関係がありません」と述べています。

また、スローマン氏は、18世紀から19世紀にかけて活動した小説家ジェイン・オースティンが1813年に発表した「高慢と偏見」に「information(情報)」という単語が多用されていることを例に挙げ、「オースティンの小説に用いられているような、『意味』『内容』といった側面を持つ『情報』と、シャノンの情報理論における『情報』を混同してはいけません」と述べています。