 （４）情報量の加法性
２つ情報を得たとき、その２つを合わせた情報量はどれほどか？、情報の加法性を考えよう。
①情報量が１(bit)増加すると...
半々の確率で起きる二者択一の質問の答えは
１(bit)の情報量を持っている。見方を変えれば、
１(bit)の情報があれば、同じ確率で発生する２つの場合を区別できるといえる。
さらにもう１(bit)情報があれば、さらにその中で２つの場合を区別できる。
結局２ｂｉｔの情報があれば４つの場合を区別できることになる。これは、後で学習する二進数の場合、２桁で０～３の４つの数字を表現できることに対応する。 同様に、３ｂｉｔの情報は、８つの場合から１つを選ぶことができる。
情報が１（bit）増す毎に、区別できる状態の数は２倍になる。
②Ａ(bit)＋Ｂ(bit)
「明日雨が降る」という情報と「体育祭は中止だ」という情報の２つを得ても、全体の情報量は各々の情報量の和にはならない。「雨だ」という情報から自動的に「中止」ということを予測できるからだ。
一方、２つの情報が互いに相手に影響を及ぼさない場合（２つの事象が独立な場合）は情報量の加法性が成り立つ。
トランプ（ジョーカーを除く）５２枚のカード当てゲームをやっている時、
「
 だ」という情報Ｉ()と、「エースだ」という情報Ｉ(１)の２つを得れば、「ハートのエースを持ってますね」と言い当てることができる。Ｉ()＋Ｉ(１)は、５２枚から１枚を言い当てるのに必要 な情報量になっているはずだ。
やってみよう 本当にＩ(
かつ１)＝Ｉ()＋Ｉ(１)か確かめよう。
１枚のトランプを隠し持っている時、微視的状態は【 】通りだから、
「私はハートのエースを持っています」という情報の持つ情報量は
Ｉ(
かつ１)＝ ｌｏｇ２ ＝ (bit) である。
 か、 か、か、 か？ どの種類かを言い当てようとすると微視的状態は【 】通りだから、
「私はハートを持っています」という情報の持つ情報量は
Ｉ(
)＝ ｌｏｇ２ ＝ (bit) である。
（あるいは「微視的状態の数が５２から１３に減るから」と考えても同じ）
トランプの数字を言い当てようとすると、微視的状態は【 】通りだから
「私はエースを持っています」という情報の持つ情報量は
Ｉ(１)＝ ｌｏｇ２ ＝ (bit) である。
（あるいは「微視的状態の数が５２から４に減るから」と考えても同じ）
情報量の加法性が成り立つのは、対数の基本性質（３）による。
 の４種類があり、それぞれ１～１３のカードがあるので、トランプは全体で４×１３＝５２枚あるのだが、両辺の対数を取ると、
ｌｏｇ２５２＝ｌｏｇ２（４×１３）＝ｌｏｇ２４＋ｌｏｇ２１３ となるのは当たり前だ。
例えば、サイコロとコイン投げを同時に行い、「６で表」のように結果を予想しようとすると
６×２＝１２通りの状態ができるように、 互いに影響を与えない巨視的状態Ａ，Ｂがあり、各々の微視的状態の数がＷＡとＷＢの場合、両方を混ぜたときの全体の微視的状態の数は Ｗ＝ＷＡ×ＷＢになる。
対数の基本公式（３）より ｌｏｇ２Ｗ＝ｌｏｇ２(ＷＡ×ＷＢ)＝ｌｏｇ２ＷＡ＋ｌｏｇ２ＷＢ であり、
左辺はＷの中から１つを言い当てる時の情報量、
右辺の各項は、それぞれＷＡ、ＷＢの中から１つを言い当てる時の情報量であるから、
基本公式（３）のおかげで情報量の加法性が成り立つことになる。
演習 以下の場合の自己情報量を計算しなさい。
①９割方○大学に受かると言われていたＡ君人が、○大学に落ちたと知ったとき
②「△大学に合格できるかどうか半々だね」と言われていたＡ君が、合格したと知ったとき
③「Ａ君は、９割方受かるはずの○大学に落ちて、半々と言われていた△大学に受かっちゃったよ」
と聞いたときの情報量
|
