【情報理論】結合エントロピーと条件付きエントロピー

この記事では結合エントロピーと条件付きエントロピーについてまとめていきます。

結合エントロピー

自己情報量では一つの事象系について扱ってきましたが、実際には2つ以上の事象を扱いたいことがあると思います。

そこで、ある二つの事象系AとBがあった時に同時に起こる事象を結合事象系と言い、$A\otimes B$、$AB$と表現します。

この時の平均情報量は$H(A , B),H(AB),H(A\otimes B)$のようにかき、これを結合エントロピーと言います。

$$
\begin{align}
H(AB)&=-\sum_i\sum_jp(a_i\cap b_j)\log_2p(a_i\cap b_j)\\
&=-\sum_i\sum_jp(a_i\, b_j)\log_2p(a_i, b_j)\\
\end{align}
$$

条件付きエントロピー

二つの事象系AとBがある時、変数Bを知っているときのAの不確実性を$H(A|B)$として、これを条件付きエントロピーと言います。

$$
H(A|B)=-\sum_{j}p(a_j)\sum_ip(a_i|b_j)\log_2p(a_i|b_j)
$$

ここで先程の結合エントロピーの式を変形させると以下のようになります。

\begin{align}
H(AB)&=-\sum_i\sum_jp(a_i\cap b_j)\log_2p(a_i\cap b_j)\\
&=-\sum_i\sum_jp(a_i)p(b_j|a_i)\log_2p(a_i)p(b_j|a_i)\\
&=-\sum_i\sum_jp(a_i)p(b_j|a_i)(\log_2p(a_i)+\log_2p(b_j|a_i))\\
&=-\sum_{i}\sum_{j}p(b_j|a_i)p(a_i)\log_2p(a_i)-\sum_{j}p(a_j)\sum_ip(a_i|b_j)\log_2p(a_i|b_j)
\end{align}

上記の最終行の一項の$\sum_{j}p(b_j|a_i)$は1となるので一項は$H(A)$となることが分かります。

そして2項目は条件付きエントロピーの式と同じです。

なので

\begin{align}
H(AB)&=H(A)+H(B|A)
\end{align}

が成り立ち、同様の方法で以下の式も成り立ちます。

\begin{align}
H(AB)&=H(B)+H(A|B)
\end{align}