情報理論

この記事では結合エントロピーと条件付きエントロピーについてまとめていきます。結合エントロピー自己情報量では一つの事象系について扱ってきましたが、実際には2つ以上の事象を扱いたいことがあると思います。そこで、ある二つの事象系AとBがあった時に...

情報理論、機械学習などで使用される情報量とエントロピーの基本についてまとめてみました。情報量とは例えば、毎年サマージャンボを購入している友達が今年もサマージャンボ外れちゃったよーこの話を聞いた時、あなたは「へー、そうなんだ」と特に驚きはしな...