等価な解の置換を考慮した
エントロピーの式を,イェンゼンの不等式で上限を見積もる.今まで用いていた
エントロピーよりも小さくなる.それはそうだ,等価な解を重ね合わせると,解はぼやけて
エントロピーが大きくなるのだから.これはいけるかもしれない.しかし,今までの予想,Σg
k log g
k で近似するやり方は間違っていたかもしれない.
いずれにせよ,置換を指定する潜在変数πを導入するやり方は悪くなさそうだ.
(下のブログでたさきさんの名前を間違えて書いていました.すみません.修正しておきました).