ジェンセン・シャノン・ダイバージェンス（、略称 JSD、JSダイバージェンスとも）は、2つ以上の確率分布の相違を測る情報理論上の量である。カルバック・ライブラー情報量（KLダイバージェンス）を、比較する分布の混合分布を介して対称化した形で定義される。通常の2分布・等重みの場合には有限かつ有界であり、その平方根は確率分布の集合上の距離をなす。

定義

2つの確率分布を および とし、その等重みの混合分布を

とする。このときジェンセン・シャノン・ダイバージェンスは

によって定義される。ここで はKLダイバージェンスである。

離散確率分布についてKLダイバージェンスを

とすると、

となる。

対数の底によって値の単位は異なり、底を2とした場合はビット、自然対数を用いた場合はナットとなる。

エントロピーによる表示

シャノンエントロピーを とすると、

とも表される。したがって、ジェンセン・シャノン・ダイバージェンスは、2つの分布を混合した際のエントロピーと、各分布のエントロピーの平均との差として表現できる。

重み付きの場合と複数分布への一般化

個の確率分布 と、非負の重み が

を満たすとする。混合分布

に対して、重み付きジェンセン・シャノン・ダイバージェンスは

と定義される。エントロピーを用いると、

と書ける。

性質

非負性

ジェンセン・シャノン・ダイバージェンスは

を満たし、

となるのは の場合である。

対称性

定義から、

である。したがって、一般には

であるKLダイバージェンスとは異なり、2つの引数を交換しても値は変わらない。

有界性

等しい重みを持つ2分布について、対数の底を2とした場合には

である。自然対数の場合には

となる。

上限は、例えば2つの分布が互いに素な台を持つ場合に達成される。

KLダイバージェンスでは、 であるにもかかわらず となる事象が存在すると値が無限大となり得る。一方、ジェンセン・シャノン・ダイバージェンスでは比較対象として混合分布 を用いるため、2分布・等重みの場合には常に有限となる。

ジェンセン・シャノン距離

ジェンセン・シャノン・ダイバージェンスそのものは一般には距離関数ではないが、その平方根

は距離の公理を満たす。したがって、非負性、同一性、対称性に加えて三角不等式を満たす。

FugledeとTopsøeは、ジェンセン・シャノン・ダイバージェンスの平方根による距離空間をヒルベルト空間へ等長的に埋め込めることを示している。

相互情報量との関係

ジェンセン・シャノン・ダイバージェンスは相互情報量として解釈できる。

確率変数 が0または1をそれぞれ確率 で取り、 のとき確率変数 が分布 、 のとき分布 に従うとする。このとき の周辺分布は

となり、

が成り立つ。

したがって、この場合のジェンセン・シャノン・ダイバージェンスは、観測値 から、それが と のどちらの分布から生成されたかを表す変数 について得られる情報量に等しい。

KLダイバージェンスとの比較

ジェンセン・シャノン・ダイバージェンスはKLダイバージェンスを用いて定義されるが、その性質には違いがある。

性質 ジェンセン・シャノン・ダイバージェンス KLダイバージェンス 対称性 対称 一般には非対称 有界性 2分布・等重みの場合は有界 上には有界でない 台が一致しない場合 有限 無限大となる場合がある 距離との関係 平方根が距離となる 一般には距離ではない

例

2値の標本空間 上で、

とする。このとき

である。対数の底を2とすると、

であるため、

となる。これは2分布・等重みの場合の最大値である。

一方、 ならば であるため、

となる。

応用

機械学習

敵対的生成ネットワーク（GAN）の原論文では、識別器を最適化した場合の生成器の目的関数が、データ分布と生成分布のジェンセン・シャノン・ダイバージェンスを用いて表されることが示されている。この関係はGANに関する後の概説でも説明されている。

自然言語処理

Dagan、Lee、Pereiraは、語義の曖昧性解消における類似度に基づく推定法の比較において、2つの単語が誘導する条件付き確率分布を比較するため、平均分布に対するKLダイバージェンスの和を用いる方法を扱っている。この量は定数倍を除いてジェンセン・シャノン・ダイバージェンスに対応する。

ソフトウェア

Pythonの科学技術計算ライブラリSciPyでは、scipy.spatial.distance.jensenshannon によってジェンセン・シャノン距離を計算できる。

この関数が返すのはジェンセン・シャノン・ダイバージェンスそのものではなく、

で定義されるジェンセン・シャノン距離である。また、入力された2つの配列の和が1でない場合は、それぞれを確率分布となるよう正規化してから計算する。

名称

「Jensen–Shannon divergence」という名称は、イェンセンの不等式とクロード・シャノンに由来するシャノンエントロピーに基づくものである。Linは1991年の論文で、シャノンエントロピーに基づくダイバージェンスの一つとしてジェンセン・シャノン・ダイバージェンスを論じた。

日本語では「ジェンセン・シャノン・ダイバージェンス」という表記が用いられている。

関連項目

カルバック・ライブラー情報量 シャノンエントロピー 相互情報量 確率分布

情報幾何学 イェンセンの不等式

脚注

```