Differential Entropy는 연속 확률 분포의 불확실성을 측정하는 지표

이산 엔트로피의 확장이다.

지난 Entropy는 Discrete한 확률 변수에대한 Entropy였다.

****엔트로피(Entropy)****는 정보 이론에서 불확실성, 혼란 또는 무질서를 측정하는 중요한 개념이다.

• 불확실성의 측정: 엔트로피는 시스템의 예측 불가능성을 측정해. 예를 들어, 동전을 던졌을 때 앞면과 뒷면이 나올 확률이 같다면 엔트로피는 최대값을 가지며, 이는 우리가 동전의 결과를 예측할 수 없다는 것을 의미한다.
• 정보의 양: 엔트로피는 특정 사건이 일어날 때 우리가 얻을 수 있는 정보의 양을 나타내기도 해. 예를 들어, 동전을 던져서 앞면이 나오는 경우, 이미 그 결과에 대한 정보가 일정 수준 예측 가능하므로 엔트로피는 낮을 거야. 반면에 결과를 예측할 수 없을 때는 엔트로피가 크다고 할 수 있다.

엔트로피의 성질

1. 최소 엔트로피: 확률이 하나의 값에만 집중된 경우, 즉 P(xi)=1P(x_i) = 1P(xi)=1인 경우엔 엔트로피가 0이 돼. 이는 결과를 예측할 수 있기 때문에 불확실성이 없다는 의미이다.
2. 최대 엔트로피: 확률이 균등하게 분포된 경우엔 엔트로피가 최대가 돼. 예를 들어, 동전 던지기처럼 각 면이 나올 확률이 동일한 경우엔 불확실성이 최대이다.

• $h(x) = -log_2P(x)$ (정보량)
• $H(x) = -\sum_xP(x)log_2P(x)$ (정보량의 기대값: Entropy)
• $H= -\sum_ip_ilnp_i$ (정보량의 기대값: entropy)

Cross Entropy

• $H(p,q) = -E_p[log \;q]$ (로그 q를 p에 대한 기대값)

  $H(p,q) = -\sum_xP(x)log\;q(x)$

  • $P(x)$를 $y$ label (one_hot_encoding)
  • $q(x)$: 우리 모델의 output 값

Differential Entropy

우리는 이러한 Entropy를 Discrete한 것이 아닌 Continuous random variable에 대해서도 정의할 수 있다.

• $H(x) = -\int p(x)\cdot lnp(x)dx$ (differential entropy)

Example) Gaussian Distribution: $p(x)$ = $\frac{1}{(2\pi\sigma^2)^{\frac{1}{2}}}\cdot exp(-\frac{(x-\mu)^2}{2\sigma^2})$

• $lnp(x) = -\frac{1}{2}ln2\pi\sigma^2-\frac{(x-\mu)^2}{2\sigma^2}$