$Entropy =-\sum P(x)\cdot logP(x)$
$Entropy$가 가장 큰 경우는 $P(x)$의 분포가 Uniform Distribution일 경우에 최대가 된다.
이러한 $Entropy$는 Model Confidence로써 사용될 수 있다.
Classifier단에서 출력하는 확률의 값들은 Model의 Confidence 라고 부른다.
Model의 Confidence는Classifier에서 출력하는 확률값만 존재하는 것이 아닌
Entropy도 모델의 신뢰도가 될 수 있다.
Model Confidence
conditional 이라는 의미는 $P(y|x)$와 같이 우리가 $x$를 알 때, $y$에 대한 확률처럼 우리가 어떤 정보를 알고 있을 때 어떤 사건이 발생할 확률을 말한다.
Conditional Entropy도 위와 같이 정의될 수 있다.
즉**, $x$에 대한 것을 이미 알고 있을 때, $y$에 대한 Entropy이다.**