Cross Entropy

크로스 엔트로피란?

교차 엔트로피는 주어진 확률 변수 또는 일련의 이벤트에 대한 두 확률 분포 간의 차이를 측정한 것입니다.

정보 가 이벤트를 인코딩하고 전송하는 데 필요한 비트 수를 수량화 한다는 것을 기억할 수 있습니다 . 낮은 확률의 사건은 더 많은 정보를 갖고, 높은 확률의 사건은 더 적은 정보를 가집니다.

정보 이론에서 우리 는 사건 의 " 놀라움 "을 설명하는 것을 좋아합니다. 이벤트는 가능성이 적을수록 더 놀랍습니다. 즉, 더 많은 정보가 포함됩니다.

• 낮은 확률 이벤트 ( 놀라움 ): 추가 정보.
• 더 높은 확률 이벤트 ( 당연하지 않음): 정보가 적습니다.

정보 h(x) 는 다음과 같이 이벤트 P(x) 의 확률이 주어지면 이벤트 x 에 대해 계산할 수 있습니다 .

• h(x) = -log(P(x))

엔트로피 는 확률 분포에서 무작위로 선택된 이벤트를 전송하는 데 필요한 비트 수입니다. 치우친 분포는 엔트로피가 낮지만 이벤트가 동일한 확률을 갖는 분포는 엔트로피가 더 큽니다.