정보량의 평균 : 엔트로피

엔트로피는 '어떤 상태에서의 불확실성', 또는 이와 동등한 의미로 '평균 정보량'을 의미한다. 불확실성이 클수록 정보량이 많아진다

전공과목을 보고 베낀 수준이니 확실한 정보이다! 

정보량이 그래서 적다 

불확실하다면 사족이 많아져 정보량이 많아질 테니 ........

 

log(1)  - log(p(x)) =  정보량 

log(1) 은 맞춘거임! 그래서 0 이됨 2(로그의 밑,주로 0,1비트를 담당하므로 2비트를 쓴다. 이진) ^ 0 = 1 이므로,  못맞출경우  (불확실성이 많을 경우)   정보량이 제일 많다!! 

이산 확률 분포이므로, 0 ~1 사이에 분포!

교차엔트로피 오차 의 공식

정보량의 평균이므로 다음과 같이 구한다 

def crossentropy(P, Q):
  return sum([-P[i]*np.log2(Q[i]) for i in range(len(P))])

시그마 에 대한 코딩 감이 중요한듯

np.log2  는 밑이 2인 로그를 말한다.