반응형
프로그래밍/머신러닝
-
엔트로피, 크로스엔트로피, KL다이버전스프로그래밍/머신러닝 2021. 10. 5. 22:03
https://www.youtube.com/watch?v=mBMc_3sNa9w 위 영상에 엔트로피와 크로스엔트로피, KL다이버전스의 대한 얘기가 나오는데 일단 엔트로피에 대해 내가 이해한 것을 정리하면 어떤 사건이 일어날 확률이 작다면, 그 사건이 일어났다는 것 자체가 희귀하 일이므로, 확률의 역수를 취한 것을 정보로 정의할 수 있고, log2를 취한 것은 확률끼리의 곱을 덧셈으로 만들어 계산을 용이하게 하고, 그 정보를 몇 개의 이진수로 표현했는지를 나타내기 위함이다. 이 정보에 다시 확률을 곱한 것은 한 사건에 대한 정보가 전체 정보에서 얼마나 가중치(지분율)를 같냐를 표현하기 위한 것 같다. 엔트로피는 이해하겠는데 궁금한 것은 크로스엔트로피를 정의할 때 왜 시그마 y^ * log(1/y)가 아닌 시..