Entropy

Entropy : Measurement for Uncertainty 불확실성의 정도를 나타내는 수치

동전의 앞면	동전의 뒷면	Calculation	Entropy
50%	50%	- (0.5*log0.5 + 0.5*log0.5) = 1	1
100%	0%	- (1.0*log1.0 + 0.0*log0.0) = 0	0
90%	10%	- (0.9*log0.9 + 0.1*log0.1) = 0.47	0.47

 

ex1) "내일 해가 뜬다" 의 Entropy=0

ex2) 내가 사기를 쳐서 동전의 양 면이 다 앞면일 때, Entropy=0

 

● 불확실성이 높을수록 Entropy는 큰 값을 가짐

• Binary Classification : 0 <= Entropy <= 1
• 8-classes Classification : 0 <= Entropy <= 3 
• 16-classes Classification : 0 <= Entropy <= 4

 

머신러닝에서 Entropy 활용의 예

 

1. Deep Learnging의 Loss function

Loss function : 학습 모델이 얼마나 잘못 예측을 하고있는지 표현하는 지표

● 값이 낮을수록 모델이 정확하게 예측했다고 해석할 수 있음

ex) Cross Entropy Error (CEE) 계산 방법

 

 

 

2. Decision Tree (DT)

● DT에서 확실히 구분이 되는 특징을 먼저 구분해 주는 것이 중요

● 확실히 구분이 되는 특징은 불확실성(Entropy)이 작다는 것을 의미

왼쪽의 것이 더 좋음

 

 

3. Active Learning