[머신러닝] Loss Function, Optimization, Batch size

Loss Function

학습 모델이 얼마나 잘못 예측하고 있는지를 표현하는 지표

→ 값이 낮을수록 정확하게 예측했다고 해석할 수 있음

Mean Absolute Error (MAE, 평균 절대 오차)

 

Mean Squared Error (MSE, 평균 제곱 오차)

 

Cross Entropy Error (CEE, 교차 엔트로피 오차)

 

 

ex) Mean Squared Error (MSE, 평균 제곱 오차) 계산 방법

 

ex) Cross Entropy Error (CEE, 교차 엔트로피 오차) 계산 방법

 

 

 

 

 

 

 

Optimization

Loss Function 을 최소로 만들기 위한 가중치, 편향을 찾는 알고리즘

 

Learning rate : 가중치를 얼마나 변경시킬지 정하는 상수

 

Gradient Decent algorithm

1. 현재 지점에서 미분을 이용해 gradient 계산

2. gradient 에 learning rate 를 곱하고 반대 방향으로 weight update

 

 

Learning rate가 너무 작은 경우                          Learning rate가 너무 큰 경우

 

 

 

 

 

 

Batch size

한 번에 학습할 데이터의 개수

 

1 Epoch : 전체 데이터셋에 대해 1회 학습

 

1 Iteration : 1개의 batch에 대해 학습

 

전체 데이터가 100개, batch size가 10인 경우

• 1 Iteration : 10개 데이터에 대해 학습
• 1 Epoch : 100개 데이터에 대해 학습 (== 10 Iteration)