K-Nearest Neighbor (KNN)

Supervised Learning (지도학습) : Model-based Learning

● Linear/Ridge/Lasso/Elastic Regression

● Deep Learning(MLP & CNN)

● Support Vector Machine

● Desicion Tree

 

Unsupervised Learning (비지도학습)

● KNN Method(or Algorithm) : [Memory-based Learning] or [Lazy Learning]

 

 

KNN Algorithm

● 선형 vs 비선형

 

● KNN 응용

 

1. KNN 분류

인접한 K개의 데이터로부터 Majority Voting

 

 

 

2. KNN 추정(예측)

인접한 K개의 데이터로부터 평균/중간값/Min/Max 중에서 택 1

 

 

 

KNN Algorithm 이슈

1. 최적의 K를 어떻게 결정할 것인가? → 인접한 학습 데이터를 몇 개까지 탐색할 것인가?

(1 <= K <= 전체 데이터 개수 → Overfiting vs Underfiting)

 

2. 데이터간 거리는 어떻게 측정할 것인가? (Distance Measurements)

 

 

● L1 Norm (Manhattan Distance)

 

● L2 Norm (Euclidean Distance)

 

● Mahalanobis Distance

 

 

 

● Correlation Distance