[ML] KNN 알고리즘이란?

KNN 알고리즘이란?

KNN은 k-Nearest Neighbors의 약자로 1-NN의 단점을 보완한 알고리즘입니다.

1-NN 알고리즘

분류하고자 하는 입력값에 대하여 해당 입력값과 가장 유사한 값 1개를 입력값에 대한 결과로 선정하는 알고리즘.
가장 유사한 값 1개만을 결과 도출에 활용하므로 잘못된 데이터와 같은 noise에 취약합니다.

위와 같이 1-NN은 유사한 값 1개만을 결과 도출에 활용하지만 k-NN 알고리즘은 여러개(k개)의 결과를 활용하므로

 

잘못된 데이터에 대한 민감도가 적어진다는 장점이 있습니다.

 

즉, 1-NN은 잘못된 데이터가 입력 데이터와 제일 유사하면 잘못된 결과값을 제시하기에

 

여러개의 데이터를 통해 결과를 산출하는 k-NN 알고리즘이 더욱 신뢰가 가는 결과를 반환합니다.

 

 

예를 들어, [그림1] 에서 입력값(X)을 빨간점, A그룹을 파란점, B그룹을 녹색점이라고 할 때,

 

1-NN의 경우 X와 가장 가까운 1번점을 결과값으로 하여 A그룹으로 분류됩니다.

 

하지만 k=3인 k-NN의 경우 가장 가까운 3개의 점들의 그룹을 토대로 B그룹으로 분류됩니다.

 

그림 1

 

• 1-NN : 입력값(X)에 대하여 X와 가장 유사한 X'의 결과 Y'를 X의 결과로 반환.
• k-NN : 입력값(X)에 대하여 X와 가장 유사한 상위 k개 (X', X'', X''' ... ) 의 결과들 (Y', Y'', Y''' ... ) 중 가장 많은 수를 차지하는 결과를 X의 결과로 반환.