머신러닝은 지속적으로 발전하고 있습니다. 정확도는 올라가고 있고, 우리 삶에서 많은 부분(구글포토 등)에 영향을 주고 있습니다.

그러나 클러스터링의 경우, 현실세계에서 클러스터링을 수행하고 평가하는 것은 생각보다 어려운 일입니다. 왜냐하면 클러스터링을 할 자료에는 답안지가 없기 때문이죠.

그리고 자료의 차원이 낮다면 자동차 세그먼트처럼 구분할 수 있겠지만, 현실세계에서는 자료의 차원은 높고, 나의 인지범위는 2차원을 못 넘을 뿐이죠. 🤢

여기서 보스턴 주택가격 자료를 가지고 아주 간단한 클러스터링을 진행해보겠습니다.

이 자료는 클러스터링이 아닌 회귀예측을 위한 자료이며, 506개의 레코드와 13개의 변수로 구성되어 있습니다.

이게 뭐지???

1) 데이터 스케일링

• 각 변수마다 자료의 척도가 다르기 때문에, 원자료는 그대로 사용시 클러스터링시 문제가 발생할 수 있습니다.
• 원칙적으로 자료는 탐색한 후, 자료에 맞는 스케일링을 실시해야 하지만 !귀찮아서! 스탠더드 스케일링을 진행하겠습니다. (평균 0 / 표준편차 1)

외계어 아닙니다

2) 클러스터 수에 따른 평가

• 클러스터링은 비지도학습으로 평가측정이 어렵습니다.
• 일반적으로 Silhouette(높은수록 좋음 / 0.5 이상 ok), Davies-Bouldin(낮을수록 좋음 / 최소값 0) 점수를 활용하지만,
  클러스터가 모여있다는 가정하에서 클러스터의 모양을 판단하기 때문에, 실제 클러스터링 목적과 부합하지 않을 수 있습니다.
• 여기에서는 계층군집화(개별사례 간 유사도를 측정하여 클러스터링)을 2~10개의 클러스터로 설정하여 지표를 확인하였습니다.

클러스별 평가점수 / 현실세계자료라서 애매함

지표를 표로도 봅시다

3) 차원축소 Manifold(T-SNE)로 2차원으로 클러스터링을 비교

• 원칙적으로 클러스터링별 자료를 해석하는 것이 원칙이나 (귀찮아서)여기서는 생략합니다.
• 반드시 명심할 것은 차원축소로 클러스터링을 비교하는 것은 위험성이 높습니다.
  (차원축소의 경우, 다차원의 자료에 기반하기 때문에 축소시 자료해석에 손실이 발생할 가능성이 높음)
• 현실세계의 자료는 클러스터별 원자료를 해석하는 경우 클러스터링이 잘된 것으로 판단될 수 있으나, 차원축소된 그래프로는 명확히 나눠지지 않는 난감한 경우도 많이 발생합니다. (그렇다고 가짜 그래프는 삼가합니다)
• 앞선 지표에 의해서 클러스터 개수를 정하더라도, 실제 클러스터링을 판단/결정하는 것은 분석가의 주관적 판단이 필요한 것을 명심해야 합니다.

클러스터 별 결과인데... 몇개로 클러스터를 설정하는 것은 여러분의 선택입니다.

현실문제에서 클러스터링은 훨씬 많은 시간 및 계산비용이 소모됩니다.

사실 계층적 군집분류의 경우 레코드가 100만 건이 넘어가면, 간편한 Sci-Kit Learn을 사용하면 일반적인 개인컴퓨터에서는 메모리 문제로 실행되지 않습니다. Spark 같은 대량 병렬처리 방법으로 접근해야 하기 때문에... (살려줘)

자세한 내용은 출처의 링크를 확인하셔도 좋습니다. 출처에 있는 자료를 내려받은 후 실행해보시면 더 이해가 빠르실겁니다.