서포트 벡터 머신 (SVM) : 선형 / 비선형 분류, 회귀, 특이치 탐지 등에 사용할 수 있는 다목적 머신러닝 모델

• ☺︎ 장점 : 특히 분류 작업에 유리
• ☹︎ 단점 : 매우 큰 데이터셋으로는 잘 확장되지 않음

5.1 선형 SVM 분류

• 오른쪽 그래프 : 실선이 SVM 분류기의 결정 경계 → 두 개의 클래스를 나눔 & 제일 가까운 훈련 샘플로부터 가능한 한 멀리 떨어져 있음

라지 마진 분류 : 클래스 사이에 가장 폭이 넓은 도로를 찾는 것으로 생각

서포트 벡터 : 도로 경계에 위치한 샘플 (도로 바깥쪽에 훈련 샘플을 더 추가해도 결정 경계에는 영향 X)

• SVM은 특성의 스케일에 민감함 ⇒ 사이킷런의 StandardScaler 등을 사용해서 스케일을 조정하면 결정 경계가 좋아짐

5.1.1 소프트 마진 분류

선형 SVM 분류

1. 소프트 마진 분류

2. 하드 마진 분류 : 모든 샘플이 도로 바깥쪽에 올바르게 분류됨

   P1. 데이터가 선형적으로 구분될 수 있어야함

   P2. 이상치에 민감함

왼쪽 그래프 : 이상치가 하나 존재 ⇒ 하드 마진 찾을 수 X

소프트 마진 분류 : 도로의 폭을 가능한 한 넓게 유지하는 것과 마진 오류 사이에 적절한 균형을 잡는 것

마진 오류 : 샘플이 도로 중간이나 심지어 반대쪽에 있는 경우

왼쪽보다 오른쪽 모델이 더 잘 일반화 됨

하이퍼파라미터(C)의 크기에 따라 그래프가 달라짐

• 하이퍼파라미터를 줄이면 : 도로가 더 커짐, 마진 오류가 더 많이 발생 ⇒ 과대 적합 위험이 줄어듦