ML : Machine Learning 개념과 종류 : 모형의 적합성 평가 및 실험 설계

모형의 적합성을 평가하는 방법

학습을 시킬 때 변수의 갯수에 따라 학습데이터의 성능과 검증데이터의 성능을 항상 비교해야 한다.

 

데이터 분할

data 분할은 항상 training, valiadation, test 로 세 가지를 나눠서 검증해야한다.

2020/02/01 - [machine_learning/ML] - ML&DL : train, validation, test 데이터로 나누기

ML&DL : train, validation, test 데이터로 나누기

k-fold 교차 검증 (cross-valiation)

k-fold

• data를 k개 부분으로 나눈 뒤, 그 중 하나를 validation, 나머지를 training
• 위 과정을 k번 반복하여 k개의 성능지표를 평균하여 모형의 적합성을 평가

LOOCV (Leave-One-Out Cross Validation)

LOOCV

• data의 수가 적을 때 사용하는 교차검증 방법
• 총 n개의 모델을 만들 때, n개로 data를 나눠 하나씩 빼고 training을 하고, 뺀 부분으로 검증을 한 후, 성능을 평균 내는 model -> Ensemble Learning과 흡사한 개념