[cv] LOOCV vs K-Fold and bias-variance trade-off

- LOOCV (Leave-One-Out Cross Validation) vs K-Fold?

일단 두가지 모두 다 Cross-validation 기법이다. 데이터의 양은 정해져있고, (더 많은 데이터셋을 구하는건 더 어려운 일) overfitting 문제를 줄이기 위해서 Cross-validation를 한다.

 

LOOCV: 한개의 관측값을 validation set으로 이용. 당연히 계산양이 많아지고, overfitting 되기 쉬워 데이터셋의 크기가 작을 때 사용함. 

K-Fold: fold의 개수에 따라서 데이터셋을 나누고, 그 중 하나를 validation set으로 이용.

 

- Bias-variance trade-off

LOOCV: low bias, high variance.

전체 n개의 데이터라고 하면, n-1개를 가지고 학습하기 때문에 거의 모든 데이터를 가지고 학습한다고 할 수 있다. 또한 training set이 겹침. -> test error estimates are highly correlated

K-Fold: low variance.

training set overlap이 적음 -> test error estimates are less correlated

 

https://stats.stackexchange.com/questions/154830/10-fold-cross-validation-vs-leave-one-out-cross-validation