Central Challenge In ML

머신러닝/딥러닝은 새롭게 발견되는 인풋에 대해서 잘 분류/예측하는 것이 중요하다.

우리는 이것을 Generalization (일반화)라고한다.

Generalization Error

새로운 데이터에 대한 에러

Training Error는 우리가 충분히 낮출 수 있지만, 낮춘다고 해서 Test Error가 같이 내려갈 것이라는 보장이 없다.

그런데, 우리는 Test Error를 알 수가 있을까요?

예를 들어, 우리가 아무리 교재를 많이 공부하고 학습지를 잘 푼다고해서 수능 시험장에 들어가서 몇 점을 받을 수 있을지 예측할 수 있을까요? 이러한 Test Error를 추정하기가 너무 어렵다.

우리는 이런 것에 대한 실마리를 제공하는 분야가 Statistical Learning Theory가 되겠다.

Capacity, Overfitting and Underfitting

• Test error는 Training Error보다 같거나 그보다 많다.

Underfitting: Model is not able to obtain a sufficiently low error value on the training

⇒ 모델이 Training 상황에서 충분히 낮은 에러값을 가지지 못한 경우에 속한다.

Overfitting: gap Between the training error and test error is too large

⇒ 문제를 약간만 변화해도 못푸는 경우 Too Much Trained