데이터분리

머신러닝 모델은 학습 데이터에 잘 맞는 것만으로는 충분하지 않다.중요한 질문은 이거다.이 모델이 처음 보는 새 데이터에서도 잘 맞을까?예를 들어 CS 문의 분류 모델을 만든다고 하자.목표: 고객 문의 문장을 보고 문의 유형을 예측한다.입력 예시: "배송이 너무 늦어요"정답 예시: 배송 지연 문의데이터가 10,000건 있다고 해서, 10,000건 전부로 학습하고 같은 10,000건으로 평가하면 안 된다.그건 모델이 시험 문제를 미리 보고 공부한 뒤 같은 문제로 시험을 보는 것과 비슷하다.모델이 진짜로 잘하는지 보려면, 학습에 쓰지 않은 데이터를 따로 남겨두고 평가해야 한다.전체 데이터 10,000건→ 학습용 데이터 8,000건→ 검증용 데이터 1,000건→ 테스트용 데이터 1,000건데이터 분리의 목적은 ..