검증데이터
-
[Python]Splitfloders 한줄로 Train/Test/Validation 나누기programming/Python 2021. 11. 15. 23:24
딥러닝이나 머신러닝에서는 Dataset을 분할하는 것은 필수적입니다. 보통은 딥러닝 또는 머신러닝 프레임워크에 데이터셋을 분할하는 함수나 클래스가 있지만 불가피하게 수작업으로 분할해야 할 때가 있습니다. 그럴 때는 보통 glob, os, shutil, re 등의 라이브러리를 사용해 분할을 하지만 이것 또한 귀찮을 때가 있습니다... 그럴 때 사용하는 라이브러리를 소개할까 합니다!..(저도 귀찮아서 검색하다가 찾았습니다!) Train/Test/Validation Train set : 모델이 학습하는데 사용 되는 훈련용 데이터입니다. Test set : 학습 후에 모델의 성능을 평가하기 위해서만 사용되는 테스트용 데이터입니다. (수능 데이터!) Validation set : 모델의 일반화 능력을 높이기 위해..