ai 컴공 연구 윤리

1, 2는 왜? 데이터 조작일 수가 있나?

2보고 놀라며 댓글 작성합니다. 혹시나 해서 박사과정은 아니실거라고 바래보며 혹시나 박사과정생이시라면 다시 한번 생각해보시길 바라며 댓글 남깁니다.

테스트 과정은 말 그대로 훈련에 관여하지 않은 임의의 셋에 대하여 모형의 평가를 하기 위한 데이터 표본이지요.

Valid set은 훈련 각 에폭마다 파라미터 업데이트를 위한 방향성을 잡아주는 셋이구요.
그리고 나온 최종 모형을 가지고 test에서 평가를 하게 되는거지요.

여기서 가장 중요한 hypothesis는 이 test 셋이 전체 모집단을 반영해줄 것이며 그렇기 위해서 대부분 test set은 랜덤하게 추출됩니다.

하지만 이 결과 값이 충분하지 않으면 전처리를 다르게 한다거나 post processing을 통해서 성능 향상을 하고 validation에서 결과를 보고 test셋에서 최종 성능을 보고 결과를 마무리 짓게 되는데, 이게 문제가 된다는건가요?

훈련 과정에 참여하지 않은 표본으로 모형의 평가를 하고 다시 훈련하거나 다른 방법론을 쓰는건 문제가 되지 않습니다.

2번은 multiple testing 에 의해 우연하게 좋은 결과가 나왔을 때 이에 대한 신뢰도가 문제가 되는 경우가 있습니다. 그래서 hyperparameter tuning 에 민감한 ML 연구는 재현성 이슈가 따라 붙곤 합니다. 그렇다고 해서 이를 데이터 조작이라 보기는 어렵고, 해당 실험의 신뢰성이 높지 않다고 판단하면 됩니다. 그럴 때는 다른 데이터 혹은 다른 task 에서 hyperparameter tuning 를 하지 않고 벤치마크와 비교실험을 하면 됩니다.