논문 subject 설정

조언은 감사합니다만..

ABC도 사실 좀 이상한 이유였어요. 논문의 퀄리티랑은 전혀 상관이 없는..

예를 들어 기존의 연구에서 이게 안 된다고 했는데 내가 직접 돌려보니 되던데 왜 그런 말을 하냐? 라는 식의 조작 아니냐라는 말을 하더라구요.

많이 억울했던게 진짜 조작 아니였고 저 뿐만 아니라 실험에 대해선 진짜 수없이 반복하고 저 뿐만 아니라 다른 4명 5명도 따로 실험을 진행해서 진짜 안된다는 것을 검증도 다 받아서 기존에는 이게 확실히 안된다를 전제로 깔고 간건데 본인이 했을 때는 되던데라고 하더군요.

리버탈 기간에도 정말 수업이 돌려봤지만 기존 꺼는 절대 안 됐습니다. 그래서 나 진짜 진실하게 된다고 썼는데 최후 리뷰에는 그런 말은 하나도 없고 저보다 성능이 월등히 떨어지지만 속도만 빠른 모델을 보고 이 모델보다 느리니 별로 같다. 등의 얼토당토 같은 리뷰를 줬는데..

이런식의 리뷰를 주면 이 세상에 붙을 논문 하나도 없다고 생각합니다. 반박 기회가 여러번 있는 것도 아니고 3명 리뷰에 대한 반박을 한 페이지 내에 모두 담아야 하는데 DEF가 별로라고 말 할 것을 예상해서 담아야 했다는건.. 솔직히 너무한 처사로 들립니다. 그리고 리버탈에서 애초에 물어보지도 않은 논지를 벗어난 말을 하는 것도 말이 안되잖아요..

좋은 말씀 주시려고 쓴 글일텐데 좀 감정적으로 글을 쓴 것 같네요. 혹시 기분이 상했다면 죄송합니다..

제가 감정상할 이유가 있나요, 리젝은 글쓴이가 받았는데요. ㅎㅎ

적어도 말씀하신 예시는 논문의 퀄리티랑 충분히 상관있어보입니다. 물론 조작 아니냐라는 말을 하는 건 그 리뷰어가 선을 넘긴 했습니다. 하지만 일단 그런 워딩이나 태도의 문제, 리뷰어 자체가 문제일 가능성은 넘겨놓고 연구적인 부분만 생각하죠.

결국 저 리뷰어가 주장하는 건 글쓴이가 재현성에서 실패했다는 것입니다. 기존의 연구에서는 안되는데 글쓴이의 연구에서는 된다는 그 크리티컬한 포인트를 제대로 증명하지 못했다는 것입니다. 그리고 글쓴이가 진실되게 실험했고 얼마나 많이 실험했는지를 공학적이거나 과학적인 작업에 대해서 강조해서는 안되고 또 억울하다고 생각할 수 없습니다. 글쓴이는 그 주제에 대해 워낙 열심히 해왔기 때문에 자신의 성과물이 아주 자명할 것입니다. 하지만 다른 사람 눈에 보이는 사실, 또 글쓴이의 의견을 효과적으로 전달하는 건 전혀 다른 문제에요. 막말로 리뷰어도 진실되게 실험하고 다른 결과가 나왔는지 누가 알겠습니까.

하나 질문하고 싶은 것은, 기존의 모델이 글쓴이의 모델보다 못하다는 걸 모델의 정의를 통해 자명하게 연역할 수는 없는 건가요? 혹은 기존 모델의 구조상 어떤 의도를 갖고 설계 했기 때문에 내가 목표하는 이 요소를 성립시킬 수가 없다는 설명이라도 가능할까요? 만약 수학적인 description이 주어질 수 있으면 더할나위가 없이 강력할 거고요. 생물학처럼 복잡한 시스템에 대해 천번 만번씩 실험해야 증명되는 것과 달리 컴퓨터 기반의 실험은 이론적으로 모든 요소를 통제할 수 있으니 근본적으로 내가 하는 computation이 어떻게 구성되어있는지 설명할 수 있어야 합니다.

위의 질문이 functional한 공학 작업에 대해 적용하기 어려울 수는 있겠습니다. 그렇다면 어쨌든 리뷰어들에게 자명하게 재현성을 제공해줘야한다는 걸 인식하고 아주 많이 고민해야합니다. 예를 들면 제가 네이처 커뮤니케이션에 내는 ML 프로젝트에 공저자로 참여했을 때 교수님들은 randomness seed 등등을 컨트롤 해서 실험 결과를 완전 똑같이 재생성할 수 있도록 모든 자료를 제공했습니다. 우리 모델 결과 말고 벤치마크 하는 모든 모델들에 대해서 다 재생성할 수가 있었어요. 또, 그를 위해 저는 병렬 프로세싱을 안하는 버전으로 완벽히 항상 같은 결과가 나오도록 내부 코드부터 모두 짰죠. 마지막으로 교수들은 거의 광적인 노력으로 Supplementary에 왜 기존 모델들은 안되는지 온갖 시나리오별로 돌려서 쭉 결과들을 나열했습니다.

만약 글쓴님이 그런 노력이 과하고 그 필드의 문화를 고려했을 때 의미가 없다고 생각한다면, 앞으로도 그저 stochastic하게 리뷰어 운을 따라가야죠. 하지만 진정으로 연구적 의미를 담은 자명한 성과물을 만들고 싶다면, 아무리 나쁜 리뷰어라도 억셉을 줄 수 밖에 없는 작업을 해낸다는 마음으로 계속 업그레이드하는게 좋다고 생각합니다. 지금 말씀하신 바로는 그렇게 발전시킬 수 있는 여지가 어느 정도는 있어보입니다.

시비 걸려고 하는 말은 아니지만 그냥 좀 적어보자면..

기존 논문에 대한 재현성에 실패할 수 없습니다. 애초에 제가 논문 보고 처음부터 구현한 게 아니라 저자들이 직접 자신들의 코드를 깃허브에 모두 공개했습니다.

말씀하신 세세한 파라미터들 뿐만 아니라 자신이 직접 학습해서 결과로 나온 체크포인트 조차 공개했고, 심지어 누구나 다 바로 인퍼런스 해볼 수 있도록 데모도 만들어 놨습니다.

문제는 제가 코드 돌려봤을 때, 체크포인트로 해봤을 때, 그리고 데모 버전으로 사용해봤을 때 진짜 안 됐습니다.

이건 비단 저만 그런 것이 아니고 이 분야를 하는 제 지인들과 동료들에게도 충분한 디스커션을 거치고 내린 결론입니다.

제가 뭐 직접 구현한 것도 아무것도 없고 있는 거 그대로 써봤는데 안 됐는데 제가 실패했다는건..

이걸 억울한 일이 아니라고 하면 제가 뭐 더 이상 드릴 말씀이 없을 것 같네요.

제 모델에 대해선 재현성을 위해 정말 모든 하이퍼파라미터를 공개했습니다. 조금의 오차도 없이 돌아가는 것도 잘 확인했구요. 항상 같은 결과 나옵니다.

시나리오에 대해선 16개가 넘는 시나리오 대해 실험했습니다.. 저도 서플리 거의 광적으로 작성했구요..

'기존의 모델이 글쓴이의 모델보다 못하다는 걸 모델의 정의를 통해 자명하게 연역할 수 없나요?' 라고 말씀하신 부분에는 제가 자신있게 이미 연역했다고 생각합니다.

리뷰어 1, 2는 이거에 대해 제대로 인정해줘서 어셉을 주신거구요.

이건 비단 저의 생각 만이 아니고 교수님과도 충분한 디스커션을 통해 저와 교수님 그리고 동료들도 모두 동의할 만큼 논리를 서술했습니다.

교수님께서도 '정말 미친 x을 만났다'라고 표현하실 정도로요..

그리고 제가 여쭤보고 싶었던건 subject를 바꿔서 다른 리뷰어를 만나고 싶은데 이래도 불이익이 없을 지에 대한 부분이였는데 자꾸 논지가 달라지는 느낌이 드네요.

그래도 바쁜 시간 내주셔서 글 써주신 점 감사합니다.

댓글을 거의 안쓰는데, 우아한 아르키메데스님의 우아한 글을 보고 감명받아 댓글 남깁니다. 김박사넷에서 이런것고 배울 수 있었네요. 좋은 글 잘 보고갑니다. 열심히 해야겠네요.