리뷰요청을 받은 논문이 표절+수식 조작+중요 hyperparameter 미제공 등이 있다고 판단하여 보수적으로 reject를 줬었습니다.
세 리뷰어(본인,A,B) 중 A는 저와 동일한 부분을 짚으며 reject을 준 반면, B는 논문의 abstract와 conclusion 정도 짜깁기하여 특별한 지적없이 accept을 주더군요.
특히 수식이 난잡히 섞여있는 경우, 몇몇 논문들은 뒤에 원하는 수식 결과를 두고 중간결과를 불친절하게 기술한 후 조작하는 경우도 있는데 이걸 못보고 논문으로 publish된 경우도 있구요. 최근 cvpr 사건에서도 저자들의 잘못도 크지만, 이를 평가하는 리뷰어들 또한 만만치 않은 잘못이 있기에 경각심 차원에서라도 패널티가 있어야 된다고 생각합니다.
아무리 리뷰어가 봉사할수 밖에 없는 구조지만, 짧은 기간과 리뷰어 풀로 인해 스캠이 생길수 밖에 없는 건 같습니다.
카카오 계정과 연동하여 게시글에 달린 댓글 알람, 소식등을 빠르게 받아보세요
댓글 13개
2022.08.02
짧은 리뷰기간, 리뷰어 미보상 등 최근의 피어리뷰 시스템의 문제라고 생각합니다.
집요한 라이프니츠*
2022.08.02
어느 학회 리뷰하셨나요? 탑티어 급이면 어차피 2리젝 1억셉이라 안될듯요
대댓글 1개
2022.08.02
닙스입니다.
2022.08.02
코드로 재현성확인은 안하시나요? 저는 항상코드 레포같이 유첨하고 재현가능하게 했었는데..
대댓글 1개
2022.08.02
재현성 확인하긴하는데, 끝까지 돌려보진 않았네요. 글에 적힌 이유에서 다 걸리다보니...
재밌는 알렉산더 벨*
2022.08.02
근데 최종 결정은 해당 분야 senior인 area chair가 하지 않나요? 전 닙스는 아니지만 cvpr에서 한 리뷰어만 논문을 이해 못하고 이상한 리뷰와 함께 낮은 점수를 줬는데, area chair들끼리 discussion을 통해 결국 oral로 억셉받은 경험이 있습니다.
대댓글 2개
2022.08.02
물론 모든 결정은 ac단위긴하고 저도 좋은 논문에 대해서 이해부족으로 노이즈가 낄수는 있다고 생각합니다.
하지만 스캠성 논문에 대해 판가름을 못하는 리뷰어가 섞여버려서 publish되면 그걸 기반으로 하는 또다른 스캠이생기니 있어서는 안될 일이죠. 모르겠으면 낮은 점수나 confidence를 낮춰야하는데, 그렇지 않은 경우가 너무 많죠.
재밌는 알렉산더 벨*
2022.08.03
그래서 area chair가 있는거죠. 논문의 억셉여부가 수준낮은 리뷰어들에의해 결정되지 말라구요. 물론 area chair가 본인의 임무를 다하지 않고, 단순히 리뷰어의 점수에 의존해 결정을 내리는 경우도 발생할 수는 있지만요.
2022.08.02
Everyone wants to publish, no one wants to review.
뉴립스 섭밋 최소 만이삼천개 예상되는데 리뷰가 성실한게 더이상함ㅋㅋㅋㅋㅋ
재치있는 에이다 러브레이스*
2022.08.02
나중에 리뷰한사람 공개해야 함.
대댓글 1개
2022.08.03
악영향이 얼마나 클지 모르겠지만, 개인적으로 공개했으면 좋겠어요.
2022.08.03
더 근본적으로 학위랑 출판 갯수를 연동하면 안됨. 어떻게든 졸업하려고 저 퀄리티 논문이 양산되고 이게 학회지에 쏟아져들어오니 리뷰하는 사람은 제대로 된 리뷰할 시간이 안나오는거고 리뷰 받는 사람도 성의 없는 리뷰에 화가나는 거임. 리뷰하는 사람 입장도 이해는 되지만, 성의 없는 리뷰의 피해는 저자가 더 크다고 봄. 저자가 학생이면 한번 리젝으로 졸업이 반년씩 밀리니깐. 모두가 루저가 되는 피어리뷰 시스템.
IF : 1
2022.08.03
모든 논문을 정확하게 review하는게 쉽지도 않고 사실상 불가능하죠.. NIPS라고 하셨는데, ML만 하더라고 소분야가 엄청 많잖아요. 각 분야 마다 몇 백편씩 review가 올텐데 각 분야마다 적합한 reviewer를 찾는것도 힘들고, reviewer가 정확하게 review한다는 보장도 없고..
그래서 reviewer를 여러명 두고, post-rebuttal 과정에서 discussion을 하게 하고, AC도 한명이 아닌 두명 이상이 discussion해서 엉뚱한 논문이 accept이 되는 확률을 낮추는 거고요..
이러한 시스템이 있기때문에 'NIPS에서 출판된 논문은 quality가 좋을 확률이 높다'고 사람들이 생각하는거고요.
다만, 최근에 서브밋 되는 논문의 수가 너무 많아져서 위에서 언급한 시스템으로도 커버가 안될수도 있지 않을까하는 생각을 가끔 하고는 합니다. 그래도 뭐 어쩌겠어요. 학회 입장에서 screen reject을 줄수도 없으니.
2022.08.02
2022.08.02
대댓글 1개
2022.08.02
2022.08.02
대댓글 1개
2022.08.02
2022.08.02
대댓글 2개
2022.08.02
2022.08.03
2022.08.02
2022.08.02
대댓글 1개
2022.08.03
2022.08.03
2022.08.03