카카오 계정과 연동하여 게시글에 달린
댓글 알람, 소식등을 빠르게 받아보세요

가장 핫한 댓글은?

아무리 실험을 해도 원래 논문 결과가 안 나오는데 (ai)

2025.02.24

7

3446

저자가 올린 깃허브에서 아무리 코드를 돌려봐도 논문 표에 올라온 결과값이 안 나오는데 이런 경우는 어떡하나요?

이 논문을 비교군으로 제가 쓴 방법을 적용해서 논문을 쓰고 싶은데 표에 있었던 결과 근처로 가지도 않네요 ;;

A 논문의 원래 결과가 55AP라면 A는 아무리 돌려도 53.5AP 언저리에서 나오고 제가 적용한 A+는 54AP 언저리가 계속 나오면 이 경우에는, 비교군으로 A 논문에 있던 결과 말고 제가 돌렸던 A 논문 결과를 비교해서 올리면 되나요?

탑컨퍼 논문인데 좀 차이가 좀 많이 나서 당황스럽네요; 원래 다들 결과 여러번 돌린 다음에 가장 잘 나온거만 올리는건지...

카카오 계정과 연동하여 게시글에 달린
댓글 알람, 소식등을 빠르게 받아보세요

댓글 7개

2025.02.24

사기쳤겠죠. 탑컨퍼런스면 더더욱이나 빈번하게 있는 일이고요.

대댓글 2개

2025.02.24

그러면 저 논문을 비교군으로 쓰면 안되는건가요? ...

2025.02.24

비교군으로 안썼을 때 리뷰어한테 욕먹으실 것 같고 제대로 하시고 싶으시면,
저자들 연락해서 clarification 요구하시고
and/or로 철저히 실험을 해서 쟤네 사실 이렇게 퍼포먼스 나온다라고 명시하시거나요...

후자의 경우 20번 돌려서 average 했다던지 아무튼 기존의 작업에서 철저하지 못했던 부분을 메꾸면 좋겠죠..
건강한 알렉산더 플레밍*

2025.02.24

Cvpr'에 그런논문이 너무 많음...
저번논문쓸때에도 그랬는데
다른주제로 왔는데 또 sota논문이 말도안되는 성능 논문에 박아둠.
코드재현도 안되고 질문글도 다 십고 대응안함^^ 진짜..

2025.02.24

저는 그런 경우 제 실험 셋팅에서 나온 결과로 합니다. 실행 10번 정도 했고 평균으로 나온 값들과 편차 값들로 비교 했다고 명시합니다. 아직까지는 레퍼 논문 값이랑 왜 다르냐고 물어본 리뷰어는 없었어요.

2025.02.25

저도 ML하는 사람이지만 요즘 이런 문화때문에 ML community가 굉장히 욕을 많이 먹습니다. 다른 분야에 비해 논문 수준이 떨어진다고... 반박할 여지가 없어서 더 슬프네요.. 저 스스로라도 재현이 잘되는 상태로 코드를 오픈하려 노력하고 있습니다. 모두가 다 이를 당연히 여겼으면 싶네요.

2025.02.25

그렇게 나오는 이유를 명확히 한다면 아무 걱정 없이 까도 되겠죠.

이유를 파악하지 못하면 원칙적으론 A의 원문 값을 따라가야 합니다. 즉, 53.5ap가 나온 이유를 명확히 언급해야 합니다.

근데 요즘 ai 논문들이 reproducible에 문제가 있다고 듣긴 했네요.

댓글쓰기

게시판 목록으로 돌아가기

김박사넷의 새로운 거인, 인공지능 김GPT가 추천하는 게시물로 더 멀리 바라보세요.