CS분야 논문들... 솔직히 제대로 구현 마치고 실험한 논문이 거의 없는듯

그리고 솔직히 밴치마크 관련해서는 reproducibility나 성의와는 크게 상관 없음. 굉장히 열심히 정성껏 연구한 경우에도 잘 몰라서 실험이 잘못되는 경우가 허다함. 관련 연구도 있음. https://dl.acm.org/doi/10.1145/1508284.1508275

Non-convex optimization 연구중인데 공감되네요. 그래서 논문들 참고할 때 수학적으로 증명된 알고리즘이나 consistent 한 결과를 내는 알고리즘만 참고해요 ㅎㅎ

저널 에디터들 입장에서 인용 잘 될 거 같으면 가탈스럽게 굴 필요 없으니, 분야 상관 없이 다 비슷할 거라고 봄.

왜 비추가 있지 구현 잘못해도 코드 공개하는 케이스 봤는데

아니 reproduce는 내가 코드까서 검증하고 돌려보고 된다고 하는거고 ㅋㅋㅋ

최소한 동료 평가 가능성은 열어둔 거 아님. 반드시 재현 가능할 거라고 믿는다는 게 아님.

코드 공개한 애들 중에 관종새끼들 많음.
도대체 이 버러지같은 놈은 무슨 생각으로 코드를 공개했을까?
뜯어보면 시간만 낭비한 경우가 허다함.

그리고 재현성이라는 단어를 함부로 사용하지 않았으면 좋겠음.
그냥 특정 데이터셋에 대해서 특정 환경에서 코드를 돌렸을때 논문과 똑같이 결과를 나왔다는 수준의 재현성은 굉장히 낮은 수준에 불과함.

맞는 말임.
코드를 공개하면 안되는 경우를 제외하고는 그냥 아카데믹한 용도로 논문을 쓴거라면 코드공개를 거의 반 의무로해야한다생각함
그게 어려운것도 아닌데 왜 애물단지처럼, 죽은 애미의 유품마냥 지 혼자 간직할까?
자, 그럼 다른 사람에게 공개를 안하는건 그렇다 쳐도, 심지어 같은 랩인데 같은 코워커에게도 공유 안하는 10새끼들이 많음.
왜 그럴까?

반례가 있잖아요 이번 cvpr 표절. 탑티어 컨퍼런스가 간단한 표절도 못 걸러내는데 피어리뷰로 데이터 신뢰성까지 검증할 수 있을 것 같지않네요.

거의 없는 건 모르겠지만, 코드 공개 안하고도 어셉 되는 거 엄청 많아요. 그리고 칸트님 말씀대로 '세계적으로 가장 인기있는 연구분야'이기 때문에 수 많은 논문들을 제대로 검증하는 게 더 힘든 거 같더라고요. 현재까지는 연구자의 intergrity에 많이 의존하는 상황인 것 같은데, 제도적 개선이 분명 필요하다고 봅니다. '연구자는 괜찮다고 생각'하는 부분이, 다른 사람에게는 괜찮지 않은 경우가 있죠.

이미 CVPR이라는 그 분야에서 명성 높은 학회에서 흠을 보였는데, 그냥 시기 질투라고 보기에는 어렵다고 생각합니다. 물론 이를 가지고 cs전체를 까내리는 것도 조금 어려워 보이네요.

ai 외에 과거 전통적인 cs 분야에서 보면, 오히려 지금보다 코드 공개는 이루어지지 않았었음.
그럼에도 foundation에 해당하는 연구들은 대부분 이미 방법론적인 면에서 알고리즘과 그 분석만봐도 기존 방법보다 얼마나 더 좋은지가 어느 정도 눈에 보였기 때문에 그나마 나았던듯.
물론 개중에도 코드 공개가 이루어지지 않아서 의혹을 사는 연구도 분명 존재 했지만, ai 쪽은 더 많을 듯 싶다.

이런 관점에서 보면 cs는 양반이긴 한 듯..

이게 맞다고 봄. 기초과학 분야에서 진행되는 거대 과학 프로젝트들 다수가 독점적인 지위를 가지고 충분한 견제 없이 결과가 받아들여진다고 봄. 힉스 입자 발견, 중력파 측정 등등.. 이런 플래그십 프로젝트들은 사실상 reproducibility를 논할 수도 없음.

CS가 그나마 나은거임.
펜이랑 머리로만 승부보는 분야, 값싼 컴퓨터로 실험이 해결되는 분야 제외하고는 나머지 분야는 진짜 개니미 좆병신들만 모임.

그리고 본인이 엔지니어가 될거면 재현성을 따지지 마라. 재현성에 집착하면 공학이 망가진다

supplementary 재출할때 대부분 냄. 그걸 공개하는지는 자기 마음이지만
그리고 데이터셋같은경우도 checklist에 다 체크하게 되어있음

나는 opensource를 공개하는건 무조건 맞다고 봄. 우리랩도 랩차원에서 필수적으로 공개하고 관리했고.
하지만 님처럼 초짜 대학원생이 연구하는데 떠먹여주기 쉽게 친절하게
조금만 구글링해도 다 구현할수 있는 평가 metric코드까지 올려달라고 issue에 징징되면
얼마나 귀찮고 빡치는지, 해본사람은 알수 있음
답변안하면? 이런데 와서 탑cs논문들 다 scam이라고 글이나 쓰겠지 ㅋㅋㅋ 내볼라고 노력도 안해본주제에

주말에 에어컨도 안나오는 랩에서 올연말에도 탑논문들 시즌 준비하는 수많은 대학원생들이 있을텐데
님이 뭐라고 그 사람들의 목표, 노력을 까내리냐만은 뭐 익명이니까 그럴수도 있다고 생각듬

나도 익명이니까 내 마음대로 조심스레 예측을 해보자면
그렇게 만사가 불만스럽고 못미덥고 남의 성취에 대한 시기와 질투를 이런식으로 스스로 위로하면서
나는 고귀하고 완벽주위의 연구자라고 최면걸면서 대학원생활 보내시면

어느덧 7~8년뒤에 겨우 학과 요규조건 충족해서 저 밑에 논문 한두편으로 졸업하는 본인 모습을 확인할 수 있을겁니다...뭐 어디까지나 예측이고요
왜냐면 저는 선례를 꽤 봤거든요
아마 이글 본 여러분들 주위도 분명 있을듯?

마지막 문단 뼈아프네. 내가 딱 그꼴인 듯.

이새끼는 F인가? 결과로 말해야하는 분야에서 에어컨도 안나오는 랩에서 고생한거랑 코드 공개안하는거랑 뭔 상관이냐.

그리고 논문 편 수가 중요한게 아니다. 박사과정 중에 논문 1편도 SCI에 못 내도 서울대 컴공과 교수하는 분들도 계시는데. (보통 임용 때는 1편 정도는 내시긴 함.)

논문 편 수 따지는거보니 그 애매한 공학 교수 배출하는 연구실이거나, 프로젝트 기반의 엔지니어 배출하는 연구실 같은데. 평생을 이도 저도 아닌 교수 포지션에서 공학에서는 까이고, 아카데미에서도 까이는 부류의 교수같네

글좀 제대로 읽어라 난독증이냐 애새끼가 논점을 파악을 못하노 니 연구 개못하지
그리고 말같잖은 소리해라
Sci한편 못내는데 어케 서울대 컴공교수를함
그사람은 정년얼마안남은 원로교수겠지
그리고 그마저도 안내면 교연비 짤린단다
임용때 한편낸단다ㅋㅋㅋㅋㅋ웃고간다

팩트다. 찾아봐라.