물설사의 습격

물설사의 습격

요즘 연구실에 물설사가 퍼진 것 같다.
몸이 아니라 인지능력 쪽으로.

뭐만 하면 GPT한테 물어보고, 나온 답을 검증도 안 한 채 그대로 가져온다. 제품 몇 개 검색해서 이어 붙이면 그게 발명품이라고 하고, 클로드한테 코드 짜달라고 해서 돌려보다가 에러 나면 코드가 뭘 하는지도 모른다. 논문은 읽었다고 하는데 막상 물어보면 abstract랑 figure caption만 핥은 수준이고, 핵심 가정이나 실험 조건은 설명을 못 한다.

더 무서운 건 실험이다.
통제조건, 변수조건 다 정해줘도 결국 자기 마음대로 바꾼다. 온도 고정하라고 했는데 대충 하고, 샘플 수 맞추라고 했는데 빼먹고, 비교군 맞추라고 했는데 “이 정도면 비슷하지 않나요?”라고 한다. 그러고 결과가 이상하면 장비 탓, 재료 탓, 운 탓을 한다.

AI를 쓰는 게 문제가 아니다.
문제는 AI를 쓰면서 본인이 생각하고 있다는 착각이다.
검색 결과를 붙이는 것과 발명은 다르고, 코드가 돌아가는 것과 이해한 것은 다르고, 논문을 다운로드한 것과 읽은 것은 다르다. 실험을 한 것과 통제된 연구를 한 것도 다르다.

연구는 “해봤다”가 아니라 “왜 그렇게 했는지 설명할 수 있다”가 기준이어야 한다.
요즘은 설명은 못 하는데 결과물은 있는 척하는 사람이 너무 많다.
그래서 더 무섭다. 물설사는 지나가면 끝인데, 인지능력 설사는 연구실 전체 데이터를 오염시킨다.