카카오 계정과 연동하여 게시글에 달린
댓글 알람, 소식등을 빠르게 받아보세요

가장 핫한 댓글은?

Bayesian Statistics 좀 아시는 분들 계실까요?

2024.08.07

23

2173

제가 생성형모델에(이미지쪽) 관심이 있고 혼자 공부를 해왔습니다. 그래서 Diffusion이나 VAE나 이런거들 공부를 하다보면 결국에 posterior distribution을 구하려고 하는데, 구하기 힘들어서 다른 방식으로 우회해서 구하는 방법들을 공부하게 되는것 같습니다.

제 짧은 생각으로는 Diffusion과 VAE (특히 ELBO 구할때)가 Bayesian Statistics를 활용해서 하는거라고 생각을 하고 있었습니다. 그래서 저번에 모대학교 교수님 (Bayesian쪽)과 면담을 하는데, 생성형 모델에 관심이 있고 그래서 Bayesian에도 관심이 있다라고 말씀드렸더니, 한숨을 쉬시고, 그건 Bayesian이 아니다. ELBO 이야기 하는데, Bayesian이 뭐라고 생각하냐? 고 되물으셔서,

Posterior distribution을 기존에 갖고 있던 정보들을 바탕으로 구하는게 아닌가요? 하니까 기분나쁘게 웃으시면서 아니라는식으로 말씀하시더라구요. 그래서 제가 "아.. 내가 Bayesian을 잘못알고 있었구나... 기분은 나쁘지만 제대로 다시 공부해봐야겠다" 라고 생각하고 넘어갔습니다.

근데 어제 다른 교수님이랑 면담을 하는데, (그 교수님도 연구분야에 Bayesian이 있었습니다.) 그 교수님이 결국에 생성형 모델이랑 디퓨전은 베이시안이다 라고 말씀을 하셔서, 제가 과거에 면담할때 이런일이 있었습니다. 라고 말씀을 드렸더니, 디퓨전이랑 VAE는 논란의 여지없이 베이시안이라고 단정지어서 말씀해주시더라구요.

여기서 좀 혼란이 오는데, 선배님들은 어떻게 생각하시나요? 디퓨전 VAE같은 모델들이 베이시안이 맞다고 생각하시나요? 혹시 아니라고 하셨던데에는 어떤 근거로 그렇게 말씀을 하셨던걸 까요? 두분다 한국에서 상위권 대학원 이었습니다. 특히 아니라고 하신 교수님은 최상위권이셨구요.

카카오 계정과 연동하여 게시글에 달린
댓글 알람, 소식등을 빠르게 받아보세요

댓글 23개

2024.08.07

로지스틱 회귀만 해도 베이지안 해석을 아주 잘 보여줍니다. VAE에도, optimization에도 베이지안 철학이 있고요. 넓게보면 ML 자체가 베이지안입니다. 한숨 쉰 교수님은 BNN이나 GP같은 베이지안 ML 관점에서 말씀하신 것 같네요. 대화맥락을 다시 짚어보시면 좋을 것 같습니다

대댓글 1개

해당 댓글을 보려면 로그인이 필요합니다. 로그인하기

2024.08.07

베이지안 하는 사람인데 diffusion model은 베이지안이라고 보기에는 좀 애매한 부분이 있긴 합니다. Probabilisitic ML 이라고 하면 좀 더 맞는 것 같고요. 반면에 VAE는 의심의 여지도 없이 전형적인 베이지언 모델입니다. 정확히는 decoder 가 posterior를 형성하고 encoder는 각 latent variable의 posterior를 빠르게 추정하기 위한 수단에 불과하죠. 다만 decoder들의 파라미터들의 파라미터를 ELBO maximization 으로 추정하는거는 fully Bayesian이 아니라 empirical Bayes 또는 ML Type-II inference라고 부릅니다. 그러니까 완전한 베이지안 모델이 아닌건 맞아요. 근데 아예 아니라고 하는건 그 교수님이 그냥 기초가 부족하신 분인 것 같네요. 같이 일하시지 않는걸 추천합니다.

대댓글 2개

해당 댓글을 보려면 로그인이 필요합니다. 로그인하기

해당 댓글을 보려면 로그인이 필요합니다. 로그인하기

2024.08.07

Theta, 즉 학습 parameters를 확률분포를 갖는 변수로 취급한다면 기본적으로 Bayesian approach라고 볼 수 있습니다.

대댓글 1개

해당 댓글을 보려면 로그인이 필요합니다. 로그인하기

해당 댓글을 보려면 로그인이 필요합니다. 로그인하기

해당 댓글을 보려면 로그인이 필요합니다. 로그인하기

해당 댓글을 보려면 로그인이 필요합니다. 로그인하기

해당 댓글을 보려면 로그인이 필요합니다. 로그인하기

해당 댓글을 보려면 로그인이 필요합니다. 로그인하기

해당 댓글을 보려면 로그인이 필요합니다. 로그인하기

해당 댓글을 보려면 로그인이 필요합니다. 로그인하기

댓글쓰기

게시판 목록으로 돌아가기

김박사넷의 새로운 거인, 인공지능 김GPT가 추천하는 게시물로 더 멀리 바라보세요.