Bayesian Statistics 좀 아시는 분들 계실까요?

답변 감사드립니다

다만 VAE 원조 논문은 이런 관점들을 다 아우르지 못하고 autoencoder 관점에서만 접근을 했다보니 이런 연결고리들을 명확하게 짚어주지 못하는 감이 있습니다. 그래서 굉장히 헷갈리게 쓴 논문 (또는 Kingma 와 Welling이 논문을 작성했을 당시에는 아직 생각이 완전히 정리되지 않았을 수도 있고) 이라고 많이들 평가합니다. 그런 점을 고려하면 깊게 이해를 하지 못한게 교수님만의 탓이라고 볼 수 없기도 합니다.

답변 감사드립니다!

답변감사드립니다! 저도 기본적인 classification이나 다른것들도 log likelihood를 맥시마이즈하는거라고 생각해서 같은논리로 생성형도 그렇지않나 했는데..

근데 엘보 가지고 그렇게 반응하시는건 제가 조금 한숨 나오네요. ELBO의 E는 evidence인데 이 용어 자체가 Bayesian 용어입니다. ELBO maximization은 예나 지금이나 Posterior 추정을 위한 기법이고요. 베이지언이 뭐라고 생각하시는건지 제가 오히려 반문하고 싶네요.

그래도 그런것들을 통해서 베이지안의 철학이나 학문에 대해서 관심을 가져볼수 있지않을까요? 어떤 연유를 통해서 관심을 가지게 되었다 라고 말씀드린게 그렇게 까지 반응을 하셨어야 하나 라는 생각도 들고, 제가 뭐 베이지안을 너무 잘안다. 전문가다. 이런식으로 말씀드린것도 아닌데 말이죠..

의견감사드립니다.

통계에서는 모델의 parameter를 추정할 때 고정된 값이냐, 확률변수로 볼 것이냐에 따라 frequentist 와 bayesian 으로 나뉘게 됩니다. (정확히는 확률에 대한 정의가 두 분야가 다른데, 이건 너무 철학적이라 넘어가겠습니다.)
Frequentist 적 추론의 대표적 예시가 MLE, 즉 maximum likelihood estimator 를 구하여 통계적 추론을 진행하는 것 입니다.
Bayesian 적 추론의 대표적 예시는 parameter의 posterior distribution에서 sampling을 한 후 통해 통계적 추론을 진행하는 것이구요.
다만 일반적인 상황에서는 posterior 분포 sampling이 쉽지가 않습니다. 그래서 2000년대 초반에 Bayesian 쪽에서 개발된 방법이 posterior와 '유사하지만' sampling이 더 쉬운 variational distribution에서 sampling 을 진행하는 것 입니다. 이 때 variational distribution을 학습하는 방법이 ELBO를 maximize 하는 것 입니다.

언급하신 Diffusion model이나 VAE 모두 생성 모델의 관점에서 보면 parameter를 MLE로 구하기 때문에 frequentist 적 방법이라 볼 수 있습니다.
다만 MLE를 구하는 과정에서 likelihood maximization 계산이 쉽지가 않습니다.
그래서 likelihood function과 유사하지만 계산이 더 쉬운 ELBO를 통해 variational distribution을 학습하는 것입니다.

참고로 모델과 추정은 다른 개념입니다.
같은 linear model이라 하더라도 parameter를 MLE를 추정하여 통계적 추론을 진행하면 그건 frequentist 적인 방법이고, parameter의 posterior 분포를 추정해 통계적 추론을 진행하면 그건 Bayesian 방법입니다.

그렇군요. 그럼 전공자 입장에서, 학부나온사람이 VAE와 디퓨전을 통해서 bayesian에 관심이 생겼고, 좀더 깊게 공부해보고 싶어졌다. 라고 말씀을 드리면, 사람을 무안줄정도의 반응을 하면서까지 잘못된 방식으로 관심을 가지게 된걸까요? 베이지안 테크닉이 쓰였고, 어쨋든 이론적으로는 베이지안과 관계가 있어보여서, 생성형 모델을 본질적으로 이해하려면 베이지안쪽을 공부하는게 도움이 될거같아서 관심이 생겻다고 표현을 한것인데, 잘못된 방식으로 관심을 가지게 된것일까요?

저도 살짝 공부하면서 빈도주의와 베이지안의 관점의 차이는 부족하지만 알고있습니다. 비루한 학부생한테 전공자 시점에서 조언을 주셔서 감사드립니다!

어떤 계기로 관심을 가졌든 공부하고 싶다는 의지가 중요하다고 저는 생각하는데요 ..
교수님께서 무안 까지 줄 필요가 있었나 하는 생각이긴 합니다 ㅎㅎ ,,

다만 생성모형을 이해하기 위해 베이지안을 공부하는게 도움될 것 같았다는 표현은 베이지안 전공하시는 분 입장에서는 얘가 뭘 모르고 하는 소리다 라고 느낄 수도 있으실 것 같네요.

특히 Bayesian 중에서는 variational inference를 근사 방법이기 때문에 별로 좋아하지 않는 분들도 계신 듯 합니다.
그런 분들은 variational inference로 Bayesian에 관심이 가졌다 라고 한다면 썩 좋아하진 않을 것 같다 라는게 제 개인적 생각입니다 ,,

전공자들분한테는 그렇게 느껴질수도 있겠군요. 답변 감사합니다. Bayesian 전공책이나 사서 한번 읽어봐야겠네요. 감사합니당.

안녕하세요 약간 명확하게 해야할 부분이 있는 것 같습니다. 엄밀한 관점에서는 VAE에서 latent variable들도 파라미터로 봐야하는데, variational inference로 이 파라미터들을 추정하는 만큼 Bayesian inference가 일부 들어가는 것은 의심의 여지가 없다고 봅니다. 다만 decoder들의 파라미터들은 ML로 추정하는 만큼 전체적인 과정은 Empirical Bayes 에 가깝다고 봐야겠죠. 여기서 empirical Bayes가 Bayesian 이냐 아니냐는 갈리는 부분이긴 한데 아예 아니라고는 할 수 없다고 봅니다.

혹시 어떤분들이 제대로 알고 있는 분인지 알려주실 수 있나요? 의견주시면 그분들것 위주로 참고해보겠습니다.