안녕하세요. 최근에 딥러닝을 공부하고있는 직장인입니다. 로스함수 관련 궁금한게 있어 문의드립니다. about normalized-autoencoders HOT 2 CLOSED

@gellston 님, 안녕하세요? 우선 본 연구에 관심가져주셔서 대단히 감사드립니다.
해당 영상은 홍보 목적으로 만들어진지라, 아무래도 구현에 대한 자세한 해설이 없어서 영상과 코드만으로는 파악이 어려우실 것 같습니다ㅠㅠ
일단은 간단한게 답변드릴 수 있는 부분들을 먼저 답드리겠습니다.

1. 오메가의 적분은 모든 픽셀에 대한 적분이 아니라 가능한 모든 입력값에 대한 적분입니다. 즉, 이미지의 경우 가능한 모든 pixel값들에 대한 적분입니다.
2. 당연하게도, 해당 적분은 직접 계산이 불가능합니다. 따라서 코드에도 log Omega는 등장하지 않습니다ㅠㅠ
3. 본 알고리즘에서 log Omega는 "암묵적인 방식으로" 계산됩니다. 어떤 암묵적인 방식이냐면, 모델로부터 negative sample을 만들어내어서, 이미지들에 대한 reconstruction error을 증가시키는 방법입니다.

해당하는 전체 과정에 대한 상세한 설명은 논문에 나와있긴 하지만, Energy-based Model이나 Markov Chain Monte Carlo (MCMC) 기법에 대한 약간의 배경지식이 있으셔야 이해가 쉬울 듯 합니다.
MCMC를 사용하지 않는, 더 간단한 학습 방법들에 대해서는 제가 현재 연구를 진행 중에 있습니다.

추가적으로 더 궁금하신 부분이 있으시면, 남겨주시거나 연락주시면 제가 최대한 답변해드릴 수 있도록 하겠습니다.

from normalized-autoencoders.

친절한 설명 감사드립니다. 알려주신 해당 키워드로 한번 공부해보도록하겠습니다. 감사합니다.

from normalized-autoencoders.