dcom-khu / 2019-deeplearning-superresolution Goto Github PK

19.1.23 ESPCN 논문 분석 중 이해하지 못한 점을 올립니다.(공유된 것 포함)

1. PS(periodic shuffle)의 연산에 관련된 것

• mod(ks, r) = 0이 되는 이유
• kl = ks/r 이 되는 이유
• WL = nL-1 * nL * kL * kL = nL-1 * (r^2C) * kL * kL 에서 nL = r^2C가 되는 이유 / (참고 : n0 = C)

2. ESPCN 모델에서 sub-pixel convolution layer를 거쳐 HR output이 나오는 과정에서 학습이 일어나는지에 대한 여부(그 이유도...)

VDSR이 layer가 20개로 SRCNN보다 훨씬 더 많은데 inference time이 더 빠른 이유가 무엇인지?

1. 논문에서 "For three scales factors (x2, 3, 4), we can reduce the number of parameters by three-fold" 라고 하였는데 어떻게 parameter를 세배나 줄 일 수 있는 것인지 궁금하다.
2. Network의 마지막 layer에서 (3 x 3 x 64) 필터를 한개만 쓴다고 하였는데, 필터를 3개 쓰지 않은 이유가 궁금하다.
3. A mini-batch consists of 64 sub-images, where sub-images from different scales can be in the same batch. 라고 하였는데 그럼 한개의 batch 내에 width, height가 다른 sub image들이 들어가있는 것인지?

• 논문에서의 설명은

1. 모든 recursion이 같은 recursive 방법을 사용한다.
2. 각각의 recursion에서 나온 서로 다른 결과를 recon net에 모두 반영하여 각기 다른 출력을 내고 이 출력들의 평균으로써 output을 낸다.

• 라고 되어있어 supervision이라는 것이 이 둘을 의미하는 건지 아니면 학습을 supervised learning을 사용하는 것인지 궁금합니다.

Basic model을 학습시키는 데 어려웠던 이유가

1. Gradient Exploding / Vanishing 이라고 했는데, Gradient Exploding이 왜 발생하는지?
2. 많은 recursion을 거쳐서 input 의 copy를 보유하고 있어야 하기 때문이라고 했는데, 왜 input의 copy를 보유하고 있어야 하는지?

여러 scale factor를 학습한 모델이 단일 scale factor를 학습한 모델보다 성능이 비슷하거나 좋은것은/ 큰 scale factor에 대해 성능이 더 좋게 나타나는 것은 인수분해 같은걸로 이해하면 되는건가?

4를 학습한 모델이 한번에 4배 시키는거면
234를 학습한 모델은 *2->*3->*4 를 거친다던가 아니면 22 이렇게 거친다던가 하는...

Sub-Pixel Layout for Super-Resolution with Images in the Octic Group
https://www.youtube.com/watch?v=Ad1U6VPQh20

interpolation methods
https://www.slideshare.net/alokahuti/super-resolution-46106868