[DAY 39] Quantization for model compression & Knowledge distillation for network compression about peer-session HOT 3 CLOSED

@CoodingPenguin 완전 이해됐습니다! p 분포가 고정일 때는 CE 나 KL 이나 둘 다 loss 로 잡아도 다를게 없는데 distillation loss 의 경우 p 분포가 바뀌기 때문에 KL 을 쓰는군요! 감사합니다 ㅎㅎ

from peer-session.

@Heeseok-Jeong 슬랙에 KL과 CE 차이에 대한 답변이 있었네요! 관련 링크 남깁니다. 잘 설명해 놓은 자료를 발견해 이어서 추가로 링크 달아놓겠습니다!

• https://stats.stackexchange.com/questions/265966/why-do-we-use-kullback-leibler-divergence-rather-than-cross-entropy-in-the-t-sne
• https://stats.stackexchange.com/questions/357963/what-is-the-difference-cross-entropy-and-kl-divergence

참고로 CE와 KL은 다음과 같은 관계를 같는다고 합니다.

from peer-session.

@bsm8734 8-4번 질문에서 제가 양자화를 하면 범위가 더 커진다고 말씀드렸는데 다시 보니 아니네요. 죄송합니다ㅠㅠ

양자화를 한다는 것이 어찌보면 trucated하는 것과 비슷하기 때문에 범위가 위와 같이 엄청 넓어지기는 힘듭니다.
코드를 보니 양자화 때문이라기 보다는 dequantize로 인해서 그렇게 된 것 같은데 자세한 이유는 잘 모르겠네요.

from peer-session.