요약

1. 고차원의 데이터를 훨씬 더 간결한 latent embedding space로 압축시켜서 사용한다.
2. 이 latent space에서 강력한 autoregressive model들을 사용하여 많은 타임스텝 이후의 미래에 대해 예측한다.
3. InfoNCE loss를 사용하여 end-to-end 학습을 진행한다.
4. 다양한 도메인(audio, image, text, reinforcement learning) 에 적용 가능하다.

용어

1) Constrative Learning 이란?

• Constrative Learnig 그림 설명

2) NCE (Noise Contrastive Estimation)

• NCE 그림

3) InfoNCE

• Info + NCE
  • Info = mutual information
  • NCE = based on NCE

https://youtu.be/WTz8jYW0pgU?t=1791

→ weight 계산법 및 dignoal 처리 방법이 있음

4) Mutual Information Estimation

• MI 그림