EffL LAB. Regular Seminar Linearly Mapping from Image to Text Space (ICLR’23) Problem of Language Model Emily M. Bender and Alexander Koller., “Climbing towards NLU: on meaning form and understanding in the age of data”, ACL 2020 A System exposed only to form in its training cannot in principle learn meaning ##Form & Meaning in Language** Form Anything we can find in a language (e.g., symbols, mouth movements) Meaning Relationship between form and non-linguistic parts Including Communicative…

생성 난이도가 높은 데이터셋에 대한 256x256 해상도의 결과물, StyleGAN2 결과물과 유사한 수준을 보였다고 한다. CIPS의 궁극적인 목표는 각 픽셀을 독립적으로 생성하는 모델을 만드는 것이다. 그를 위해서 Conv를 사용하지 않는 것이 필수적이며, 그럼에도 고품질의 이미지를 얻기 위해 Positional Encoding을 추가하여 SoTA를 달성하였다는 것으로 요약할 수 있겠다. Paper: https://arxiv.org/abs/2011.13775 Github: https://github.com/saic-mdal/CIPS Introduction CIPS는 Spatial Convolution이나 Self Attention 없이 MLP를 사용해 이미지를 생성하는 모델이다. 일반적인 생성 모델이 Spatial Convolution을 사용한 방법을 제시하고 있음을 생각하면 Convolution 없이 SoTA를 달성하는 것은 생각할 수 없었지만 CIPS는 LSUN Church…

Information Theory (정보이론) 정보이론의 용어 Information : 정보이론에서는 bit로 측정되며 주어진 이벤트에서 발생하는 “surprise”의 양으로 이해할 수 있다. (defined as the amount of “surprise” arising from a given event) 정보원(Source) : 정보가 발생하는 곳 code : 수신자가 받을 수 있는 모든 벡터를 의미 codeword : 부호어, 코드 중에서 generator를 통해 인코딩된 벡터만을 의미 incoding : 보내고자하는 원래 msg(message) symbols에 식별자(parity check symbol)을 더하는 과정 symbol : k개의 bit를 하나로 모아놓은 단위 bit per second (bps):전송되는 bit의 초당 속도 Entropy : Information의 기대값, 특정한 stochastic process에서 생성된 information의 평균 chan…

Implicit Neural Representations for Image Compression Introduction preserves all the information (lossless compression) sacrifices some information for even smaller file sizes (lossy compression) 정보를 모두 보존하는 방향으로의 compression 또는 조금의 정보는 손실이 있어도 파일 크기를 더 줄이는 방향으로의 compression이 존재한다. —> fundamental theoretical limit (Shannon’s entropy) 정보 손실없는 compression이 더 desirable하지만 기본 이론적 한계가 존재한다. 샤넌의 엔트로피는 정보를 표현하는데 필요한 최소 평균 자원량을 말하는데, 샤넌은 아무리 좋은 코드를 설계하더라도 평균 길이가 엔트로피 H(X)보다 짧아질 수 없음을 밝혔다. Therefore, l…