Information Theory (정보이론) 정보이론의 용어 Information : 정보이론에서는 bit로 측정되며 주어진 이벤트에서 발생하는 “surprise”의 양으로 이해할 수 있다. (defined as the amount of “surprise” arising from a given event) 정보원(Source) : 정보가 발생하는 곳 code : 수신자가 받을 수 있는 모든 벡터를 의미 codeword : 부호어, 코드 중에서 generator를 통해 인코딩된 벡터만을 의미 incoding : 보내고자하는 원래 msg(message) symbols에 식별자(parity check symbol)을 더하는 과정 symbol : k개의 bit를 하나로 모아놓은 단위 bit per second (bps):전송되는 bit의 초당 속도 Entropy : Information의 기대값, 특정한 stochastic process에서 생성된 information의 평균 chan…