EffL LAB. Regular Seminar Linearly Mapping from Image to Text Space (ICLR’23) Problem of Language Model Emily M. Bender and Alexander Koller., “Climbing towards NLU: on meaning form and understanding in the age of data”, ACL 2020 A System exposed only to form in its training cannot in principle learn meaning ##Form & Meaning in Language** Form Anything we can find in a language (e.g., symbols, mouth movements) Meaning Relationship between form and non-linguistic parts Including Communicative…

생성 난이도가 높은 데이터셋에 대한 256x256 해상도의 결과물, StyleGAN2 결과물과 유사한 수준을 보였다고 한다. CIPS의 궁극적인 목표는 각 픽셀을 독립적으로 생성하는 모델을 만드는 것이다. 그를 위해서 Conv를 사용하지 않는 것이 필수적이며, 그럼에도 고품질의 이미지를 얻기 위해 Positional Encoding을 추가하여 SoTA를 달성하였다는 것으로 요약할 수 있겠다. Paper: https://arxiv.org/abs/2011.13775 Github: https://github.com/saic-mdal/CIPS Introduction CIPS는 Spatial Convolution이나 Self Attention 없이 MLP를 사용해 이미지를 생성하는 모델이다. 일반적인 생성 모델이 Spatial Convolution을 사용한 방법을 제시하고 있음을 생각하면 Convolution 없이 SoTA를 달성하는 것은 생각할 수 없었지만 CIPS는 LSUN Church…

Information Theory (정보이론) 정보이론의 용어 Information : 정보이론에서는 bit로 측정되며 주어진 이벤트에서 발생하는 “surprise”의 양으로 이해할 수 있다. (defined as the amount of “surprise” arising from a given event) 정보원(Source) : 정보가 발생하는 곳 code : 수신자가 받을 수 있는 모든 벡터를 의미 codeword : 부호어, 코드 중에서 generator를 통해 인코딩된 벡터만을 의미 incoding : 보내고자하는 원래 msg(message) symbols에 식별자(parity check symbol)을 더하는 과정 symbol : k개의 bit를 하나로 모아놓은 단위 bit per second (bps):전송되는 bit의 초당 속도 Entropy : Information의 기대값, 특정한 stochastic process에서 생성된 information의 평균 chan…

Implicit Neural Representations for Image Compression Introduction preserves all the information (lossless compression) sacrifices some information for even smaller file sizes (lossy compression) 정보를 모두 보존하는 방향으로의 compression 또는 조금의 정보는 손실이 있어도 파일 크기를 더 줄이는 방향으로의 compression이 존재한다. —> fundamental theoretical limit (Shannon’s entropy) 정보 손실없는 compression이 더 desirable하지만 기본 이론적 한계가 존재한다. 샤넌의 엔트로피는 정보를 표현하는데 필요한 최소 평균 자원량을 말하는데, 샤넌은 아무리 좋은 코드를 설계하더라도 평균 길이가 엔트로피 H(X)보다 짧아질 수 없음을 밝혔다. Therefore, l…

대학원생 때 알았더라면 좋았을 것들 어떤 연구주제가 나의 호기심과 맞닿아 있지? 관련해선 어떤 연구들이 진행되고 있지? 누가 이 분야를 리딩하는 선구자지? 지금까지 나온 연구의 한계점들이 무엇인지? 한계점 극복을 위해서 내가 기여할 수 있는 부분은 무엇인지? → paper repository를 만들어서 관리 내가 어떤 연구주제를 파고들 수 있을지 알기 위해서 내가 갖고 있는 연구자적 장점 새로 공부한 논문들에서 찾은 연구의 기회를 잘 결합하여 나의 연구 계획을 세워야함 논문의 구조 abstract - 나는 이런 문제를 풀 거야 introduction - 사실 이 문제는 이런 동기에서 연구가 시작된 건데 related works - 관련해서 이런저런 접근들이 있었지 method - 난 이런 새로운 방식으로 접근해보려고 하는데 experiment - 정말 이게 효과적인지 실험도 해봤어 discussion - 실험 결과는 이렇게 해석할 수 있지 conclusion - 마지막으로 너를 위…

Rising Stars 2022 https://womentechstars.github.io/index.html 👆 자세한 내용은 위의 공식 홈페이지에서 확인할 수 있다 2월 25일에 Google의 지원을 받아 국내 대학 AI/CS/EE 분야 여학생을 대상으로 개최되는 여성 과학자 동계 학술워크샵을 참석했다! 대학원생분들이 현재 진행하고 계시는 연구를 발표하시면 그에 대해서 나를 비롯한 청중과 패널 교수님들께서 궁금한 부분에 대해서 질문과 피드백을 하신다. 연구외적으로도 논문, 발표 등에 대해서 박사과정의 대학원생분들 뿐만아니라 교수님들께 팁이나 경험담을 들을 수 있는 좋은 시간이었다. 혹시 위 행사를 들으려고 고민하시는 분은 꼭 한 번 들어보시기를 추천한다 👍 Rising stars 논문 논문 발표 시간은 이미지 / 영상 처리와 머신러닝 / 센서 / 보안 세션으로 나뉜다. 1시간 동안 본인이 관심있는 세션 방에 들어가서 논문 발표를 듣고 질의응답을 자유롭게 할 수 있다. 나는 머신…

소개 기존 기술 블로그를 혼자서 노션에 끄적이는 용도로 사용했는데 조금씩 그려봤던 이상적인 개발 블로그 테마를 Gatsby를 통해 완성하게 되었다. 앞으로 paper review도 쓰고, book report도 한 번 만들어보고, 여러 공부했던 점들을 조금씩 기록해 나가보겠다 :) 이 블로그가 앞으로 내가 배우고 삽질(?)도 하고 성장도 하는 서사를 잘 담을 수 있는 공간이 되었으면 좋겠다.🙌 소개

(Growth) Capstone Design Project : Scene Text Recognition 데이터셋 및 모델 구현 문제점 인식 최근 잘못된 번역의 외국어 메뉴판 제공으로 음식 이해도가 낮아지고 있다. 현재 식당마다 일관되지 않은 방법으로 한식 메뉴를 표기하고 있다. 곰탕을 “Bear Soup”, 육회를 “Six times”으로 표기한 잘못된 한식 메뉴의 영문 표기 사례도 최근 논란이 되고 있다. 이렇게 잘못된 번역의 한식 메뉴판 때문에 외국인들은 부정확한 정보를 얻게 된다. 외국인들은 한국 음식을 기억하지 못할 뿐더러 음식의 재료와 맛을 파악하지 못한다는 문제점을 야기한다. 따라서 이러한 문제점에서 착안하여 우리는 캡스톤 디자인 프로젝트 주제로, AI 기반 메뉴판/간판 텍스트 검출 기술(STR; Scene Text Recognition)을 이용한 음식 검색 어플리케이션 개발을 진행하기로 했다. Scene Text Recognition을 위해 선행 공부한 Paper Su…

Human Computer Interaction 개론 (김진우 저) : 6장 1. 사용자 분석의 중요성 사용자 분석은 HCI를 기반으로 한 모든 시스템 개발의 첫 번째 단계이자 가장 중요한 단계다. 하지만 실제 시스템을 개발할 때는 사용자 분석 과정이 생략되거나 심하게 축소되는 경향이 있다. 개발자나 기획자는 자신도 같은 인간이고 자신도 사용할 것이기 때문에 굳이 다른 사용자를 분석할 필요없이 자신이 직접 사용자로서의 역할을 하면 된다고 생각할 수 있다. 굳이 만나기 힘든 실제 사용자를 분석하는 것이 아닌 사용자를 대신할 만한 주변 사람들을 분석하기도 함 문제점, 근본적인 목적 등을 알 수 없음 실제 사용자조차도 자신이 어떤 시스템을 원하고 시스템을 사용하면서 어떠한 어려움을 겪는지 이야기해 줄 수 없기 때문에 사용자를 분석하는 것은 시간 낭비라고 생각하는 것이다. 부분적으로 일리가 있음 사용해보지 않은 사용자가 필요성을 느끼기는 어려움 이는 사용자 분석이 개발 초기에 한 번만 있…

Human Computer Interaction 개론 (김진우 저) : 5장 1. 감성의 중요성 2. 감성이란 2.1 감성의 정의 감성은 외부의 물리적인 자극에 의한 감각이나 지각을 통해 인간의 내부에 일어나는 미적이고 심리적인 체험이다. 아름다운 그림을 지각하고 즐거움을 느낀다 맛있는 냄새라는 외부 자극을 받아 만족감을 느낀다 감성은 여러 개념이 섞인 주관적인 체험이다. 2.2 감성의 세부 요소 감성의 세부 요소에는 정서, 정취, 인상, 개성 이라는 네 가지 요소가 있다. 정서(emotion) 비교적 단시간에 갖게 되는 특정 대상에 대한 감성 국적이나 인종을 불문하고 인간이라면 공통적으로 느끼는 감성 정취(mood) 감성은 미약하지만 정서보다 더 오랜 기간동안 지속되는 감성 특정한 내용이나 대상과 상관없는 막역한 신체적 생리 상태에 대한 감각 사람들을 둘러싼 모든 환경이 그들이 느끼는 정취에 영향 인상(impression) 특정 대상에 의해 사람에게 각인되는 심리적 변화의 일종 …

HHuman Computer Interaction 개론 (김진우 저) : 4장 1. 사용성의 정의와 중요성 1.1 사용성의 정의 협의 : 수행하는 과정이 얼마나 효율적인가 (과정) 효용성과 대비되는 정의 : 시스템이 목적으로 하는 기능을 수행할 수 있는지 없는지 결정 (결과) 효용성과 사용성이 합쳐져서 전체적인 유용성을 구성 광의 : 시스템이 사용자의 목적을 달성해 주느냐에 대한 유용성과 시스템에 대한 사용자의 첫인상, 사용자의 능력에 따른 시스템의 적응화 정도 등 편리성 외에 많은 요소를 포함 가장 포괄적인 의미의 사용성은 사용품질 사회적, 물리적, 기술적 환경 등을 포함한 다양한 실제 사용환경에서 사용자가 느끼는 효율성, 효과성, 만족도를 포함하는 총체적인 품질 사용성 국제 표준 ISO9241-11 : 효과성, 효율성, 만족을 포괄하는 개념이라 규정 효과성 : 시스템이 사용자의 목적을 얼마나 충실하게 달성하는지를 의미하기도 하고, 사용자의 과업 수행의 정확성과 수행 완수 여부를…

Human Computer Interaction 개론 (김진우 저) : 3장 1. 문제 공간과 디자인 공간 인지과학 분야에서는 문제 공간(problem space) 와 디자인 공간(design space) 이라는 개념으로 디지털 서비스의 유용한 사용, 현재의 문제점, 사용자의 니즈, 사용자의 만족 등을 정리한다. 1.1 문제 공간 무엇인가를 바라지만 아직 바라는 것이 이루어지지 않은 상태를 “문제” 라고 한다면, 원하는 것을 얻기 위해 하는 모든 행위를 “문제 해결 행위” 라고 할 수 있다. 이때 문제 공간 이란 사람이 초기 상태(initial state) 에서 목표 상태(goal state) 에 이르기까지의 과정에서 문제를 해결할 수 있는 모든 상태의 집합이다. 인간의 문제 해결 과정은 제한조건(path constraint) 내에서 조작자(operator) 를 사용해 초기 상태에서 목표 상태로 가기 위한 문제 공간을 탐색하는 과정이다. 위의 정의에서 알 수 있듯 문제에 대한 이해…

Human Computer Interaction 개론 (김진우 저) : 2장 1. 상호작용의 의미 상호작용은 상호작용의 추체와 관계에 따라 다음과 같이 나뉜다. 사람 간의 상호작용 (human human interaction) 사회학 : 사회학자들은 상호작용을 가리켜 ‘사건’들을 이루는 가장 기본적인 단위라 말함 사람과 콘텐츠와의 상호작용 (human content interaction) 커뮤니케이션학 : 미디어를 통해 전달되는 콘텐츠와 이를 전달 받는 사람 사이에서 일어나는 여러가지 절차 사람과 시스템 간의 상호작용 (human computer interaction) HCI 2. 상호작용의 네 가지 절차 사람과 디지털 시스템의 상호작용을 이루고 있는 일반적인 절차는 총 4단계를 거친다. 표명 단계 변환 단계 표현 단계 평가 단계 2.1 표명 단계 표명 단계(articulation) 는 사람들이 자신의 마음속에 가지고 있는 추상적인 목표를 디지털 시스템에 나타난 구체적인 정보로 표…

Human Computer Interaction 개론 (김진우 저) : 1장 1. HCI란 무엇일까 전통적인 HCI(HCI 1.0) 는 사람들이 편리하게 사용할 수 있는 컴퓨터 시스템을 개발하는 원리 및 방법을 연구 한 명의 사용자와 컴퓨터 시스템의 상호작용 개인(human), 컴퓨터(computer), 상호작용(interaction) 이라는 세 가지 요소 ex. 화면 디자인, 효과음 설계 등 최근 HCI(HCI 2.0) 는 단순히 개인이 화면에서 보는 시스템의 모양이 아니라 다양한 시스템과 사람들 간의 모든 상호작용을 대상으로 함 디지털 제품, 서비스, 디지털 콘텐츠를 포괄하는 디지털 시스템 개인에서 집단, 그룹, 전체 사회 구성원을 포함 즉 HCI 1.0이 개인 사용자와 커퓨터 간의 기술적인 상호작용에 초점이라면, HCI 2.0은 다양한 디지털 기술을 통해 개인 또는 집단의 사람들에게 새롭고 유익한 경험을 제공하는 데 초점을 두고 있다. 2. HCI의 중요성 HCI는 짧은 역사…