:)

1. Introduction생성형 인공지능 & 멀티모달 RAG에 대한 연구 동향 1. 생성형 인공지능의 발전과 한계생성형 인공지능은 다음과 같은 작업에서 놀라운 성과를 보여주고 있음텍스트 생성 (Ouyang et al., 2022; Brown et al., 2020)텍스트-이미지 생성 (Ramesh et al., 2021a; Poole et al., 2022)최근에는 멀티모달 대형 언어 모델(MLLM)의 발전으로 다양한 형식의 데이터를 처리할 수 있는 범용 학습자(general-purpose learners)로서의 가능성이 열리고 있음. 한계GAI의 주요 한계:환각(hallucination) 생성 경향 산술 계산의 어려움 해석 가능성 부족해결 방안이러한 한계를 극복하기 위해:GAI가 외부 세계와 상호작용..

0. AbstractPre-trained Language Models의 한계: knowledge-intensive tasks에서는 특정한 과제에 최적화된 모델보다 성능이 떨어짐.RAG 모델은 parametric memory와 non-parametric memory를 결합하여 텍스트 생성함.parametric memory는 사전 학습된 seq2seq 모델, non-parametric memory는 pre-trained neural retriever로 접근 가능한 위키피디아의 벡터 인덱스.RAG 모델은 문장을 생성하는 동안 필요한 지식을 외부 데이터베이스에서 검색해 가져옴 → 이를 통해 더 정확한 정보를 바탕으로 텍스트를 생성 가능함.1. IntroductionPre-trained neural languag..

Overview of Multimodality 1. Understanding Contrastive Learning Text Encoder:텍스트 데이터를 입력받아 텍스트 임베딩으로 변환."Pepper the aussie pup"과 같은 텍스트 입력 → 각각의 텍스트는 T1, T2, ..., TN과 같은 고차원 벡터로 변환됨.Image Encoder:이미지 데이터를 입력받아 이미지 임베딩(벡터 표현)으로 변환.입력된 이미지는 I1, I2, ..., IN과 같은 고차원 벡터로 변환됨.벡터 간 유사도 계산 (Similarity Matrix):텍스트와 이미지의 임베딩 간 유사도를 계산하여 매트릭스 생성.I1과 T1은 같은 콘텐츠를 나타내기 때문에 유사도 값이 높아야 하고, I1과 T3은 다른 콘텐츠를 나타내기 ..

I. INTRODUCTION 문제 정의LLM은 뛰어난 성능을 보이지만, 환각(hallucination) 문제, 최신 정보 부재, 고비용 문제 존재Fine-tuning은 모델을 업데이트해야 하므로 최신 데이터 반영에 시간이 걸림.해결책RAG는 외부 데이터베이스의 지식을 검색하여 최신 정보와 높은 신뢰성을 보장.검색한 정보를 기반으로 생성 과정에 활용함으로써 LLM의 단점을 보완.기술 발전검색과 생성 기술의 조합이 AI 응답의 정확성과 유용성 향상.다양한 작업에 적합한 솔루션으로 자리잡음.  II. OVERVIEW OF RAG A. Naive RAG초기 방식으로 단순히 검색한 정보를 생성 모델의 입력으로 사용검색된 데이터는 필터링이나 가공 없이 사용됨B. Advanced RAG검색된 데이터를 필터링하거나 재..