:)

The Sequential API레이어를 직선으로 쌓아서 모델을 구성 (단순한 설계)Load the Data and Split the Data into Train/Test SetsHappy House 데이터셋을 활용하여 얼굴 이미지에서 사람의 미소 여부를 판단하는 모델모델 목표: 웃고 있는 사람만 Happy House에 입장할 수 있도록 웃는 얼굴 분류X_train_orig, Y_train_orig, X_test_orig, Y_test_orig, classes = load_happy_dataset()# Normalize image vectorsX_train = X_train_orig/255.X_test = X_test_orig/255.# ReshapeY_train = Y_train_orig.TY_test..

0. AbstractPre-trained Language Models의 한계: knowledge-intensive tasks에서는 특정한 과제에 최적화된 모델보다 성능이 떨어짐.RAG 모델은 parametric memory와 non-parametric memory를 결합하여 텍스트 생성함.parametric memory는 사전 학습된 seq2seq 모델, non-parametric memory는 pre-trained neural retriever로 접근 가능한 위키피디아의 벡터 인덱스.RAG 모델은 문장을 생성하는 동안 필요한 지식을 외부 데이터베이스에서 검색해 가져옴 → 이를 통해 더 정확한 정보를 바탕으로 텍스트를 생성 가능함.1. IntroductionPre-trained neural languag..

Convolutional Neural NetworksZero-Padding패딩의 주요 이점:크기 유지: 네트워크를 깊게 쌓아도 출력 볼륨의 높이와 너비가 줄어들지 않도록 해줌. 특히 same convolution에서는 크기가 정확히 유지됨.가장자리 정보 보존: 이미지 가장자리의 픽셀들이 다음 레이어에 영향을 줄 수 있도록 정보를 유지함.def zero_pad(X, pad): X_pad = np.pad(X, ((0, 0), (pad, pad), (pad, pad), (0, 0)), mode='constant', constant_values=0) return X_padnp.random.seed(1)x = np.random.randn(4, 3, 3, 2)x_pad = zero_pad(..

Overview of Multimodality 1. Understanding Contrastive Learning Text Encoder:텍스트 데이터를 입력받아 텍스트 임베딩으로 변환."Pepper the aussie pup"과 같은 텍스트 입력 → 각각의 텍스트는 T1, T2, ..., TN과 같은 고차원 벡터로 변환됨.Image Encoder:이미지 데이터를 입력받아 이미지 임베딩(벡터 표현)으로 변환.입력된 이미지는 I1, I2, ..., IN과 같은 고차원 벡터로 변환됨.벡터 간 유사도 계산 (Similarity Matrix):텍스트와 이미지의 임베딩 간 유사도를 계산하여 매트릭스 생성.I1과 T1은 같은 콘텐츠를 나타내기 때문에 유사도 값이 높아야 하고, I1과 T3은 다른 콘텐츠를 나타내기 ..

I. INTRODUCTION문제 정의LLM은 뛰어난 성능을 보이지만, 환각(hallucination) 문제, 최신 정보 부재, 고비용 문제 존재Fine-tuning은 모델을 업데이트해야 하므로 최신 데이터 반영에 시간이 걸림.해결책RAG는 외부 데이터베이스의 지식을 검색하여 최신 정보와 높은 신뢰성을 보장.검색한 정보를 기반으로 생성 과정에 활용함으로써 LLM의 단점을 보완.기술 발전검색과 생성 기술의 조합이 AI 응답의 정확성과 유용성 향상.다양한 작업에 적합한 솔루션으로 자리잡음. II. OVERVIEW OF RAG A. Naive RAG초기 방식으로 단순히 검색한 정보를 생성 모델의 입력으로 사용검색된 데이터는 필터링이나 가공 없이 사용됨B. Advanced RAG검색된 데이터를 필터링하거나 재정렬..