:)

LLM Fine-tuning 기본 개념목적: 사전 학습된 LLM을 특정 도메인/태스크에 맞게 조정방식SFT (Supervised Fine-Tuning): (입력, 정답) 쌍 학습 → 기본 성능 확보LoRA / QLoRA: 전체 파라미터 대신 소수의 랭크 행렬만 학습 → 메모리&시간 절약⇒ QLoRA: 4bit 양자화 + LoRA → 5~15GB VRAM으로도 대형 모델 튜닝 가능강화학습(RL) 기반 Fine-tuning 필요성단순 SFT는 “좋은 답 vs 덜 좋은 답” 구분이 어려움RLHF 계열은 reward 기반으로 모델을 더 정밀하게 조정전통 PPO 기반 RLHF는 보상 모델, 가치 모델이 따로 필요해 복잡&비용 큼RL 기반 Fine-tuning 접근 방식RL 기본 개념RL의 목적: 좋은 결과를 더 ..

1. 개요DeepSeek MATH: 수학적 추론 능력을 극대화하기 위해 개발된 오픈소스 AI 모델DeepSeek-Coder-Base-v1.5 7B를 기반으로 학습자연어 데이터 뿐만 아니라 수학 관련 데이터와 코드 데이터를 추가 학습해 정확도 향상 2. ContributionMath Pre-Training at Scale 대규모 수학 사전 학습Common Crawl에서 120B 토큰 규모의 수학 데이터(DeepSeekMath Corpus) 생성 (Minerva의 7배)DeepSeekMath-Base 7B가 Minerva 540B와 유사한 성능 → 모델 크기보다 데이터 품질이 중요함을 증명.코드 학습의 효과 확인: 코드 학습 후 수학 학습을 진행하면 문제 해결 및 도구 활용 능력 향상arXiv 데이터 학습은..

AbstractLoRA: Fine-tuning 비용 & 메모리 문제 해결 방법장점모델 저장 공간 절약 & Task 전환 용이 → 작은 LoRA 모듈만 저장하면 됨학습 효율 증가 → Gradient 저장 불필요, 하드웨어 요구량 3배 절감추론 속도 유지 → 기존 Fine-tuned 모델과 동일한 속도다른 방법과 병행 가능 → Prefix-tuning 등과 조합 가능Introduction연구 배경사전 학습된 LLM은 다양한 다운스트림 작업에 적응 필요.기존 Fine-tuning 방식은 모든 파라미터를 업데이트해야 하므로 비효율적모델 크기가 클수록 비용 증가추론 속도 저하 및 사용 가능한 시퀀스 길이 감소성능 저하와 효율성 사이의 트레이드오프 발생LoRA (Low-Rank Adaptation) 개념LLM의 가..

LLM (Large Language Model)이란?LLM은 방대한 양의 데이터를 학습하여 텍스트 인식, 요약, 번역, 예측, 생성 등의 작업을 수행할 수 있는 인공지능 모델이다. 이 모델은 번역, 챗봇, AI 비서 등 자연어 처리 애플리케이션을 더욱 효율적으로 지원할 뿐만 아니라, 헬스케어 및 소프트웨어 개발 등 여러 산업 분야에서도 중요한 역할을 하고 있다.*LLM과 헷갈릴만한 개념 NLP(Natural Language Processing) : 컴퓨터가 인간의 언어를 이해하고 처리하는 기술을 의미한다. LLM은 NLP 작업에서 중요한 도구로 사용된다. NLP 자체는 LLM을 포함한 더 넓은 개념이다. 즉, NLP는 자연어를 처리하는 광범위한 분야이고, LLM은 그 중 하나의 도구이다. Prompt E..