[sLLM] ScriptWave

대본 생성 및 노래 추천 모델

• 모델 유형: Causal Language Model (AutoModelForCausalLM)
• 양자화 방식: BitsAndBytes를 사용한 4비트 양자화 (4-bit quantization)
• 기능: 대본 생성 및 감정 기반 음악 추천
• 활용: 다양한 장면과 캐릭터 설정에 맞는 대화 생성 & 감정에 적합한 음악 추천

학습 데이터

https://huggingface.co/datasets/li2017dailydialog/daily_dialog

li2017dailydialog/daily_dialog · Datasets at Hugging Face

 

활용 모델

google/gemma-2-2b-it

 

모델 학습 과정

lora_config = LoraConfig(
    r=16,
    lora_alpha=32,
    target_modules=["gate_proj", "up_proj", "down_proj"],
    lora_dropout=0.2,
    bias="none",
    task_type=TaskType.CAUSAL_LM
)

training_args = TrainingArguments(
    output_dir='./results',
    per_device_train_batch_size=2,
    num_train_epochs=1,
    gradient_accumulation_steps=16,
    fp16=True,
    logging_steps=100,
    save_steps=500,
    save_total_limit=2,
    learning_rate=5e-5,
    warmup_steps=500,
    lr_scheduler_type="linear"
)

 

모델 배포 및 코드

https://huggingface.co/Chanjeans/scriptgenerate_musicrecommend

https://github.com/minj22/scriptwave