---
license: apache-2.0
language:
- ko
datasets:
- kingkim/yeosu_tour
- kingkim/yeosu_island
base_model: unsloth/Qwen3-4B-Instruct-2507
tags:
- unsloth
- qwen3
- lora
- text-generation
- yeosu
- korean
---

# Dooroo2025\_v1.0: 여수 관광 특화 챗봇 모델

이 모델은 [unsloth/Qwen3-4B-Instruct-2507](https://huggingface.co/unsloth/Qwen3-4B-Instruct-2507) 모델을 기반으로, 대한민국 여수시의 관광 정보와 섬 정보에 대해 특화된 지식을 갖도록 파인튜닝되었습니다.

**Unsloth 라이브러리**를 사용하여 LoRA(Low-Rank Adaptation) 기법으로 효율적인 학습을 진행했으며, 여수 여행에 관한 질문에 자연스럽고 정확한 답변을 생성하는 것을 목표로 합니다.

## 🛠️ 학습 과정 (Training Procedure)

### 1\. 기반 모델 (Base Model)

  \* **Model:** `unsloth/Qwen3-4B-Instruct-2507`
  \* **Library:** `Unsloth`를 사용하여 메모리 사용량을 최적화하고 학습 속도를 크게 향상시켰습니다.

### 2\. 데이터셋 (Dataset)

학습에는 아래 두 가지 데이터셋을 병합하여 사용했습니다. 각 데이터셋의 `train`과 `test` 스플릿을 합친 후, `train` 데이터셋은 무작위로 섞어 모델이 특정 주제에 편향되지 않도록 했습니다.

  \* [kingkim/yeosu\_tour](https://www.google.com/search?q=https://huggingface.co/datasets/kingkim/yeosu_tour): 여수 관광 명소 관련 데이터
  \* [kingkim/yeosu\_island](https://www.google.com/search?q=https://huggingface.co/datasets/kingkim/yeosu_island): 여수 섬 관련 데이터

### 3\. 하이퍼파라미터 (Hyperparameters)

모델 학습에 사용된 주요 하이퍼파라미터는 다음과 같습니다.

#### LoRA 설정

| 파라미터 | 값 | 설명 |
| :--- | :--- | :--- |
| `r` | `16` | LoRA 행렬의 랭크 (rank) |
| `lora_alpha` | `32` | LoRA 스케일링 인자 |
| `lora_dropout` | `0.05` | LoRA 레이어의 드롭아웃 비율 |
| `target_modules` | `q_proj`, `k_proj`, `v_proj`, `o_proj`, `gate_proj`, `up_proj`, `down_proj` | LoRA를 적용할 대상 모듈 |

#### Training Arguments

| 파라미터 | 값 | 설명 |
| :--- | :--- | :--- |
| `num_train_epochs` | `30` | 총 학습 에포크 수 |
| `learning_rate` | `4e-6` | 학습률 |
| `per_device_train_batch_size` | `32` | 디바이스당 학습 배치 크기 |
| `gradient_accumulation_steps` | `2` | 그래디언트 누적 스텝 |
| `optimizer` | `adamw_8bit` | 8비트 AdamW 옵티마이저 |
| `lr_scheduler_type` | `linear` | 선형 학습률 스케줄러 |

## 📊 평가 결과 (Evaluation Results)

### 학습 손실 (Training Loss)

`eval_dataset`에 대한 최종 평가 결과입니다. **Loss**는 모델이 예측한 값과 실제 값의 차이를 나타내며, 낮을수록 모델의 성능이 좋음을 의미합니다.

| 메트릭 (Metric) | 값 (Value) |
| :--- | :--- |
| **`eval_loss`** | **`1.2925`** |
| `eval_runtime` | `30.8675` 초 |
| `eval_samples_per_second` | `68.556` |
| `eval_steps_per_second` | `8.585` |
| `epoch` | `30.0` |

### 외부 전문기관 평가

외부 전문기관의 LLM 품질 평가 결과, 총점 **4.5/5점** 이상을 획득하여 목표치를 달성했습니다. 이는 경쟁 모델인 GPT-3.5의 평균 점수(4.43)를 상회하는 수준이며, 계획서에 설정된 개별 목표(유창성, 일관성, 정확성, 완결성)의 평균 목표치인 4.425점을 넘는 결과입니다.

| 지표 | 계획 | 실적 | 달성 여부 |
| :--- | :--- | :--- | :--- |
| **LLM 품질(총점)** | 평균 4.425 | **≥ 4.5/5** (전문기관 평가) | **달성** (GPT-3.5 평균 4.43 상회) |