Update README.md

README.md

@@ -10,13 +10,121 @@ license: apache-2.0
 language:
 - en
 ---
+---
+base_model: unsloth/gemma-2-2b-it
+tags:
+- text-generation-inference
+- transformers
+- unsloth
+- gemma2
+- trl
+license: openrail
+language:
+- en
+---
+# Gemma2 한국어 전용 어댑터 (Gemma2 Korean Adapter)
+
+본 레포지토리는 **unsloth/gemma-2-9b-it-bnb-4bit** 모델을 기반으로, **한국어 질의 분류 및 검색 쿼리 재작성**을 수행하기 위한 어댑터(Adapter) 예시입니다.  
+**비상업적 용도**로 배포되며, 상업적 사용은 제한됩니다. 본 모델 및 어댑터에 대한 저작권은 원 개발자에게 있으며, 무단 전재 및 배포는 금지됩니다.
+
+---
+
+## 주요 기능
+
+1. **질의 분류(Query Classification)**  
+   - 사용자의 질의가 인사, 농담, 겉치레 등의 실제 검색이 불필요한 경우, `{"search": ""}`(빈 문자열) 형태로 반환합니다.  
+   - 즉, 검색이 전혀 필요하지 않은 상황을 자동으로 분류하여 쿼리를 생성하지 않습니다.
+   
+2. **검색 쿼리 작성(Search Query Rewriting)**  
+   - 실제 검색이 필요한 질문의 경우, **과거 대화(Context)**를 고려하여 불완전한 쿼리를 보완하거나, 불필요한 부분을 제거해 최적화된 검색어를 생성합니다.  
+   - 최종 출력은 JSON 형식으로 `{"search": "<검색 쿼리>"}` 형태를 따릅니다.
+
+---
+
+## 학습 데이터 구성
+
+- **대화(Context)**: 사용자와의 과거 대화 기록을 개행(`\n`)으로 구분하여 이어붙인 텍스트
+- **지시문(Instruction)**: 모델에게 어떤 작업을 수행해야 하는지 알려주는 텍스트
+- **입력(Input)**: 사용자가 마지막으로 입력한 실제 질의
+- **응답(Response)**: 최종 JSON 형식(`{"search": "<검색어>"}`)으로 작성된 검색 쿼리 결과
+
+대화와 요청을 하나의 텍스트로 합쳐 학습할 수 있도록, Hugging Face `Dataset`을 활용하여 아래와 같은 템플릿에 맞춰 변환하였습니다.
+
+---
+
+## 프롬프트 템플릿(예시)
+
+본 어댑터는 아래와 같은 템플릿 구조를 사용합니다. 모델에 입력될 최종 문자열은 다음과 같습니다:
 
-# Uploaded  model
+```
+### Context:
+{conversation}
 
-- **Developed by:** Austin9
-- **License:** apache-2.0
-- **Finetuned from model :** unsloth/gemma-2-9b-it-bnb-4bit
+### Instruction:
+다음은 대화 기록(Context)와 사용자의 질문(Input)입니다. 사용자의 질문에 답을 제공하기 위해 필요한 단일 문자열 검색 쿼리를 생성하세요. 대화 기록을 고려하여 검색 쿼리를 생성하세요. 검색이 필요하지 않거나 쿼리가 불필요한 경우(인사나, 겉치레, 농담) 빈 문자열을 반환하세요.
 
-This gemma2 model was trained 2x faster with [Unsloth](https://github.com/unslothai/unsloth) and Huggingface's TRL library.
+최종 출력 형식은 {'search': '<검색 쿼리>'}입니다.
 
-[<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/>](https://github.com/unslothai/unsloth)
+### Input:
+{input}
+
+### Response:
+{response}
+```
+
+- `{conversation}`: 과거 대화 히스토리를 개행(`\n`)으로 구분하여 이어붙인 문자열
+- `{instruction}`: 사용자 요청에 대한 지침
+- `{input}`: 최종 사용자 질의
+- `{response}`: JSON 형식(예: `{"search": "<검색어>"}`)으로 작성된 결과
+
+모델의 EOS 토큰(예: `tokenizer.eos_token`)을 이용해 문장 단위를 구분합니다.
+
+---
+
+## 사용 예시
+
+1. **인사, 농담, 겉치레 질문**  
+   - Input: “안녕? 잘 지내?”  
+   - 분류 결과: 검색이 불필요하다고 판단 → `{"search": ""}`  
+
+2. **검색 필요한 질문**  
+   - Context: 이전 대화에서 “뉴욕 맛집” 이야기를 하고 있었음  
+   - Input: “그럼 뉴욕에서 제일 인기 있는 햄버거 가게 찾아줘”  
+   - 모델 응답: `{"search": "뉴욕 인기 햄버거 가게"}`  
+   - 과거 대화를 고려하여 키워드를 추출 및 재작성
+
+---
+
+## 모델 구조
+
+- **Base Model**: [unsloth/gemma-2-9b-it-bnb-4bit](https://huggingface.co/unsloth/gemma-2-9b-it-bnb-4bit)  
+- **언어(Language)**: 한국어에 최적화된 어댑터  
+---
+
+## 사용 방법
+
+1. **데이터셋 생성**  
+   - `merged_dataset.json` 형태로 대화와 질의가 포함된 원본 데이터를 준비합니다.  
+   - 위 예시 스크립트처럼, `{"search": "<검색어>"}` 형태의 최종 `Response`를 생성하도록 전처리(토큰 수 제한, 불필요한 대화 제거 등)를 거칩니다.
+
+2. **포맷 변환**  
+   - 템플릿(`custom_prompt`)을 사용해 `<conversation>`, `<instruction>`, `<input>`, `<response>`를 하나의 문자열로 합칩니다.
+   - Hugging Face `Dataset` 객체에 맵핑(map)하여 `text` 컬럼을 생성합니다.
+
+3. **데이터 분할**  
+   - 예시 코드에서처럼 train/val 데이터를 분리한 후, 원하는 미세조정 방법으로 학습합니다.
+
+4. **추론(Inference)**  
+   - 학습된 모델 혹은 어댑터를 로드한 뒤, 사용자 입력을 받아 템플릿에 맞춰 모델에 전달합니다.
+   - 모델의 최종 출력이 `{"search": "<검색어>"}` 형태인지 확인합니다.
+   - `search` 필드가 빈 문자열(`""`)이라면 검색이 필요하지 않음을 의미합니다.
+
+---
+
+## 라이선스
+
+- 본 어댑터는 **비상업적 용도**로만 사용 가능합니다.
+- 재배포 및 파생 프로젝트 생성 시, 반드시 비상업적 목적이어야 하며, 2차 창작 시 원작자 표기를 준수해야 합니다.
+- 상업적 이용이 필요한 경우 별도의 협의를 통해 허가를 받아야 합니다.
+
+---