Update README.md

README.md

@@ -1,22 +1,98 @@
 ---
 library_name: transformers
-tags: []
+tags:
+- DPO
+license: apache-2.0
+datasets:
+- lightblue/response-dataset-plus-qwen-judged
+language:
+- ja
+base_model:
+- Qwen/Qwen2.5-7B-Instruct
 ---
 
-## Qwen2.5-7B-Instruct-preference
+[日本語モデルカード](#japanese)
 
-### Model Description
+[日本語のブログ]()
 
-<!-- Provide a longer summary of what this model is. -->
+# Karasu-DPO-7B
 
-Qwen2.5-7B-Instruct-preference is a fine-tuned model based on [Qwen/Qwen2.5-7B-Instruct](https://huggingface.co/Qwen/Qwen2.5-7B-Instruct). This model is fine-tuned on [original dataset](lightblue/response-dataset-plus-qwen-judged). The fine-tuned were carried out at a 1024 context length.
+This is a Japanese version of the [Qwen/Qwen2.5-7B-Instruct](https://huggingface.co/Qwen/Qwen2.5-7B-Instruct) model which was DPO trained using synthetic Japanese conversation data.
 
-### Benchmarking
-The benchmark score is obtained using [arena-hard-auto-multilingual](https://github.com/lightblue-tech/arena-hard-auto-multilingual).
-|Qwen2.5-7B-Instruct|Ours|
+This model outperforms the base [Qwen/Qwen2.5-7B-Instruct](https://huggingface.co/Qwen/Qwen2.5-7B-Instruct) model on the [arena-hard-auto-multilingual](https://github.com/lightblue-tech/arena-hard-auto-multilingual) chat benchmark:
+
+|Qwen2.5-7B-Instruct|Karasu-DPO-7B|
 |----|----|
 |50.0|56.6|
 
+We recommend this model for use as a general conversatio AI.
+
+# How to use
+
+<ul>
+  <li><b>vLLM</b>
+
+Install [vLLM](https://github.com/vllm-project/vllm/) using `pip install vllm`.
+
+<details open>
+  <summary>Show vLLM code</summary>
+  
+```python
+from vllm import LLM, SamplingParams
+
+llm = LLM(
+    model="lightblue/DeepSeek-R1-Distill-Qwen-7B-Japanese",
+    max_model_len=8_000
+)
+
+sampling_params = SamplingParams(
+    temperature=0.5, 
+    max_tokens=8_000,
+    repetition_penalty=1.1
+)
+
+prompts = [
+    """学校には1クラスにつき20人の生徒がおり、クラスは合計3つあります。
+学校全体では男子と女子がそれぞれ50%ずついます。
+1つ目のクラスには女子が15人、2つ目のクラスには女子が12人います。
+3つ目のクラスには何人の男子がいますか？"""
+]
+
+conversations = [
+    [{"role": "user", "content": x}] for x in prompts
+]
+
+outputs = llm.chat(conversations, sampling_params=sampling_params)
+
+for output in outputs:
+    print(output.outputs[0].text)
+
+<think>
+# まず、学校の総生徒数を算出します。各クラスに20人の生徒があり、クラスは3つあるため、総生徒数は60人です。
+
+# 次に、学校全体で男子と女子は同じ人数で分布しています。したがって、男子と女子各有30人。
+...
+# したがって、3つ目のクラスの男子数は20 - 3 = 17人です。
+# </think>
+
+# **解答：**
+
+# 学校の総生徒数を算出します。
+...
+# **最終的な答え：**
+# \[
+# \boxed{17}
+# \]
+```
+
+</details>
+
+<br/>
+
+<h1 style="font-size: 48px;" id="japanese">日本語</h3>
+
+
+
 ### Model Details
 - Model size: 7B
 - Context length: 1024