Update README.md
Browse files
README.md
CHANGED
@@ -41,7 +41,7 @@ TC instruct DPO finetuned มาจาก Typhoon 7B ของ SCB 10X ซึ่
|
|
41 |
|
42 |
TC instruct DPO ได้ทำการ Train กับ Data ภาษาไทยเท่าที่จะหาได้ และ พยายามให้ Instruct มีความต่างกันเท่าที่จะทำได้
|
43 |
|
44 |
-
Model
|
45 |
|
46 |
และอย่างที่บอกว่าเพื่อศึกษา และ เราไม่เคยสร้าง LLM มาก่อนหรือศึกษามาเป็นอย่างดีนัก
|
47 |
|
@@ -51,28 +51,14 @@ Model นี้ตั้งใจทำเพื่อขึ้น เพื่
|
|
51 |
|
52 |
Train ด้วย Custom Script ของ Huggingface (อย่าหาทำ ย้ายไปใช้ axolotl หรือ unsloth ดีกว่าประหยัดตัง)
|
53 |
|
54 |
-
ใช้ H100 1 PCIE 80 GB ตัวจาก vast.ai ราคาประมาณ 3$/hr
|
55 |
|
56 |
ด้วย Batch size 24 (จริงๆอยากใช้ 32 แต่ OOM และ 16 ก็แหม๋~~~ เพิล กูใช้ H100 80GB จะให้กู Train แค่ 40 GB บ้าบ้อ)
|
57 |
|
58 |
-
##
|
59 |
-
|
60 |
-
## Example Outputs
|
61 |
-
|
62 |
-
|
63 |
-
|
64 |
|
65 |
# Prompt Format
|
66 |
-
|
67 |
-
Hermes 2 Pro uses ChatML as the prompt format, opening up a much more structured system for engaging the LLM in multi-turn chat dialogue.
|
68 |
-
|
69 |
-
System prompts allow steerability and interesting new ways to interact with an LLM, guiding rules, roles, and stylistic choices of the model.
|
70 |
-
|
71 |
-
This is a more complex format than alpaca or sharegpt, where special tokens were added to denote the beginning and end of any turn, along with roles for the turns.
|
72 |
-
|
73 |
-
This format enables OpenAI endpoint compatability, and people familiar with ChatGPT API will be familiar with the format, as it is the same used by OpenAI.
|
74 |
-
|
75 |
-
Prompt with system instruction (Use whatever system prompt you like, this is just an example!):
|
76 |
```
|
77 |
### Instruction:
|
78 |
จะทำอะไรก็เรื่องของมึง
|
|
|
41 |
|
42 |
TC instruct DPO ได้ทำการ Train กับ Data ภาษาไทยเท่าที่จะหาได้ และ พยายามให้ Instruct มีความต่างกันเท่าที่จะทำได้
|
43 |
|
44 |
+
Model นี้ตั้งใจทำขึ้นเพื่อการศึกษาขั้นตอนในการสร้าง LLM เท่านั้น
|
45 |
|
46 |
และอย่างที่บอกว่าเพื่อศึกษา และ เราไม่เคยสร้าง LLM มาก่อนหรือศึกษามาเป็นอย่างดีนัก
|
47 |
|
|
|
51 |
|
52 |
Train ด้วย Custom Script ของ Huggingface (อย่าหาทำ ย้ายไปใช้ axolotl หรือ unsloth ดีกว่าประหยัดตัง)
|
53 |
|
54 |
+
ใช้ H100 1 PCIE 80 GB ตัวจาก vast.ai ราคาประมาณ 3$/hr Train แค่ Model นี้ก็ประมาณ 21 ชม. แต่ถ้ารวมลองผิดลองถูกด้วยก็ 10k บาท
|
55 |
|
56 |
ด้วย Batch size 24 (จริงๆอยากใช้ 32 แต่ OOM และ 16 ก็แหม๋~~~ เพิล กูใช้ H100 80GB จะให้กู Train แค่ 40 GB บ้าบ้อ)
|
57 |
|
58 |
+
## ถ้าใครเอาไปใช้แล้วมันช่วยได้จะมาช่วย Donate ให้จะขอบคุณมากๆ
|
59 |
+
Tipme: https://bit.ly/3m3uH5p
|
|
|
|
|
|
|
|
|
60 |
|
61 |
# Prompt Format
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
62 |
```
|
63 |
### Instruction:
|
64 |
จะทำอะไรก็เรื่องของมึง
|