tanamettpk commited on
Commit
bb4d17c
·
verified ·
1 Parent(s): 83309c8

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +4 -18
README.md CHANGED
@@ -41,7 +41,7 @@ TC instruct DPO finetuned มาจาก Typhoon 7B ของ SCB 10X ซึ่
41
 
42
  TC instruct DPO ได้ทำการ Train กับ Data ภาษาไทยเท่าที่จะหาได้ และ พยายามให้ Instruct มีความต่างกันเท่าที่จะทำได้
43
 
44
- Model นี้ตั้งใจทำเพื่อขึ้น เพื่อการศึกษาขั้นตอนในการสร้าง LLM เท่านั้น
45
 
46
  และอย่างที่บอกว่าเพื่อศึกษา และ เราไม่เคยสร้าง LLM มาก่อนหรือศึกษามาเป็นอย่างดีนัก
47
 
@@ -51,28 +51,14 @@ Model นี้ตั้งใจทำเพื่อขึ้น เพื่
51
 
52
  Train ด้วย Custom Script ของ Huggingface (อย่าหาทำ ย้ายไปใช้ axolotl หรือ unsloth ดีกว่าประหยัดตัง)
53
 
54
- ใช้ H100 1 PCIE 80 GB ตัวจาก vast.ai ราคาประมาณ 3$/hr
55
 
56
  ด้วย Batch size 24 (จริงๆอยากใช้ 32 แต่ OOM และ 16 ก็แหม๋~~~ เพิล กูใช้ H100 80GB จะให้กู Train แค่ 40 GB บ้าบ้อ)
57
 
58
- ## Thank you to Latitude.sh for sponsoring compute for this model!
59
-
60
- ## Example Outputs
61
-
62
-
63
-
64
 
65
  # Prompt Format
66
-
67
- Hermes 2 Pro uses ChatML as the prompt format, opening up a much more structured system for engaging the LLM in multi-turn chat dialogue.
68
-
69
- System prompts allow steerability and interesting new ways to interact with an LLM, guiding rules, roles, and stylistic choices of the model.
70
-
71
- This is a more complex format than alpaca or sharegpt, where special tokens were added to denote the beginning and end of any turn, along with roles for the turns.
72
-
73
- This format enables OpenAI endpoint compatability, and people familiar with ChatGPT API will be familiar with the format, as it is the same used by OpenAI.
74
-
75
- Prompt with system instruction (Use whatever system prompt you like, this is just an example!):
76
  ```
77
  ### Instruction:
78
  จะทำอะไรก็เรื่องของมึง
 
41
 
42
  TC instruct DPO ได้ทำการ Train กับ Data ภาษาไทยเท่าที่จะหาได้ และ พยายามให้ Instruct มีความต่างกันเท่าที่จะทำได้
43
 
44
+ Model นี้ตั้งใจทำขึ้นเพื่อการศึกษาขั้นตอนในการสร้าง LLM เท่านั้น
45
 
46
  และอย่างที่บอกว่าเพื่อศึกษา และ เราไม่เคยสร้าง LLM มาก่อนหรือศึกษามาเป็นอย่างดีนัก
47
 
 
51
 
52
  Train ด้วย Custom Script ของ Huggingface (อย่าหาทำ ย้ายไปใช้ axolotl หรือ unsloth ดีกว่าประหยัดตัง)
53
 
54
+ ใช้ H100 1 PCIE 80 GB ตัวจาก vast.ai ราคาประมาณ 3$/hr Train แค่ Model นี้ก็ประมาณ 21 ชม. แต่ถ้ารวมลองผิดลองถูกด้วยก็ 10k บาท
55
 
56
  ด้วย Batch size 24 (จริงๆอยากใช้ 32 แต่ OOM และ 16 ก็แหม๋~~~ เพิล กูใช้ H100 80GB จะให้กู Train แค่ 40 GB บ้าบ้อ)
57
 
58
+ ## ถ้าใครเอาไปใช้แล้วมันช่วยได้จะมาช่วย Donate ให้จะขอบคุณมากๆ
59
+ Tipme: https://bit.ly/3m3uH5p
 
 
 
 
60
 
61
  # Prompt Format
 
 
 
 
 
 
 
 
 
 
62
  ```
63
  ### Instruction:
64
  จะทำอะไรก็เรื่องของมึง