Update README.md
Browse files
README.md
CHANGED
|
@@ -3,7 +3,11 @@ license: apache-2.0
|
|
| 3 |
---
|
| 4 |
<div>
|
| 5 |
<img src="https://www.linkbricks.com/wp-content/uploads/2022/03/%E1%84%85%E1%85%B5%E1%86%BC%E1%84%8F%E1%85%B3%E1%84%87%E1%85%B3%E1%84%85%E1%85%B5%E1%86%A8%E1%84%89%E1%85%B3%E1%84%85%E1%85%A9%E1%84%80%E1%85%A9-2-1024x804.png" />
|
| 6 |
-
</div>
|
|
|
|
|
|
|
|
|
|
|
|
|
| 7 |
|
| 8 |
AI 와 빅데이터 분석 전문 기업인 Linkbricks(www.linkbricks.com)의 데이터사이언티스트인 지윤성 박사(Saxo)가 llama2 기본 Tokenizer(3,2000 토큰)에
|
| 9 |
한국어 토큰 40만개를 추가한 토크나이저로 llama2 계열 파인튜닝시 기존 llama2 토크나이저 대신 사용할 수 있도록 tokenzier_config.json과 special_tokens_map.json 은 수정 없이
|
|
|
|
| 3 |
---
|
| 4 |
<div>
|
| 5 |
<img src="https://www.linkbricks.com/wp-content/uploads/2022/03/%E1%84%85%E1%85%B5%E1%86%BC%E1%84%8F%E1%85%B3%E1%84%87%E1%85%B3%E1%84%85%E1%85%B5%E1%86%A8%E1%84%89%E1%85%B3%E1%84%85%E1%85%A9%E1%84%80%E1%85%A9-2-1024x804.png" />
|
| 6 |
+
</div>
|
| 7 |
+
|
| 8 |
+
div {
|
| 9 |
+
text-align: center;
|
| 10 |
+
}
|
| 11 |
|
| 12 |
AI 와 빅데이터 분석 전문 기업인 Linkbricks(www.linkbricks.com)의 데이터사이언티스트인 지윤성 박사(Saxo)가 llama2 기본 Tokenizer(3,2000 토큰)에
|
| 13 |
한국어 토큰 40만개를 추가한 토크나이저로 llama2 계열 파인튜닝시 기존 llama2 토크나이저 대신 사용할 수 있도록 tokenzier_config.json과 special_tokens_map.json 은 수정 없이
|