Hugging Face's logo

hotchpotch
/
fineweb-2-edu-japanese-classifier

Safetensors
Japanese
xlm-roberta
Model card Files
xet
Community
hotchpotch commited on
Commit
46d4815
·
verified ·
1 Parent(s): fb2565d

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +37 -31
README.md CHANGED
@@ -84,16 +84,16 @@ base_model:
84
 
85
  **評価結果 (評価データセット 3万件):**
86
 
87
- | モデル | Precision | Recall | F1-score | Accuracy | 処理時間 (3万件) | 処理環境 |
88
  |---------------------------|-----------|--------|----------|----------|---------------|-----------------|
89
- | **CPU版** (StaticEmbeddings + LightGBM) | 0.5316 | 0.7668 | 0.6279 | 0.8382 | 1.98秒 | Ryzen 9 7950x |
90
- | **GPU版** (mMiniLMv2-L6H384) | 0.6499 | 0.7170 | 0.6819 | 0.8780 | 13.50秒 | RTX 4090 |
 
91
 
92
  **処理速度の比較:**
93
 
94
  * **CPU版:** 3万件のデータセットを約 1.98 秒で処理 (1テキストあたり約 0.066 ミリ秒)
95
- * **GPU版:** 3万件のデータセットを約 13.50 秒で処理 (1テキストあたり約 0.45 ミリ秒)
96
- * **CPU版は GPU版と比較して約 6.8 倍の処理速度**
97
 
98
  **性能に関する考察:**
99
 
@@ -159,49 +159,55 @@ base_model:
159
 
160
  | Class | Precision | Recall | F1-score | Support |
161
  |-----------|-----------|--------|----------|---------|
162
- | 0 | 0.91 | 0.57 | 0.70 | 1,782 |
163
- | 1 | 0.75 | 0.65 | 0.70 | 11,910 |
164
- | 2 | 0.58 | 0.66 | 0.62 | 10,966 |
165
- | 3 | 0.57 | 0.69 | 0.63 | 4,863 |
166
- | 4 | 0.00 | 0.00 | 0.00 | 479 |
167
- | **Accuracy**| - | - | 0.65 | 30,000 |
168
- | **Macro Avg**| 0.56 | 0.52 | 0.53 | 30,000 |
169
- | **Weighted Avg**| 0.66 | 0.65 | 0.65 | 30,000 |
 
 
170
 
171
  | Actual \ Predicted | 0 | 1 | 2 | 3 | 4 |
172
  |--------------------|------|------|------|------|-----|
173
- | 0 | 1015 | 729 | 35 | 3 | 0 |
174
- | 1 | 105 | 7791 | 3836 | 178 | 0 |
175
- | 2 | 1 | 1807 | 7275 | 1883 | 0 |
176
- | 3 | 0 | 38 | 1447 | 3378 | 0 |
177
  | 4 | 0 | 0 | 27 | 452 | 0 |
178
 
179
- **二値分類 (それ以外/教育的) に再集計:**
180
 
181
  | Class | Precision | Recall | F1-score | Support |
182
  |--------------------|-----------|--------|----------|---------|
183
- | 0 (それ以外) | 0.9372 | 0.9162 | 0.9266 | 24,658 |
184
- | 1 (教育的) | 0.6499 | 0.7170 | 0.6819 | 5,342 |
185
- | **Accuracy** | - | - | 0.8780 | 30,000 |
186
- | **Macro Avg** | 0.7936 | 0.8166 | 0.8042 | 30,000 |
187
- | **Weighted Avg** | 0.8852 | 0.8780 | 0.8812 | 30,000 |
 
 
188
 
189
  | Actual \ Predicted | 0 (それ以外) | 1 (教育的) |
190
  |--------------------|-----------------|-------------|
191
- | 0 (それ以外) | 22,594 | 2,064 |
192
- | 1 (教育的) | 1,512 | 3,830 |
 
 
193
 
194
  | Metric | Value |
195
  |-----------|---------|
196
- | Precision | 0.6499 |
197
- | Recall | 0.7170 |
198
- | F1-score | 0.6819 |
199
- | Accuracy | 0.8780 |
200
 
201
  **分析:**
202
 
203
- * 二値分類においても**リコールは 0.7170 を維持:** 教育コンテンツの網羅性確保
204
- * **精度 (precision) は 0.6499:** CPU版と比較して向上
205
 
206
  ## まとめ
207
 
 
84
 
85
  **評価結果 (評価データセット 3万件):**
86
 
87
+ | モデル                      | Precision | Recall | F1-score | Accuracy | 処理時間 (3万件) | 処理環境         |
88
  |---------------------------|-----------|--------|----------|----------|---------------|-----------------|
89
+ | **CPU版** (StaticEmbeddings + LightGBM) | 0.5316    | 0.7668 | 0.6279   | 0.8382   | 1.98秒         | Ryzen 9 7950x   |
90
+ | **GPU版** (mMiniLMv2-L6H384)        | 0.6432    | 0.7265 | 0.6823   | 0.8795   | 5.51秒        | RTX 4090         |
91
+
92
 
93
  **処理速度の比較:**
94
 
95
  * **CPU版:** 3万件のデータセットを約 1.98 秒で処理 (1テキストあたり約 0.066 ミリ秒)
96
+ * **GPU版:** 3万件のデータセットを約 5.51 秒で処理 (1テキストあたり約 0.18 ミリ秒)
 
97
 
98
  **性能に関する考察:**
99
 
 
159
 
160
  | Class | Precision | Recall | F1-score | Support |
161
  |-----------|-----------|--------|----------|---------|
162
+ | 0 | 0.9059 | 0.5673 | 0.6977 | 1,782 |
163
+ | 1 | 0.7510 | 0.6548 | 0.6996 | 11,910 |
164
+ | 2 | 0.5768 | 0.6637 | 0.6172 | 10,966 |
165
+ | 3 | 0.5740 | 0.6942 | 0.6284 | 4,863 |
166
+ | 4 | 0.0000 | 0.0000 | 0.0000 | 479 |
167
+ | **Accuracy**| - | - | 0.6488 | 30,000 |
168
+ | **Macro Avg**| 0.5615 | 0.5160 | 0.5286 | 30,000 |
169
+ | **Weighted Avg**| 0.6558 | 0.6488 | 0.6467 | 30,000 |
170
+
171
+ ## 混同行列
172
 
173
  | Actual \ Predicted | 0 | 1 | 2 | 3 | 4 |
174
  |--------------------|------|------|------|------|-----|
175
+ | 0 | 1011 | 733 | 35 | 3 | 0 |
176
+ | 1 | 104 | 7799 | 3830 | 177 | 0 |
177
+ | 2 | 1 | 1813 | 7278 | 1874 | 0 |
178
+ | 3 | 0 | 40 | 1447 | 3376 | 0 |
179
  | 4 | 0 | 0 | 27 | 452 | 0 |
180
 
181
+ ## 二値分類 (それ以外/教育的) に再集計
182
 
183
  | Class | Precision | Recall | F1-score | Support |
184
  |--------------------|-----------|--------|----------|---------|
185
+ | 0 (それ以外) | 0.9390 | 0.9127 | 0.9257 | 24,658 |
186
+ | 1 (教育的) | 0.6432 | 0.7265 | 0.6823 | 5,342 |
187
+ | **Accuracy** | - | - | 0.8795 | 30,000 |
188
+ | **Macro Avg** | 0.7911 | 0.8196 | 0.8040 | 30,000 |
189
+ | **Weighted Avg** | 0.8864 | 0.8795 | 0.8823 | 30,000 |
190
+
191
+ ## 二値分類の混同行列
192
 
193
  | Actual \ Predicted | 0 (それ以外) | 1 (教育的) |
194
  |--------------------|-----------------|-------------|
195
+ | 0 (それ以外) | 22,505 | 2,153 |
196
+ | 1 (教育的) | 1,461 | 3,881 |
197
+
198
+ ## 主要な二値分類指標
199
 
200
  | Metric | Value |
201
  |-----------|---------|
202
+ | Precision | 0.6432 |
203
+ | Recall | 0.7265 |
204
+ | F1-score | 0.6823 |
205
+ | Accuracy | 0.8795 |
206
 
207
  **分析:**
208
 
209
+ * 二値分類においても**リコールは 0.7265 を維持:** 教育コンテンツの網羅性確保
210
+ * **精度 (precision) は 0.6432:** CPU版と比較して向上
211
 
212
  ## まとめ
213