Hugging Face's logo

pengold
/
t5-vietnamese-summarization

Summarization
Transformers
PyTorch
Vietnamese
t5
text2text-generation
text-generation-inference
Inference Endpoints
Model card Files Community
3
pengold commited on
Commit
7531d14
·
1 Parent(s): bd277fe

End of training

Browse files
Files changed (2) hide show
  1. README.md +98 -22
  2. pytorch_model.bin +1 -1
README.md CHANGED
@@ -2,19 +2,12 @@
2
  license: apache-2.0
3
  base_model: t5-small
4
  tags:
5
- - summarization
6
  - generated_from_trainer
7
  metrics:
8
  - rouge
9
  model-index:
10
  - name: t5-vietnamese-summarization
11
  results: []
12
- language:
13
- - vi
14
- pipeline_tag: summarization
15
- widget:
16
- - text: Theo Bộ trưởng Thông tin và Truyền thông, mục tiêu của công nghệ số, trong đó có trí tuệ nhân tạo, là để người dân giàu có, hạnh phúc hơn. "Các công nghệ số, nhất là trí tuệ nhân tạo, phải được sử dụng một cách đúng đắn, có đạo đức để hướng tới thực hiện những mục tiêu vì con người", Bộ trưởng Nguyễn Mạnh Hùng phát biểu tại Diễn đàn quốc gia phát triển kinh tế số và xã hội số lần thứ nhất, tổ chức tại Nam Định sáng 14/9. Chủ đề của diễn đàn là "Đưa nền tảng số đến từng hộ gia đình". Theo Bộ trưởng, đây cũng là mục tiêu và cách làm của Việt Nam trong chuyển đổi số. "Đó là mỗi gia đình, mỗi người dân được tiếp cận với công nghệ số và được tham gia và thụ hưởng lợi ích từ chuyển đổi số", ông nói.
17
- example_title: Example 1
18
  ---
19
 
20
  <!-- This model card has been generated automatically according to the information the Trainer had access to. You
@@ -24,12 +17,12 @@ should probably proofread and complete it, then remove this comment. -->
24
 
25
  This model is a fine-tuned version of [t5-small](https://huggingface.co/t5-small) on an unknown dataset.
26
  It achieves the following results on the evaluation set:
27
- - Loss: 6.7088
28
- - Rouge1: 0.3594
29
- - Rouge2: 0.1038
30
- - Rougel: 0.2326
31
- - Rougelsum: 0.2333
32
- - Gen Len: 17.614
33
 
34
  ## Model description
35
 
@@ -54,21 +47,104 @@ The following hyperparameters were used during training:
54
  - seed: 42
55
  - optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
56
  - lr_scheduler_type: linear
57
- - num_epochs: 4
58
 
59
  ### Training results
60
 
61
- | Training Loss | Epoch | Step | Validation Loss | Rouge1 | Rouge2 | Rougel | Rougelsum | Gen Len |
62
- |:-------------:|:-----:|:----:|:---------------:|:------:|:------:|:------:|:---------:|:-------:|
63
- | No log | 1.0 | 282 | 6.8323 | 0.23 | 0.0659 | 0.1532 | 0.1533 | 17.146 |
64
- | 7.1083 | 2.0 | 564 | 6.7612 | 0.3211 | 0.0944 | 0.2101 | 0.2103 | 16.972 |
65
- | 7.1083 | 3.0 | 846 | 6.7147 | 0.3473 | 0.1015 | 0.2266 | 0.2272 | 17.276 |
66
- | 6.9522 | 4.0 | 1128 | 6.7088 | 0.3594 | 0.1038 | 0.2326 | 0.2333 | 17.614 |
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
67
 
68
 
69
  ### Framework versions
70
 
71
  - Transformers 4.33.2
72
- - Pytorch 2.0.1+cu118
73
  - Datasets 2.14.5
74
- - Tokenizers 0.13.3
 
2
  license: apache-2.0
3
  base_model: t5-small
4
  tags:
 
5
  - generated_from_trainer
6
  metrics:
7
  - rouge
8
  model-index:
9
  - name: t5-vietnamese-summarization
10
  results: []
 
 
 
 
 
 
11
  ---
12
 
13
  <!-- This model card has been generated automatically according to the information the Trainer had access to. You
 
17
 
18
  This model is a fine-tuned version of [t5-small](https://huggingface.co/t5-small) on an unknown dataset.
19
  It achieves the following results on the evaluation set:
20
+ - Loss: 5.2561
21
+ - Rouge1: 0.4601
22
+ - Rouge2: 0.1574
23
+ - Rougel: 0.2977
24
+ - Rougelsum: 0.2978
25
+ - Gen Len: 18.806
26
 
27
  ## Model description
28
 
 
47
  - seed: 42
48
  - optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
49
  - lr_scheduler_type: linear
50
+ - num_epochs: 100
51
 
52
  ### Training results
53
 
54
+ | Training Loss | Epoch | Step | Validation Loss | Rouge1 | Rouge2 | Rougel | Rougelsum | Gen Len |
55
+ |:-------------:|:-----:|:------:|:---------------:|:------:|:------:|:------:|:---------:|:-------:|
56
+ | 6.9262 | 1.0 | 1250 | 6.6039 | 0.4025 | 0.1122 | 0.2573 | 0.2576 | 18.738 |
57
+ | 6.6661 | 2.0 | 2500 | 6.4575 | 0.4067 | 0.1184 | 0.2611 | 0.2617 | 18.868 |
58
+ | 6.5642 | 3.0 | 3750 | 6.3785 | 0.4176 | 0.1265 | 0.2722 | 0.2723 | 18.724 |
59
+ | 6.4586 | 4.0 | 5000 | 6.3006 | 0.4204 | 0.1286 | 0.2739 | 0.274 | 18.694 |
60
+ | 6.4089 | 5.0 | 6250 | 6.2724 | 0.426 | 0.1321 | 0.275 | 0.2752 | 18.784 |
61
+ | 6.328 | 6.0 | 7500 | 6.2053 | 0.4435 | 0.1409 | 0.2872 | 0.2873 | 18.818 |
62
+ | 6.2862 | 7.0 | 8750 | 6.1546 | 0.4397 | 0.1401 | 0.2845 | 0.2849 | 18.83 |
63
+ | 6.2394 | 8.0 | 10000 | 6.1136 | 0.443 | 0.1427 | 0.287 | 0.2874 | 18.816 |
64
+ | 6.2024 | 9.0 | 11250 | 6.0772 | 0.4438 | 0.1459 | 0.287 | 0.2874 | 18.858 |
65
+ | 6.1423 | 10.0 | 12500 | 6.0458 | 0.4455 | 0.1478 | 0.2891 | 0.2895 | 18.832 |
66
+ | 6.1265 | 11.0 | 13750 | 6.0011 | 0.4496 | 0.1474 | 0.2896 | 0.29 | 18.858 |
67
+ | 6.0642 | 12.0 | 15000 | 5.9603 | 0.4524 | 0.1488 | 0.2936 | 0.2942 | 18.884 |
68
+ | 6.0457 | 13.0 | 16250 | 5.9340 | 0.4479 | 0.1484 | 0.2903 | 0.2907 | 18.926 |
69
+ | 6.0059 | 14.0 | 17500 | 5.8934 | 0.4484 | 0.1458 | 0.2905 | 0.2908 | 18.892 |
70
+ | 5.9558 | 15.0 | 18750 | 5.8688 | 0.4506 | 0.1501 | 0.2917 | 0.292 | 18.896 |
71
+ | 5.9421 | 16.0 | 20000 | 5.8424 | 0.4502 | 0.1458 | 0.2863 | 0.2868 | 18.824 |
72
+ | 5.9049 | 17.0 | 21250 | 5.8208 | 0.448 | 0.1482 | 0.2889 | 0.2894 | 18.844 |
73
+ | 5.8713 | 18.0 | 22500 | 5.8003 | 0.449 | 0.1473 | 0.2892 | 0.2895 | 18.868 |
74
+ | 5.8481 | 19.0 | 23750 | 5.7704 | 0.4484 | 0.1486 | 0.2878 | 0.2883 | 18.87 |
75
+ | 5.8113 | 20.0 | 25000 | 5.7443 | 0.4513 | 0.152 | 0.2914 | 0.2919 | 18.822 |
76
+ | 5.7948 | 21.0 | 26250 | 5.7222 | 0.4485 | 0.1477 | 0.2894 | 0.2898 | 18.794 |
77
+ | 5.7728 | 22.0 | 27500 | 5.6990 | 0.4476 | 0.1506 | 0.289 | 0.2892 | 18.82 |
78
+ | 5.7476 | 23.0 | 28750 | 5.6802 | 0.4474 | 0.1493 | 0.2901 | 0.2904 | 18.846 |
79
+ | 5.7299 | 24.0 | 30000 | 5.6608 | 0.4514 | 0.1549 | 0.2924 | 0.2928 | 18.872 |
80
+ | 5.7021 | 25.0 | 31250 | 5.6533 | 0.451 | 0.1537 | 0.2921 | 0.2925 | 18.842 |
81
+ | 5.6861 | 26.0 | 32500 | 5.6371 | 0.4502 | 0.1534 | 0.291 | 0.2915 | 18.826 |
82
+ | 5.6833 | 27.0 | 33750 | 5.6241 | 0.4541 | 0.1542 | 0.2938 | 0.2941 | 18.876 |
83
+ | 5.6473 | 28.0 | 35000 | 5.6113 | 0.4509 | 0.1535 | 0.2932 | 0.2935 | 18.83 |
84
+ | 5.6248 | 29.0 | 36250 | 5.5896 | 0.454 | 0.1562 | 0.2934 | 0.2938 | 18.878 |
85
+ | 5.6126 | 30.0 | 37500 | 5.5768 | 0.4555 | 0.1563 | 0.2952 | 0.2954 | 18.924 |
86
+ | 5.6044 | 31.0 | 38750 | 5.5627 | 0.4526 | 0.1547 | 0.2929 | 0.2932 | 18.856 |
87
+ | 5.58 | 32.0 | 40000 | 5.5459 | 0.4482 | 0.1523 | 0.291 | 0.2914 | 18.898 |
88
+ | 5.5621 | 33.0 | 41250 | 5.5345 | 0.4524 | 0.1546 | 0.2936 | 0.294 | 18.88 |
89
+ | 5.5399 | 34.0 | 42500 | 5.5209 | 0.4554 | 0.1554 | 0.2939 | 0.2942 | 18.868 |
90
+ | 5.5272 | 35.0 | 43750 | 5.5011 | 0.4512 | 0.1562 | 0.2928 | 0.2931 | 18.858 |
91
+ | 5.5276 | 36.0 | 45000 | 5.5009 | 0.4504 | 0.1548 | 0.2926 | 0.2931 | 18.846 |
92
+ | 5.5355 | 37.0 | 46250 | 5.4912 | 0.4538 | 0.1552 | 0.2932 | 0.2936 | 18.874 |
93
+ | 5.4894 | 38.0 | 47500 | 5.4792 | 0.455 | 0.1591 | 0.2932 | 0.2937 | 18.872 |
94
+ | 5.4872 | 39.0 | 48750 | 5.4692 | 0.4558 | 0.1556 | 0.2918 | 0.2923 | 18.864 |
95
+ | 5.4716 | 40.0 | 50000 | 5.4585 | 0.4564 | 0.159 | 0.2964 | 0.2966 | 18.844 |
96
+ | 5.4461 | 41.0 | 51250 | 5.4532 | 0.4591 | 0.1604 | 0.2961 | 0.2964 | 18.85 |
97
+ | 5.4423 | 42.0 | 52500 | 5.4420 | 0.4557 | 0.1577 | 0.295 | 0.2952 | 18.862 |
98
+ | 5.4259 | 43.0 | 53750 | 5.4341 | 0.4534 | 0.1565 | 0.2929 | 0.2929 | 18.83 |
99
+ | 5.4125 | 44.0 | 55000 | 5.4303 | 0.4543 | 0.1579 | 0.2935 | 0.2936 | 18.854 |
100
+ | 5.4101 | 45.0 | 56250 | 5.4062 | 0.457 | 0.1594 | 0.2945 | 0.2948 | 18.836 |
101
+ | 5.4027 | 46.0 | 57500 | 5.4094 | 0.4539 | 0.1553 | 0.2934 | 0.2937 | 18.822 |
102
+ | 5.3947 | 47.0 | 58750 | 5.4018 | 0.4567 | 0.1555 | 0.2944 | 0.2949 | 18.79 |
103
+ | 5.3905 | 48.0 | 60000 | 5.4001 | 0.4557 | 0.1554 | 0.295 | 0.2952 | 18.802 |
104
+ | 5.3798 | 49.0 | 61250 | 5.3843 | 0.4549 | 0.156 | 0.2949 | 0.2952 | 18.818 |
105
+ | 5.3556 | 50.0 | 62500 | 5.3866 | 0.4578 | 0.1581 | 0.2948 | 0.2951 | 18.828 |
106
+ | 5.3796 | 51.0 | 63750 | 5.3794 | 0.4564 | 0.1577 | 0.2963 | 0.2967 | 18.81 |
107
+ | 5.341 | 52.0 | 65000 | 5.3720 | 0.4573 | 0.1578 | 0.2959 | 0.2964 | 18.796 |
108
+ | 5.3461 | 53.0 | 66250 | 5.3592 | 0.4579 | 0.1571 | 0.2955 | 0.2956 | 18.812 |
109
+ | 5.3385 | 54.0 | 67500 | 5.3622 | 0.4567 | 0.1562 | 0.2954 | 0.2957 | 18.756 |
110
+ | 5.3163 | 55.0 | 68750 | 5.3548 | 0.4591 | 0.155 | 0.2956 | 0.2959 | 18.824 |
111
+ | 5.3222 | 56.0 | 70000 | 5.3542 | 0.4585 | 0.1564 | 0.2955 | 0.2959 | 18.836 |
112
+ | 5.3232 | 57.0 | 71250 | 5.3478 | 0.4577 | 0.1567 | 0.2959 | 0.2961 | 18.82 |
113
+ | 5.2974 | 58.0 | 72500 | 5.3366 | 0.4538 | 0.1545 | 0.2932 | 0.2934 | 18.81 |
114
+ | 5.284 | 59.0 | 73750 | 5.3386 | 0.4578 | 0.1557 | 0.2955 | 0.2959 | 18.79 |
115
+ | 5.3004 | 60.0 | 75000 | 5.3349 | 0.4569 | 0.1568 | 0.2957 | 0.2959 | 18.794 |
116
+ | 5.259 | 61.0 | 76250 | 5.3238 | 0.4607 | 0.1566 | 0.2987 | 0.2991 | 18.822 |
117
+ | 5.2885 | 62.0 | 77500 | 5.3232 | 0.4607 | 0.1591 | 0.2981 | 0.2986 | 18.81 |
118
+ | 5.2857 | 63.0 | 78750 | 5.3139 | 0.4594 | 0.1574 | 0.2957 | 0.2959 | 18.77 |
119
+ | 5.274 | 64.0 | 80000 | 5.3202 | 0.4601 | 0.1558 | 0.2971 | 0.2972 | 18.824 |
120
+ | 5.2665 | 65.0 | 81250 | 5.3123 | 0.4599 | 0.1575 | 0.2967 | 0.2969 | 18.884 |
121
+ | 5.2482 | 66.0 | 82500 | 5.3004 | 0.4601 | 0.1572 | 0.2985 | 0.2985 | 18.812 |
122
+ | 5.2429 | 67.0 | 83750 | 5.2976 | 0.4572 | 0.1535 | 0.2957 | 0.2958 | 18.792 |
123
+ | 5.2407 | 68.0 | 85000 | 5.2985 | 0.4591 | 0.1581 | 0.2966 | 0.2966 | 18.828 |
124
+ | 5.2371 | 69.0 | 86250 | 5.2896 | 0.4604 | 0.1584 | 0.2982 | 0.2984 | 18.828 |
125
+ | 5.2341 | 70.0 | 87500 | 5.2917 | 0.4612 | 0.1605 | 0.2988 | 0.2991 | 18.83 |
126
+ | 5.2311 | 71.0 | 88750 | 5.2882 | 0.4594 | 0.1574 | 0.2977 | 0.298 | 18.778 |
127
+ | 5.2395 | 72.0 | 90000 | 5.2811 | 0.4609 | 0.1587 | 0.2974 | 0.2975 | 18.854 |
128
+ | 5.2187 | 73.0 | 91250 | 5.2836 | 0.4606 | 0.1599 | 0.2986 | 0.2986 | 18.804 |
129
+ | 5.2158 | 74.0 | 92500 | 5.2781 | 0.4603 | 0.1584 | 0.2974 | 0.2976 | 18.8 |
130
+ | 5.2153 | 75.0 | 93750 | 5.2802 | 0.4603 | 0.1577 | 0.2973 | 0.2975 | 18.806 |
131
+ | 5.2153 | 76.0 | 95000 | 5.2771 | 0.4596 | 0.1563 | 0.2954 | 0.2957 | 18.816 |
132
+ | 5.1939 | 77.0 | 96250 | 5.2771 | 0.4594 | 0.1566 | 0.2966 | 0.2968 | 18.828 |
133
+ | 5.2215 | 78.0 | 97500 | 5.2725 | 0.4578 | 0.1576 | 0.2973 | 0.2975 | 18.78 |
134
+ | 5.1974 | 79.0 | 98750 | 5.2704 | 0.458 | 0.1578 | 0.2974 | 0.2976 | 18.77 |
135
+ | 5.2068 | 80.0 | 100000 | 5.2657 | 0.4612 | 0.1575 | 0.2991 | 0.2994 | 18.786 |
136
+ | 5.2018 | 81.0 | 101250 | 5.2643 | 0.4592 | 0.157 | 0.2971 | 0.2971 | 18.812 |
137
+ | 5.21 | 82.0 | 102500 | 5.2608 | 0.459 | 0.1577 | 0.2979 | 0.2979 | 18.792 |
138
+ | 5.2032 | 83.0 | 103750 | 5.2612 | 0.4604 | 0.1574 | 0.2978 | 0.298 | 18.798 |
139
+ | 5.1908 | 84.0 | 105000 | 5.2594 | 0.4593 | 0.1587 | 0.2983 | 0.2985 | 18.822 |
140
+ | 5.194 | 85.0 | 106250 | 5.2548 | 0.4581 | 0.1576 | 0.2981 | 0.2981 | 18.792 |
141
+ | 5.1821 | 86.0 | 107500 | 5.2580 | 0.459 | 0.1568 | 0.2971 | 0.2971 | 18.802 |
142
+ | 5.1901 | 87.0 | 108750 | 5.2561 | 0.4601 | 0.1574 | 0.2977 | 0.2978 | 18.806 |
143
 
144
 
145
  ### Framework versions
146
 
147
  - Transformers 4.33.2
148
+ - Pytorch 2.0.1+cu117
149
  - Datasets 2.14.5
150
+ - Tokenizers 0.13.3
pytorch_model.bin CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:cf0f63c16fe05d97447db90807d0a3e0f79b160a39ef233300ef2c6a847a2caa
3
  size 242071641
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:4c94b8501fa599c1c4fbdd77abecf41676b5bbd7cfa4110b04c64bbf092d8f29
3
  size 242071641