my_awesome_billsum_model

This model is a fine-tuned version of google-t5/t5-small on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 2.4816
• Rouge1: 0.1518
• Rouge2: 0.0524
• Rougel: 0.1233
• Rougelsum: 0.1233
• Gen Len: 20.0

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 16
• eval_batch_size: 16
• seed: 42
• optimizer: Use OptimizerNames.ADAMW_TORCH with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• num_epochs: 4
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Rouge1	Rouge2	Rougel	Rougelsum	Gen Len
4.268	0.0323	2	4.0251	0.1453	0.049	0.1205	0.1206	20.0
4.3633	0.0645	4	3.8986	0.1452	0.048	0.1204	0.1204	20.0
4.3121	0.0968	6	3.6697	0.1448	0.0478	0.1204	0.1205	20.0
4.2318	0.1290	8	3.5606	0.1441	0.047	0.12	0.1198	20.0
4.0339	0.1613	10	3.4744	0.1418	0.0456	0.1177	0.1177	20.0
3.6264	0.1935	12	3.3756	0.1416	0.0452	0.1177	0.1176	20.0
3.4664	0.2258	14	3.3096	0.142	0.0453	0.1179	0.118	20.0
3.8028	0.2581	16	3.2569	0.1414	0.045	0.1171	0.1171	20.0
3.4616	0.2903	18	3.1908	0.1411	0.0445	0.1169	0.1169	20.0
3.3461	0.3226	20	3.1492	0.1405	0.0441	0.1164	0.1165	20.0
3.4124	0.3548	22	3.1140	0.1384	0.0425	0.1147	0.1147	20.0
3.5316	0.3871	24	3.0805	0.1377	0.0416	0.114	0.1138	20.0
3.6249	0.4194	26	3.0506	0.1369	0.0415	0.1134	0.1132	20.0
3.3319	0.4516	28	3.0240	0.1372	0.0423	0.1141	0.1138	20.0
3.3236	0.4839	30	2.9971	0.1357	0.041	0.1122	0.1121	20.0
3.1302	0.5161	32	2.9692	0.1343	0.0401	0.1111	0.1111	20.0
3.0403	0.5484	34	2.9456	0.1348	0.0404	0.1112	0.1111	20.0
3.1758	0.5806	36	2.9237	0.1347	0.0397	0.1103	0.1102	20.0
3.1001	0.6129	38	2.9027	0.1336	0.0396	0.11	0.1099	20.0
3.2354	0.6452	40	2.8834	0.1325	0.0394	0.1096	0.1095	20.0
3.1656	0.6774	42	2.8654	0.1336	0.0398	0.1102	0.1102	20.0
2.9644	0.7097	44	2.8487	0.1328	0.0399	0.1102	0.1102	20.0
3.0808	0.7419	46	2.8332	0.1324	0.0387	0.1095	0.1094	20.0
3.0343	0.7742	48	2.8182	0.1318	0.0386	0.1094	0.1093	20.0
3.1966	0.8065	50	2.8040	0.1316	0.0387	0.1092	0.1091	20.0
2.9742	0.8387	52	2.7902	0.1314	0.039	0.1094	0.1093	20.0
3.0503	0.8710	54	2.7770	0.1312	0.0385	0.109	0.1089	20.0
2.9351	0.9032	56	2.7645	0.1296	0.0376	0.1077	0.1077	20.0
2.9957	0.9355	58	2.7530	0.1286	0.036	0.1066	0.1064	20.0
3.1846	0.9677	60	2.7419	0.1292	0.0364	0.1068	0.1065	20.0
2.9204	1.0	62	2.7313	0.1299	0.0378	0.1071	0.1069	20.0
2.929	1.0323	64	2.7212	0.1306	0.0382	0.1076	0.1075	20.0
2.8434	1.0645	66	2.7119	0.1304	0.0379	0.1075	0.1074	20.0
2.8771	1.0968	68	2.7028	0.1317	0.0393	0.1088	0.1086	20.0
3.1287	1.1290	70	2.6942	0.134	0.0417	0.1107	0.1106	20.0
3.0005	1.1613	72	2.6857	0.134	0.0416	0.1104	0.1104	20.0
3.0564	1.1935	74	2.6775	0.1355	0.0428	0.1113	0.1112	20.0
2.971	1.2258	76	2.6694	0.1353	0.0427	0.1111	0.111	20.0
2.7086	1.2581	78	2.6620	0.1345	0.042	0.1104	0.1104	20.0
3.0022	1.2903	80	2.6546	0.1356	0.0423	0.111	0.1109	20.0
3.0974	1.3226	82	2.6473	0.1355	0.0427	0.111	0.1109	20.0
2.951	1.3548	84	2.6403	0.1352	0.0423	0.1107	0.1106	20.0
2.839	1.3871	86	2.6336	0.1363	0.0432	0.1117	0.1115	20.0
2.9645	1.4194	88	2.6274	0.1352	0.0424	0.1111	0.1109	20.0
2.9434	1.4516	90	2.6214	0.1358	0.0429	0.1115	0.1113	20.0
3.0342	1.4839	92	2.6157	0.1372	0.0437	0.1126	0.1123	20.0
2.7461	1.5161	94	2.6103	0.1369	0.0434	0.1124	0.1121	20.0
2.9312	1.5484	96	2.6051	0.1378	0.0433	0.1128	0.1127	20.0
2.625	1.5806	98	2.6002	0.1381	0.0434	0.1133	0.1131	20.0
3.0115	1.6129	100	2.5953	0.1379	0.0438	0.1133	0.1131	20.0
2.7255	1.6452	102	2.5908	0.1375	0.043	0.1129	0.1126	20.0
2.9205	1.6774	104	2.5863	0.1376	0.0435	0.1129	0.1128	20.0
2.8637	1.7097	106	2.5821	0.1377	0.0431	0.1128	0.1126	20.0
2.963	1.7419	108	2.5777	0.1385	0.0435	0.1131	0.1131	20.0
2.8061	1.7742	110	2.5736	0.139	0.0438	0.1133	0.1131	20.0
2.6968	1.8065	112	2.5699	0.1398	0.0445	0.1141	0.114	20.0
2.8953	1.8387	114	2.5663	0.1401	0.0445	0.1146	0.1144	20.0
2.8168	1.8710	116	2.5630	0.141	0.0452	0.115	0.1148	20.0
2.7862	1.9032	118	2.5599	0.1414	0.0443	0.1148	0.1146	20.0
2.8674	1.9355	120	2.5567	0.1414	0.0437	0.1148	0.1146	20.0
3.0229	1.9677	122	2.5537	0.1413	0.0436	0.1144	0.1144	20.0
2.9148	2.0	124	2.5506	0.1423	0.0446	0.1154	0.1153	20.0
2.7515	2.0323	126	2.5475	0.1433	0.0456	0.1164	0.1163	20.0
2.558	2.0645	128	2.5447	0.1441	0.0459	0.1167	0.1167	20.0
2.9798	2.0968	130	2.5421	0.1443	0.0467	0.1167	0.1165	20.0
2.7083	2.1290	132	2.5396	0.1458	0.0486	0.1181	0.118	20.0
2.7555	2.1613	134	2.5373	0.1456	0.0487	0.1181	0.118	20.0
2.6938	2.1935	136	2.5351	0.1465	0.0491	0.1184	0.1185	20.0
2.9151	2.2258	138	2.5328	0.1461	0.0491	0.1183	0.1184	20.0
2.8597	2.2581	140	2.5307	0.1459	0.049	0.1183	0.1183	20.0
2.9173	2.2903	142	2.5284	0.1455	0.0484	0.1177	0.1177	20.0
2.7364	2.3226	144	2.5262	0.1468	0.049	0.1184	0.1182	20.0
2.8891	2.3548	146	2.5238	0.1479	0.0502	0.1196	0.1195	20.0
2.8471	2.3871	148	2.5215	0.1487	0.0502	0.1201	0.1199	20.0
2.8429	2.4194	150	2.5194	0.1488	0.0504	0.1203	0.1201	20.0
2.8018	2.4516	152	2.5173	0.1488	0.0504	0.1206	0.1204	20.0
2.9817	2.4839	154	2.5156	0.1491	0.0506	0.1207	0.1204	20.0
2.7871	2.5161	156	2.5139	0.1492	0.0508	0.1209	0.1208	20.0
2.902	2.5484	158	2.5123	0.1493	0.0508	0.1209	0.1208	20.0
2.7929	2.5806	160	2.5107	0.1488	0.0506	0.1204	0.1202	20.0
2.5541	2.6129	162	2.5093	0.1492	0.0509	0.1211	0.1207	20.0
2.6345	2.6452	164	2.5078	0.1492	0.0509	0.1211	0.1207	20.0
2.809	2.6774	166	2.5065	0.1496	0.0511	0.1213	0.121	20.0
2.5678	2.7097	168	2.5052	0.1492	0.0509	0.121	0.1207	20.0
2.8645	2.7419	170	2.5039	0.1491	0.0507	0.1208	0.1206	20.0
2.5699	2.7742	172	2.5027	0.1495	0.0509	0.1213	0.1211	20.0
2.6941	2.8065	174	2.5016	0.1494	0.0509	0.1212	0.121	20.0
2.993	2.8387	176	2.5005	0.1498	0.0511	0.1214	0.1212	20.0
2.7357	2.8710	178	2.4995	0.1492	0.0503	0.1205	0.1202	20.0
2.9	2.9032	180	2.4986	0.1505	0.0513	0.1214	0.1213	20.0
2.6407	2.9355	182	2.4977	0.1504	0.0514	0.1216	0.1215	20.0
2.821	2.9677	184	2.4968	0.1503	0.0513	0.1215	0.1214	20.0
2.8862	3.0	186	2.4959	0.1502	0.0515	0.1215	0.1214	20.0
2.8043	3.0323	188	2.4951	0.1503	0.0515	0.1217	0.1216	20.0
2.9009	3.0645	190	2.4941	0.1503	0.052	0.1222	0.122	20.0
2.66	3.0968	192	2.4932	0.1504	0.0524	0.1223	0.1222	20.0
2.651	3.1290	194	2.4923	0.1508	0.0529	0.1228	0.1227	20.0
2.7322	3.1613	196	2.4915	0.1515	0.0532	0.1233	0.1231	20.0
2.9619	3.1935	198	2.4906	0.1509	0.0527	0.1229	0.1228	20.0
2.6795	3.2258	200	2.4899	0.1516	0.0529	0.1232	0.1229	20.0
2.8061	3.2581	202	2.4892	0.1511	0.0525	0.1229	0.1228	20.0
3.1394	3.2903	204	2.4885	0.1515	0.0528	0.1234	0.1232	20.0
2.5489	3.3226	206	2.4879	0.1515	0.0528	0.1234	0.1232	20.0
2.7789	3.3548	208	2.4873	0.1515	0.0528	0.1234	0.1232	20.0
2.6247	3.3871	210	2.4868	0.1519	0.0528	0.1236	0.1234	20.0
2.7948	3.4194	212	2.4862	0.1519	0.0528	0.1236	0.1234	20.0
2.6146	3.4516	214	2.4858	0.1519	0.0528	0.1236	0.1234	20.0
2.6332	3.4839	216	2.4853	0.1517	0.0525	0.1233	0.1232	20.0
2.6587	3.5161	218	2.4849	0.1518	0.0526	0.1235	0.1233	20.0
2.5784	3.5484	220	2.4845	0.1518	0.0526	0.1235	0.1233	20.0
2.9157	3.5806	222	2.4842	0.1518	0.0526	0.1235	0.1233	20.0
2.925	3.6129	224	2.4838	0.1518	0.0526	0.1235	0.1233	20.0
2.9074	3.6452	226	2.4834	0.1519	0.0526	0.1234	0.1233	20.0
2.6904	3.6774	228	2.4831	0.1517	0.0526	0.1234	0.1232	20.0
2.7654	3.7097	230	2.4828	0.1516	0.0524	0.1232	0.1232	20.0
2.5795	3.7419	232	2.4826	0.1517	0.0526	0.1234	0.1232	20.0
2.746	3.7742	234	2.4823	0.1518	0.0524	0.1233	0.1233	20.0
2.8455	3.8065	236	2.4822	0.1517	0.0524	0.1233	0.1232	20.0
2.7801	3.8387	238	2.4820	0.1518	0.0524	0.1233	0.1233	20.0
2.7036	3.8710	240	2.4818	0.1518	0.0524	0.1233	0.1233	20.0
2.7192	3.9032	242	2.4817	0.1518	0.0524	0.1233	0.1233	20.0
2.6488	3.9355	244	2.4817	0.1518	0.0524	0.1233	0.1233	20.0
2.7053	3.9677	246	2.4816	0.1518	0.0524	0.1233	0.1233	20.0
2.7314	4.0	248	2.4816	0.1518	0.0524	0.1233	0.1233	20.0

Framework versions

• Transformers 4.55.0
• Pytorch 2.6.0+cu124
• Datasets 4.0.0
• Tokenizers 0.21.4