billsum_summarize_model

This model is a fine-tuned version of google-t5/t5-small on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 2.4871
• Rouge1: 0.1521
• Rouge2: 0.0529
• Rougel: 0.1241
• Rougelsum: 0.1239
• Gen Len: 20.0

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 16
• eval_batch_size: 16
• seed: 42
• optimizer: Use OptimizerNames.ADAMW_TORCH with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• num_epochs: 4
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Rouge1	Rouge2	Rougel	Rougelsum	Gen Len
4.7238	0.0323	2	4.5056	0.1445	0.0494	0.1206	0.1207	20.0
4.7833	0.0645	4	4.3907	0.1452	0.0493	0.1213	0.1215	20.0
4.7564	0.0968	6	4.1875	0.1437	0.0478	0.1198	0.1198	20.0
4.6334	0.1290	8	4.0478	0.1445	0.048	0.1198	0.1199	20.0
4.4535	0.1613	10	3.9208	0.1452	0.048	0.1204	0.1204	20.0
4.0209	0.1935	12	3.7073	0.1459	0.0484	0.121	0.1209	20.0
3.7674	0.2258	14	3.5904	0.1437	0.0474	0.1198	0.1198	20.0
4.0694	0.2581	16	3.4991	0.1419	0.0456	0.1179	0.1179	20.0
3.695	0.2903	18	3.4001	0.1412	0.0447	0.1175	0.1174	20.0
3.5436	0.3226	20	3.3312	0.1416	0.0453	0.1177	0.1176	20.0
3.5757	0.3548	22	3.2724	0.1402	0.0445	0.1161	0.116	20.0
3.6838	0.3871	24	3.2079	0.1397	0.0434	0.1156	0.1155	20.0
3.7529	0.4194	26	3.1602	0.139	0.0424	0.1152	0.1152	20.0
3.4468	0.4516	28	3.1223	0.1383	0.0418	0.1149	0.1147	20.0
3.4188	0.4839	30	3.0881	0.1378	0.0418	0.1144	0.1142	20.0
3.2276	0.5161	32	3.0553	0.1372	0.0412	0.1138	0.1136	20.0
3.1193	0.5484	34	3.0277	0.1377	0.0421	0.1142	0.114	20.0
3.2673	0.5806	36	3.0018	0.1357	0.0405	0.1122	0.112	20.0
3.1799	0.6129	38	2.9748	0.1354	0.04	0.1115	0.1113	20.0
3.3082	0.6452	40	2.9513	0.1343	0.0402	0.1112	0.111	20.0
3.2299	0.6774	42	2.9296	0.1333	0.0393	0.1103	0.1102	20.0
3.0226	0.7097	44	2.9087	0.1328	0.0391	0.1101	0.11	20.0
3.1423	0.7419	46	2.8889	0.1329	0.0393	0.1102	0.1101	20.0
3.0891	0.7742	48	2.8701	0.1332	0.0398	0.1106	0.1105	20.0
3.2401	0.8065	50	2.8527	0.1328	0.0396	0.1103	0.1103	20.0
3.0209	0.8387	52	2.8360	0.1336	0.0405	0.1115	0.1114	20.0
3.0974	0.8710	54	2.8203	0.1331	0.0393	0.1108	0.1108	20.0
2.9769	0.9032	56	2.8057	0.132	0.0392	0.1101	0.1101	20.0
3.0385	0.9355	58	2.7920	0.131	0.0381	0.1091	0.109	20.0
3.2244	0.9677	60	2.7792	0.129	0.0368	0.1075	0.1075	20.0
2.9593	1.0	62	2.7729	0.1284	0.0363	0.1071	0.1071	20.0
2.9742	1.0323	64	2.7607	0.1295	0.0369	0.1077	0.1077	20.0
2.8829	1.0645	66	2.7494	0.1291	0.0366	0.107	0.1068	20.0
2.914	1.0968	68	2.7385	0.1297	0.0374	0.1079	0.1077	20.0
3.1647	1.1290	70	2.7280	0.1305	0.0381	0.1081	0.1081	20.0
3.0356	1.1613	72	2.7181	0.131	0.0391	0.1083	0.1082	20.0
3.0923	1.1935	74	2.7084	0.132	0.04	0.1092	0.1092	20.0
3.0	1.2258	76	2.6991	0.1333	0.0405	0.1101	0.1101	20.0
2.7403	1.2581	78	2.6904	0.1335	0.0402	0.1098	0.1098	20.0
3.0324	1.2903	80	2.6819	0.1334	0.041	0.11	0.11	20.0
3.1273	1.3226	82	2.6736	0.1329	0.041	0.1097	0.1096	20.0
2.9799	1.3548	84	2.6655	0.1329	0.0416	0.1097	0.1096	20.0
2.8665	1.3871	86	2.6578	0.1342	0.0418	0.1105	0.1104	20.0
2.9902	1.4194	88	2.6505	0.135	0.042	0.1109	0.1109	20.0
2.9665	1.4516	90	2.6436	0.135	0.0416	0.1111	0.111	20.0
3.056	1.4839	92	2.6369	0.1353	0.0422	0.1111	0.1111	20.0
2.7685	1.5161	94	2.6306	0.1358	0.0428	0.1116	0.1115	20.0
2.9515	1.5484	96	2.6247	0.1362	0.0426	0.1117	0.1116	20.0
2.6475	1.5806	98	2.6192	0.1363	0.0423	0.1117	0.1115	20.0
3.0313	1.6129	100	2.6138	0.1373	0.0429	0.1123	0.1122	20.0
2.7451	1.6452	102	2.6087	0.1377	0.0432	0.1129	0.1127	20.0
2.9397	1.6774	104	2.6039	0.1377	0.0434	0.1132	0.1131	20.0
2.8833	1.7097	106	2.5992	0.1382	0.0434	0.1135	0.1132	20.0
2.9797	1.7419	108	2.5943	0.1383	0.0429	0.1135	0.1133	20.0
2.8241	1.7742	110	2.5896	0.1383	0.0429	0.1136	0.1134	20.0
2.7139	1.8065	112	2.5853	0.1389	0.0424	0.1136	0.1134	20.0
2.9114	1.8387	114	2.5812	0.138	0.0421	0.1129	0.1127	20.0
2.8335	1.8710	116	2.5774	0.1382	0.0423	0.1128	0.1126	20.0
2.8012	1.9032	118	2.5740	0.1385	0.0439	0.1134	0.1132	20.0
2.8822	1.9355	120	2.5704	0.1385	0.044	0.1139	0.1138	20.0
3.0383	1.9677	122	2.5670	0.1397	0.045	0.1152	0.1152	20.0
2.9287	2.0	124	2.5636	0.1398	0.044	0.1147	0.1146	20.0
2.7666	2.0323	126	2.5601	0.1409	0.0443	0.1155	0.1154	20.0
2.5729	2.0645	128	2.5571	0.1414	0.0449	0.1157	0.1157	20.0
2.9942	2.0968	130	2.5543	0.1417	0.045	0.1159	0.1157	20.0
2.7203	2.1290	132	2.5516	0.1422	0.0455	0.1161	0.1161	20.0
2.7695	2.1613	134	2.5490	0.1434	0.0464	0.1169	0.1168	20.0
2.7066	2.1935	136	2.5465	0.1441	0.047	0.1173	0.1173	20.0
2.9297	2.2258	138	2.5440	0.1449	0.0479	0.118	0.118	20.0
2.872	2.2581	140	2.5415	0.145	0.048	0.1181	0.118	20.0
2.929	2.2903	142	2.5389	0.1457	0.0485	0.1186	0.1185	20.0
2.7474	2.3226	144	2.5363	0.1451	0.0481	0.1181	0.1179	20.0
2.9002	2.3548	146	2.5337	0.1445	0.048	0.1175	0.1173	20.0
2.8597	2.3871	148	2.5311	0.1449	0.0487	0.118	0.118	20.0
2.8553	2.4194	150	2.5287	0.1456	0.0492	0.1184	0.1183	20.0
2.8124	2.4516	152	2.5265	0.1459	0.049	0.1183	0.1182	20.0
2.9928	2.4839	154	2.5245	0.1466	0.0496	0.119	0.1189	20.0
2.7976	2.5161	156	2.5227	0.147	0.0499	0.1193	0.1192	20.0
2.9132	2.5484	158	2.5209	0.1473	0.0505	0.1198	0.1195	20.0
2.8024	2.5806	160	2.5191	0.1478	0.0503	0.1199	0.1198	20.0
2.5642	2.6129	162	2.5174	0.147	0.0498	0.1194	0.1192	20.0
2.6441	2.6452	164	2.5159	0.147	0.0492	0.1192	0.1191	20.0
2.817	2.6774	166	2.5144	0.147	0.0492	0.1194	0.1192	20.0
2.5755	2.7097	168	2.5130	0.148	0.05	0.1206	0.1205	20.0
2.8725	2.7419	170	2.5116	0.1486	0.0504	0.121	0.1209	20.0
2.5783	2.7742	172	2.5102	0.1481	0.05	0.1204	0.1202	20.0
2.7022	2.8065	174	2.5090	0.1481	0.0502	0.1204	0.1202	20.0
3.0013	2.8387	176	2.5078	0.1478	0.0502	0.12	0.1199	20.0
2.7448	2.8710	178	2.5066	0.1485	0.0509	0.1206	0.1203	20.0
2.907	2.9032	180	2.5055	0.1489	0.051	0.1208	0.1207	20.0
2.6482	2.9355	182	2.5044	0.149	0.0507	0.1209	0.1207	20.0
2.8286	2.9677	184	2.5034	0.1492	0.0506	0.1208	0.1206	20.0
2.8935	3.0	186	2.5024	0.1493	0.0506	0.1208	0.1205	20.0
2.8126	3.0323	188	2.5014	0.1497	0.0506	0.1209	0.1208	20.0
2.9074	3.0645	190	2.5003	0.1497	0.0506	0.1209	0.1208	20.0
2.6677	3.0968	192	2.4994	0.1506	0.0509	0.1216	0.1215	20.0
2.6578	3.1290	194	2.4984	0.1504	0.0506	0.1213	0.1211	20.0
2.74	3.1613	196	2.4975	0.1506	0.0509	0.1215	0.1213	20.0
2.9685	3.1935	198	2.4966	0.1503	0.051	0.1216	0.1214	20.0
2.6863	3.2258	200	2.4958	0.1503	0.051	0.1216	0.1214	20.0
2.8132	3.2581	202	2.4951	0.1507	0.0512	0.1221	0.1219	20.0
3.1448	3.2903	204	2.4945	0.1507	0.0512	0.1221	0.1219	20.0
2.5556	3.3226	206	2.4939	0.1505	0.0511	0.122	0.1217	20.0
2.7849	3.3548	208	2.4933	0.1506	0.0515	0.1222	0.122	20.0
2.6321	3.3871	210	2.4927	0.1507	0.0515	0.1224	0.1222	20.0
2.8026	3.4194	212	2.4922	0.1511	0.0517	0.1228	0.1226	20.0
2.6206	3.4516	214	2.4917	0.1511	0.0517	0.1228	0.1226	20.0
2.64	3.4839	216	2.4913	0.1516	0.0523	0.1233	0.1232	20.0
2.6653	3.5161	218	2.4908	0.1521	0.0531	0.1238	0.1236	20.0
2.5859	3.5484	220	2.4904	0.1521	0.0531	0.1238	0.1236	20.0
2.9226	3.5806	222	2.4900	0.1523	0.0532	0.1239	0.1237	20.0
2.932	3.6129	224	2.4896	0.1523	0.0532	0.1239	0.1237	20.0
2.9146	3.6452	226	2.4892	0.1525	0.0532	0.1243	0.124	20.0
2.697	3.6774	228	2.4889	0.1525	0.0532	0.1243	0.124	20.0
2.7723	3.7097	230	2.4886	0.1525	0.0532	0.1243	0.124	20.0
2.5864	3.7419	232	2.4883	0.1522	0.053	0.1241	0.1239	20.0
2.7527	3.7742	234	2.4880	0.1522	0.053	0.1241	0.1239	20.0
2.8521	3.8065	236	2.4878	0.1525	0.0532	0.1243	0.124	20.0
2.7859	3.8387	238	2.4876	0.1521	0.0529	0.1241	0.1239	20.0
2.7103	3.8710	240	2.4874	0.1525	0.053	0.1242	0.124	20.0
2.7256	3.9032	242	2.4873	0.1521	0.0529	0.1241	0.1239	20.0
2.6557	3.9355	244	2.4872	0.1525	0.053	0.1242	0.124	20.0
2.7129	3.9677	246	2.4871	0.1521	0.0529	0.1241	0.1239	20.0
2.7372	4.0	248	2.4871	0.1521	0.0529	0.1241	0.1239	20.0

Framework versions

• Transformers 4.55.0
• Pytorch 2.6.0+cu124
• Datasets 4.0.0
• Tokenizers 0.21.4