my_awesome_billsum_model

This model is a fine-tuned version of google-t5/t5-small on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 2.5630
• Rouge1: 0.1479
• Rouge2: 0.0559
• Rougel: 0.1225
• Rougelsum: 0.1226
• Gen Len: 20.0

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 16
• eval_batch_size: 16
• seed: 42
• optimizer: Use OptimizerNames.ADAMW_TORCH with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• num_epochs: 4
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Rouge1	Rouge2	Rougel	Rougelsum	Gen Len
4.6653	0.0323	2	4.6865	0.136	0.046	0.1139	0.114	20.0
4.8038	0.0645	4	4.5686	0.1369	0.0467	0.1151	0.1153	20.0
4.645	0.0968	6	4.4580	0.1373	0.0472	0.1154	0.1157	20.0
4.5535	0.1290	8	4.2692	0.1369	0.0464	0.1149	0.1152	20.0
4.3375	0.1613	10	4.1319	0.1365	0.0462	0.1147	0.115	20.0
4.2808	0.1935	12	4.0038	0.1371	0.0465	0.1151	0.1156	20.0
4.0622	0.2258	14	3.7935	0.1366	0.0455	0.1139	0.1141	20.0
4.0015	0.2581	16	3.7289	0.1351	0.0442	0.1131	0.1134	20.0
3.9531	0.2903	18	3.6171	0.1346	0.0444	0.1128	0.113	20.0
3.7078	0.3226	20	3.5221	0.1346	0.0452	0.1127	0.1131	20.0
3.4682	0.3548	22	3.4317	0.1354	0.046	0.1134	0.1138	20.0
3.5639	0.3871	24	3.3681	0.1336	0.0448	0.1119	0.1122	20.0
3.3494	0.4194	26	3.3154	0.1329	0.0446	0.1116	0.1117	20.0
3.4546	0.4516	28	3.2559	0.1322	0.0439	0.1113	0.1115	20.0
3.4974	0.4839	30	3.2153	0.1325	0.0432	0.1112	0.1113	20.0
3.3889	0.5161	32	3.1820	0.1316	0.0427	0.1106	0.1108	20.0
3.2586	0.5484	34	3.1497	0.1292	0.04	0.1088	0.109	20.0
3.4276	0.5806	36	3.1214	0.1278	0.0385	0.1074	0.1076	20.0
3.2288	0.6129	38	3.0955	0.1279	0.0386	0.1078	0.1079	20.0
3.3166	0.6452	40	3.0680	0.1278	0.0384	0.1074	0.1076	20.0
3.1781	0.6774	42	3.0407	0.1257	0.0368	0.1059	0.1059	20.0
3.32	0.7097	44	3.0163	0.1253	0.0368	0.1054	0.1055	20.0
3.3774	0.7419	46	2.9932	0.1239	0.0351	0.1045	0.1046	20.0
3.3573	0.7742	48	2.9711	0.1239	0.0359	0.1044	0.1045	20.0
3.2265	0.8065	50	2.9503	0.1246	0.0365	0.1044	0.1045	20.0
3.3216	0.8387	52	2.9309	0.1232	0.035	0.1024	0.1025	20.0
3.0747	0.8710	54	2.9131	0.1223	0.0338	0.1016	0.1017	20.0
3.1682	0.9032	56	2.8965	0.1232	0.0345	0.1025	0.1024	20.0
3.0619	0.9355	58	2.8813	0.1225	0.0344	0.1012	0.1014	20.0
3.2296	0.9677	60	2.8667	0.1225	0.0341	0.1011	0.1012	20.0
2.9738	1.0	62	2.8531	0.1223	0.0338	0.101	0.1011	20.0
3.2096	1.0323	64	2.8402	0.1233	0.0345	0.1018	0.1018	20.0
2.9924	1.0645	66	2.8278	0.1239	0.0346	0.102	0.1021	20.0
2.9052	1.0968	68	2.8162	0.124	0.0349	0.1018	0.1021	20.0
2.8963	1.1290	70	2.8054	0.124	0.035	0.1015	0.1017	20.0
2.8722	1.1613	72	2.7951	0.1236	0.0342	0.1011	0.1014	20.0
3.2034	1.1935	74	2.7851	0.125	0.0349	0.102	0.1022	20.0
3.0482	1.2258	76	2.7757	0.1253	0.0354	0.1024	0.1027	20.0
2.9417	1.2581	78	2.7669	0.1243	0.0359	0.1019	0.1022	20.0
3.0274	1.2903	80	2.7584	0.1248	0.0362	0.1018	0.102	20.0
2.7734	1.3226	82	2.7502	0.1255	0.0373	0.1022	0.1026	20.0
3.0931	1.3548	84	2.7427	0.1255	0.0379	0.1026	0.1028	20.0
2.8735	1.3871	86	2.7354	0.1265	0.0381	0.103	0.1031	20.0
2.7845	1.4194	88	2.7283	0.1273	0.0389	0.1038	0.1039	20.0
2.7044	1.4516	90	2.7216	0.1285	0.04	0.1049	0.1051	20.0
2.9313	1.4839	92	2.7151	0.1295	0.0406	0.1055	0.1056	20.0
3.0885	1.5161	94	2.7089	0.1287	0.0402	0.1052	0.1054	20.0
2.7325	1.5484	96	2.7029	0.1291	0.0418	0.1065	0.1069	20.0
2.9694	1.5806	98	2.6972	0.1309	0.0441	0.1086	0.1088	20.0
2.9358	1.6129	100	2.6919	0.1309	0.0451	0.1089	0.1091	20.0
2.9554	1.6452	102	2.6866	0.1338	0.0465	0.1106	0.1107	20.0
3.0108	1.6774	104	2.6814	0.1342	0.0474	0.1111	0.1111	20.0
2.8195	1.7097	106	2.6765	0.1343	0.0476	0.1114	0.1114	20.0
3.0586	1.7419	108	2.6718	0.1341	0.0476	0.1111	0.1112	20.0
2.7542	1.7742	110	2.6673	0.1348	0.0482	0.1121	0.1123	20.0
2.9871	1.8065	112	2.6629	0.135	0.0484	0.1123	0.1125	20.0
2.9804	1.8387	114	2.6587	0.1349	0.0485	0.112	0.1122	20.0
2.8083	1.8710	116	2.6544	0.1355	0.0493	0.1127	0.1127	20.0
2.7294	1.9032	118	2.6506	0.1364	0.0495	0.1132	0.1132	20.0
2.7353	1.9355	120	2.6470	0.1362	0.0493	0.1132	0.1133	20.0
2.713	1.9677	122	2.6438	0.1362	0.0493	0.1132	0.1132	20.0
2.9296	2.0	124	2.6407	0.1362	0.0494	0.113	0.1131	20.0
2.8623	2.0323	126	2.6375	0.1367	0.0497	0.1133	0.1134	20.0
2.8283	2.0645	128	2.6343	0.1367	0.0497	0.1132	0.1133	20.0
2.7655	2.0968	130	2.6314	0.136	0.0492	0.1127	0.1127	20.0
2.8561	2.1290	132	2.6284	0.1376	0.0502	0.114	0.1141	20.0
2.9402	2.1613	134	2.6257	0.1373	0.049	0.1135	0.1137	20.0
2.9333	2.1935	136	2.6228	0.1382	0.0496	0.1142	0.1145	20.0
2.6842	2.2258	138	2.6202	0.1381	0.049	0.1138	0.114	20.0
2.9155	2.2581	140	2.6176	0.1387	0.0492	0.1145	0.1147	20.0
2.7378	2.2903	142	2.6150	0.1398	0.0505	0.1156	0.1159	20.0
2.6111	2.3226	144	2.6124	0.1403	0.0509	0.1163	0.1164	20.0
2.7228	2.3548	146	2.6100	0.1405	0.0513	0.1158	0.116	20.0
2.46	2.3871	148	2.6078	0.1411	0.0521	0.1165	0.1167	20.0
2.8479	2.4194	150	2.6057	0.1426	0.0535	0.1177	0.1178	20.0
2.7785	2.4516	152	2.6039	0.1431	0.0537	0.1181	0.1182	20.0
2.7636	2.4839	154	2.6021	0.1431	0.0537	0.1182	0.1183	20.0
2.7254	2.5161	156	2.6003	0.1431	0.0537	0.1182	0.1183	20.0
2.8632	2.5484	158	2.5984	0.1423	0.0529	0.1177	0.1179	20.0
2.8824	2.5806	160	2.5968	0.1427	0.0531	0.1181	0.1181	20.0
2.7054	2.6129	162	2.5951	0.1435	0.0535	0.1187	0.1189	20.0
2.6887	2.6452	164	2.5935	0.1435	0.0535	0.1187	0.1189	20.0
2.8547	2.6774	166	2.5919	0.1438	0.0536	0.1191	0.1193	20.0
2.7141	2.7097	168	2.5903	0.1437	0.0535	0.1191	0.1192	20.0
2.771	2.7419	170	2.5889	0.1438	0.0536	0.1191	0.1193	20.0
2.6659	2.7742	172	2.5876	0.1439	0.0537	0.1192	0.1194	20.0
2.634	2.8065	174	2.5865	0.1442	0.0542	0.1195	0.1196	20.0
2.8907	2.8387	176	2.5854	0.1442	0.0542	0.1195	0.1196	20.0
2.8976	2.8710	178	2.5843	0.1441	0.054	0.1194	0.1196	20.0
2.732	2.9032	180	2.5832	0.144	0.0539	0.1193	0.1195	20.0
2.9105	2.9355	182	2.5821	0.1439	0.0537	0.1191	0.1192	20.0
2.8514	2.9677	184	2.5809	0.144	0.0533	0.119	0.1193	20.0
2.7889	3.0	186	2.5798	0.144	0.0534	0.1192	0.1193	20.0
2.763	3.0323	188	2.5786	0.1447	0.0536	0.1193	0.1195	20.0
2.6447	3.0645	190	2.5775	0.1446	0.0536	0.1193	0.1194	20.0
2.6799	3.0968	192	2.5765	0.1453	0.0541	0.1199	0.1201	20.0
2.6317	3.1290	194	2.5756	0.1456	0.0544	0.1202	0.1204	20.0
2.9182	3.1613	196	2.5746	0.1455	0.0543	0.1202	0.1203	20.0
2.6459	3.1935	198	2.5737	0.1455	0.0542	0.1201	0.1202	20.0
2.8829	3.2258	200	2.5728	0.1464	0.0552	0.1209	0.1211	20.0
2.7685	3.2581	202	2.5720	0.1456	0.0544	0.1201	0.1203	20.0
2.972	3.2903	204	2.5712	0.1457	0.0543	0.12	0.1202	20.0
2.5773	3.3226	206	2.5704	0.1464	0.0549	0.1209	0.121	20.0
2.6806	3.3548	208	2.5697	0.1463	0.0548	0.1207	0.1208	20.0
2.7455	3.3871	210	2.5691	0.1458	0.0544	0.1204	0.1205	20.0
2.8858	3.4194	212	2.5685	0.1471	0.0555	0.1217	0.1218	20.0
2.7484	3.4516	214	2.5680	0.1466	0.055	0.1214	0.1214	20.0
2.7796	3.4839	216	2.5675	0.1466	0.055	0.1214	0.1214	20.0
2.8062	3.5161	218	2.5669	0.1465	0.0542	0.1212	0.1212	20.0
2.6895	3.5484	220	2.5664	0.1463	0.054	0.1211	0.1212	20.0
2.5249	3.5806	222	2.5660	0.1466	0.0541	0.1213	0.1213	20.0
2.8061	3.6129	224	2.5656	0.1467	0.0541	0.1213	0.1215	20.0
2.7521	3.6452	226	2.5652	0.1469	0.0545	0.1215	0.1217	20.0
2.7758	3.6774	228	2.5649	0.1477	0.0552	0.1221	0.1222	20.0
2.9155	3.7097	230	2.5645	0.1472	0.0545	0.1217	0.1219	20.0
2.69	3.7419	232	2.5642	0.1472	0.0548	0.1218	0.1219	20.0
2.7567	3.7742	234	2.5639	0.1474	0.0549	0.122	0.122	20.0
2.6043	3.8065	236	2.5637	0.1471	0.0545	0.1214	0.1216	20.0
2.535	3.8387	238	2.5635	0.1473	0.0548	0.1217	0.1218	20.0
2.754	3.8710	240	2.5634	0.1473	0.0549	0.1217	0.1218	20.0
2.8233	3.9032	242	2.5633	0.1479	0.0558	0.1225	0.1226	20.0
2.7395	3.9355	244	2.5631	0.1473	0.0549	0.1217	0.1218	20.0
2.7948	3.9677	246	2.5631	0.1473	0.0549	0.1217	0.1218	20.0
2.6007	4.0	248	2.5630	0.1479	0.0559	0.1225	0.1226	20.0

Framework versions

• Transformers 4.55.0
• Pytorch 2.6.0+cu124
• Datasets 4.0.0
• Tokenizers 0.21.4