Wav2Vec2-xls-r-300m-36-tokens-with-lm-es

This model is a fine-tuned version of facebook/wav2vec2-xls-r-300m on the common_voice dataset. It achieves the following results on the evaluation set:

• Wer: 0.0868
• Cer: 0.0281

This model consists of a Wav2Vec2 model with an additional KenLM 5-gram language model for CTC decoding.
The model is trained removing all characters that are not lower-case unaccented letters between a-z or the Spanish accented vowels á, é, í, ó, ú or the dieresis on the vowel u - ü.

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0003
• train_batch_size: 16
• eval_batch_size: 8
• seed: 42
• gradient_accumulation_steps: 2
• total_train_batch_size: 32
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 500
• num_epochs: 30
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
3.6512	0.07	400	0.5734	0.4325
0.4404	0.14	800	0.3329	0.3021
0.3465	0.22	1200	0.3067	0.2871
0.3214	0.29	1600	0.2808	0.2694
0.319	0.36	2000	0.2755	0.2677
0.3015	0.43	2400	0.2667	0.2437
0.3102	0.51	2800	0.2679	0.2475
0.2955	0.58	3200	0.2591	0.2421
0.292	0.65	3600	0.2547	0.2404
0.2961	0.72	4000	0.2824	0.2716
0.2906	0.8	4400	0.2531	0.2321
0.2886	0.87	4800	0.2668	0.2573
0.2934	0.94	5200	0.2608	0.2454
0.2844	1.01	5600	0.2414	0.2233
0.2649	1.09	6000	0.2412	0.2198
0.2587	1.16	6400	0.2432	0.2211
0.2631	1.23	6800	0.2414	0.2225
0.2584	1.3	7200	0.2489	0.2290
0.2588	1.37	7600	0.2341	0.2156
0.2581	1.45	8000	0.2323	0.2155
0.2603	1.52	8400	0.2423	0.2231
0.2527	1.59	8800	0.2381	0.2192
0.2588	1.66	9200	0.2323	0.2176
0.2543	1.74	9600	0.2391	0.2151
0.2528	1.81	10000	0.2295	0.2091
0.2535	1.88	10400	0.2317	0.2099
0.2501	1.95	10800	0.2225	0.2105
0.2441	2.03	11200	0.2356	0.2180
0.2275	2.1	11600	0.2341	0.2115
0.2281	2.17	12000	0.2269	0.2117
0.227	2.24	12400	0.2367	0.2125
0.2471	2.32	12800	0.2307	0.2090
0.229	2.39	13200	0.2231	0.2005
0.2325	2.46	13600	0.2243	0.2100
0.2314	2.53	14000	0.2252	0.2098
0.2309	2.6	14400	0.2269	0.2089
0.2267	2.68	14800	0.2155	0.1976
0.225	2.75	15200	0.2263	0.2067
0.2309	2.82	15600	0.2196	0.2041
0.225	2.89	16000	0.2212	0.2052
0.228	2.97	16400	0.2192	0.2028
0.2136	3.04	16800	0.2169	0.2042
0.2038	3.11	17200	0.2173	0.1998
0.2035	3.18	17600	0.2185	0.2002
0.207	3.26	18000	0.2358	0.2120
0.2102	3.33	18400	0.2213	0.2019
0.211	3.4	18800	0.2176	0.1980
0.2099	3.47	19200	0.2186	0.1960
0.2093	3.55	19600	0.2208	0.2016
0.2046	3.62	20000	0.2138	0.1960
0.2095	3.69	20400	0.2222	0.2023
0.2106	3.76	20800	0.2159	0.1964
0.2066	3.83	21200	0.2083	0.1931
0.2119	3.91	21600	0.2130	0.1957
0.2167	3.98	22000	0.2210	0.1987
0.1973	4.05	22400	0.2112	0.1930
0.1917	4.12	22800	0.2107	0.1891
0.1903	4.2	23200	0.2132	0.1911
0.1903	4.27	23600	0.2077	0.1883
0.1914	4.34	24000	0.2054	0.1901
0.1943	4.41	24400	0.2059	0.1885
0.1943	4.49	24800	0.2095	0.1899
0.1936	4.56	25200	0.2078	0.1879
0.1963	4.63	25600	0.2018	0.1884
0.1934	4.7	26000	0.2034	0.1872
0.2011	4.78	26400	0.2051	0.1896
0.1901	4.85	26800	0.2059	0.1858
0.1934	4.92	27200	0.2028	0.1832
0.191	4.99	27600	0.2046	0.1870
0.1775	5.07	28000	0.2081	0.1891
0.175	5.14	28400	0.2084	0.1904
0.19	5.21	28800	0.2086	0.1920
0.1798	5.28	29200	0.2079	0.1935
0.1765	5.35	29600	0.2145	0.1930
0.181	5.43	30000	0.2062	0.1918
0.1808	5.5	30400	0.2083	0.1875
0.1769	5.57	30800	0.2117	0.1895
0.1788	5.64	31200	0.2055	0.1857
0.181	5.72	31600	0.2057	0.1870
0.1781	5.79	32000	0.2053	0.1872
0.1852	5.86	32400	0.2077	0.1904
0.1832	5.93	32800	0.1979	0.1821
0.1758	6.01	33200	0.1957	0.1754
0.1611	6.08	33600	0.2028	0.1773
0.1606	6.15	34000	0.2018	0.1780
0.1702	6.22	34400	0.1977	0.1759
0.1649	6.3	34800	0.2073	0.1845
0.1641	6.37	35200	0.1947	0.1774
0.1703	6.44	35600	0.2009	0.1811
0.1716	6.51	36000	0.2091	0.1817
0.1732	6.58	36400	0.1942	0.1743
0.1642	6.66	36800	0.1930	0.1749
0.1685	6.73	37200	0.1962	0.1716
0.1647	6.8	37600	0.1977	0.1822
0.1647	6.87	38000	0.1917	0.1748
0.1667	6.95	38400	0.1948	0.1774
0.1647	7.02	38800	0.2018	0.1783
0.15	7.09	39200	0.2010	0.1796
0.1663	7.16	39600	0.1969	0.1731
0.1536	7.24	40000	0.1935	0.1726
0.1544	7.31	40400	0.2030	0.1799
0.1536	7.38	40800	0.1973	0.1772
0.1559	7.45	41200	0.1973	0.1763
0.1547	7.53	41600	0.2052	0.1782
0.1584	7.6	42000	0.1965	0.1737
0.1542	7.67	42400	0.1878	0.1725
0.1525	7.74	42800	0.1946	0.1750
0.1547	7.81	43200	0.1934	0.1691
0.1534	7.89	43600	0.1919	0.1711
0.1574	7.96	44000	0.1935	0.1745
0.1471	8.03	44400	0.1915	0.1689
0.1433	8.1	44800	0.1956	0.1719
0.1433	8.18	45200	0.1980	0.1720
0.1424	8.25	45600	0.1906	0.1681
0.1428	8.32	46000	0.1892	0.1649
0.1424	8.39	46400	0.1916	0.1698
0.1466	8.47	46800	0.1970	0.1739
0.1496	8.54	47200	0.1902	0.1662
0.1408	8.61	47600	0.1858	0.1649
0.1445	8.68	48000	0.1893	0.1648
0.1459	8.76	48400	0.1875	0.1686
0.1433	8.83	48800	0.1920	0.1673
0.1448	8.9	49200	0.1833	0.1631
0.1461	8.97	49600	0.1904	0.1693
0.1451	9.04	50000	0.1969	0.1661
0.1336	9.12	50400	0.1950	0.1674
0.1362	9.19	50800	0.1971	0.1685
0.1316	9.26	51200	0.1928	0.1648
0.132	9.33	51600	0.1908	0.1615
0.1301	9.41	52000	0.1842	0.1569
0.1322	9.48	52400	0.1892	0.1616
0.1391	9.55	52800	0.1956	0.1656
0.132	9.62	53200	0.1876	0.1598
0.1349	9.7	53600	0.1870	0.1624
0.1325	9.77	54000	0.1834	0.1586
0.1389	9.84	54400	0.1892	0.1647
0.1364	9.91	54800	0.1840	0.1597
0.1339	9.99	55200	0.1858	0.1626
0.1269	10.06	55600	0.1875	0.1619
0.1229	10.13	56000	0.1909	0.1619
0.1258	10.2	56400	0.1933	0.1631
0.1256	10.27	56800	0.1930	0.1640
0.1207	10.35	57200	0.1823	0.1585
0.1248	10.42	57600	0.1889	0.1596
0.1264	10.49	58000	0.1845	0.1584
0.1251	10.56	58400	0.1869	0.1588
0.1251	10.64	58800	0.1885	0.1613
0.1276	10.71	59200	0.1855	0.1575
0.1303	10.78	59600	0.1836	0.1597
0.1246	10.85	60000	0.1810	0.1573
0.1283	10.93	60400	0.1830	0.1581
0.1273	11.0	60800	0.1837	0.1619
0.1202	11.07	61200	0.1865	0.1588
0.119	11.14	61600	0.1889	0.1580
0.1179	11.22	62000	0.1884	0.1592
0.1187	11.29	62400	0.1824	0.1565
0.1198	11.36	62800	0.1848	0.1552
0.1154	11.43	63200	0.1866	0.1565
0.1211	11.51	63600	0.1862	0.1563
0.1177	11.58	64000	0.1816	0.1527
0.1156	11.65	64400	0.1834	0.1540
0.1144	11.72	64800	0.1837	0.1524
0.119	11.79	65200	0.1859	0.1538
0.1183	11.87	65600	0.1869	0.1558
0.122	11.94	66000	0.1853	0.1535
0.1197	12.01	66400	0.1871	0.1586
0.1096	12.08	66800	0.1838	0.1540
0.1074	12.16	67200	0.1915	0.1592
0.1084	12.23	67600	0.1845	0.1545
0.1097	12.3	68000	0.1904	0.1552
0.112	12.37	68400	0.1846	0.1578
0.1109	12.45	68800	0.1862	0.1549
0.1114	12.52	69200	0.1889	0.1552
0.1119	12.59	69600	0.1828	0.1530
0.1124	12.66	70000	0.1822	0.1540
0.1127	12.74	70400	0.1865	0.1589
0.1128	12.81	70800	0.1786	0.1498
0.1069	12.88	71200	0.1813	0.1522
0.1069	12.95	71600	0.1895	0.1558
0.1083	13.02	72000	0.1925	0.1557
0.1009	13.1	72400	0.1883	0.1522
0.1007	13.17	72800	0.1829	0.1480
0.1014	13.24	73200	0.1861	0.1510
0.0974	13.31	73600	0.1836	0.1486
0.1006	13.39	74000	0.1821	0.1462
0.0973	13.46	74400	0.1857	0.1484
0.1011	13.53	74800	0.1822	0.1471
0.1031	13.6	75200	0.1823	0.1489
0.1034	13.68	75600	0.1809	0.1452
0.0998	13.75	76000	0.1817	0.1490
0.1071	13.82	76400	0.1808	0.1501
0.1083	13.89	76800	0.1796	0.1475
0.1053	13.97	77200	0.1785	0.1470
0.0978	14.04	77600	0.1886	0.1495
0.094	14.11	78000	0.1854	0.1489
0.0915	14.18	78400	0.1854	0.1498
0.0947	14.25	78800	0.1888	0.1500
0.0939	14.33	79200	0.1885	0.1494
0.0973	14.4	79600	0.1877	0.1466
0.0946	14.47	80000	0.1904	0.1494
0.0931	14.54	80400	0.1815	0.1473
0.0958	14.62	80800	0.1905	0.1508
0.0982	14.69	81200	0.1881	0.1511
0.0963	14.76	81600	0.1823	0.1449
0.0943	14.83	82000	0.1782	0.1458
0.0981	14.91	82400	0.1795	0.1465
0.0995	14.98	82800	0.1811	0.1484
0.0909	15.05	83200	0.1822	0.1450
0.0872	15.12	83600	0.1890	0.1466
0.0878	15.2	84000	0.1859	0.1468
0.0884	15.27	84400	0.1825	0.1429
0.0871	15.34	84800	0.1816	0.1438
0.0883	15.41	85200	0.1817	0.1433
0.0844	15.48	85600	0.1821	0.1412
0.0843	15.56	86000	0.1863	0.1411
0.0805	15.63	86400	0.1863	0.1441
0.085	15.7	86800	0.1808	0.1440
0.0848	15.77	87200	0.1808	0.1421
0.0844	15.85	87600	0.1841	0.1406
0.082	15.92	88000	0.1850	0.1442
0.0854	15.99	88400	0.1773	0.1426
0.0835	16.06	88800	0.1888	0.1436
0.0789	16.14	89200	0.1922	0.1434
0.081	16.21	89600	0.1864	0.1448
0.0799	16.28	90000	0.1902	0.1428
0.0848	16.35	90400	0.1873	0.1422
0.084	16.43	90800	0.1835	0.1421
0.083	16.5	91200	0.1878	0.1390
0.0794	16.57	91600	0.1877	0.1398
0.0807	16.64	92000	0.1800	0.1385
0.0829	16.71	92400	0.1910	0.1434
0.0839	16.79	92800	0.1843	0.1381
0.0815	16.86	93200	0.1812	0.1365
0.0831	16.93	93600	0.1889	0.1383
0.0803	17.0	94000	0.1902	0.1403
0.0724	17.08	94400	0.1934	0.1380
0.0734	17.15	94800	0.1865	0.1394
0.0739	17.22	95200	0.1876	0.1395
0.0758	17.29	95600	0.1938	0.1411
0.0733	17.37	96000	0.1933	0.1410
0.077	17.44	96400	0.1848	0.1385
0.0754	17.51	96800	0.1876	0.1407
0.0746	17.58	97200	0.1863	0.1371
0.0732	17.66	97600	0.1927	0.1401
0.0746	17.73	98000	0.1874	0.1390
0.0755	17.8	98400	0.1853	0.1381
0.0724	17.87	98800	0.1849	0.1365
0.0716	17.94	99200	0.1848	0.1380
0.074	18.02	99600	0.1891	0.1362
0.0687	18.09	100000	0.1974	0.1357
0.0651	18.16	100400	0.1942	0.1353
0.0672	18.23	100800	0.1823	0.1363
0.0671	18.31	101200	0.1959	0.1357
0.0684	18.38	101600	0.1959	0.1374
0.0688	18.45	102000	0.1904	0.1353
0.0696	18.52	102400	0.1926	0.1364
0.0661	18.6	102800	0.1905	0.1351
0.0684	18.67	103200	0.1955	0.1343
0.0712	18.74	103600	0.1873	0.1353
0.0701	18.81	104000	0.1822	0.1354
0.0688	18.89	104400	0.1905	0.1373
0.0695	18.96	104800	0.1879	0.1335
0.0661	19.03	105200	0.2005	0.1351
0.0644	19.1	105600	0.1972	0.1351
0.0627	19.18	106000	0.1956	0.1340
0.0633	19.25	106400	0.1962	0.1340
0.0629	19.32	106800	0.1937	0.1342
0.0636	19.39	107200	0.1905	0.1355
0.0631	19.46	107600	0.1917	0.1326
0.0624	19.54	108000	0.1977	0.1355
0.0621	19.61	108400	0.1941	0.1345
0.0635	19.68	108800	0.1949	0.1336
0.063	19.75	109200	0.1919	0.1317
0.0636	19.83	109600	0.1928	0.1317
0.0612	19.9	110000	0.1923	0.1314
0.0636	19.97	110400	0.1923	0.1343
0.0581	20.04	110800	0.2036	0.1332
0.0573	20.12	111200	0.2007	0.1315
0.0566	20.19	111600	0.1974	0.1319
0.0589	20.26	112000	0.1958	0.1322
0.0577	20.33	112400	0.1946	0.1307
0.0587	20.41	112800	0.1957	0.1295
0.0588	20.48	113200	0.2013	0.1306
0.0594	20.55	113600	0.2010	0.1312
0.0602	20.62	114000	0.1993	0.1314
0.0583	20.69	114400	0.1931	0.1297
0.059	20.77	114800	0.1974	0.1305
0.0566	20.84	115200	0.1979	0.1294
0.0588	20.91	115600	0.1944	0.1292
0.0569	20.98	116000	0.1974	0.1309
0.0554	21.06	116400	0.2080	0.1307
0.0542	21.13	116800	0.2056	0.1301
0.0532	21.2	117200	0.2027	0.1309
0.0535	21.27	117600	0.1970	0.1287
0.0533	21.35	118000	0.2124	0.1310
0.0546	21.42	118400	0.2043	0.1300
0.0544	21.49	118800	0.2056	0.1281
0.0562	21.56	119200	0.1986	0.1273
0.0549	21.64	119600	0.2075	0.1283
0.0522	21.71	120000	0.2058	0.1278
0.052	21.78	120400	0.2057	0.1280
0.0563	21.85	120800	0.1966	0.1295
0.0546	21.92	121200	0.2002	0.1285
0.0539	22.0	121600	0.1996	0.1279
0.0504	22.07	122000	0.2077	0.1273
0.0602	22.14	122400	0.2055	0.1278
0.0503	22.21	122800	0.2037	0.1283
0.0496	22.29	123200	0.2109	0.1279
0.0523	22.36	123600	0.2068	0.1276
0.0508	22.43	124000	0.2051	0.1257
0.0505	22.5	124400	0.2056	0.1269
0.05	22.58	124800	0.1995	0.1268
0.0496	22.65	125200	0.2022	0.1290
0.0484	22.72	125600	0.2095	0.1291
0.0518	22.79	126000	0.2132	0.1271
0.0499	22.87	126400	0.2124	0.1263
0.0485	22.94	126800	0.2092	0.1252
0.0476	23.01	127200	0.2138	0.1256
0.0467	23.08	127600	0.2119	0.1256
0.048	23.15	128000	0.2138	0.1269
0.0461	23.23	128400	0.2036	0.1244
0.0467	23.3	128800	0.2163	0.1255
0.0475	23.37	129200	0.2180	0.1258
0.0468	23.44	129600	0.2129	0.1245
0.0456	23.52	130000	0.2122	0.1250
0.0458	23.59	130400	0.2157	0.1257
0.0453	23.66	130800	0.2088	0.1242
0.045	23.73	131200	0.2144	0.1247
0.0469	23.81	131600	0.2113	0.1246
0.0453	23.88	132000	0.2151	0.1234
0.0471	23.95	132400	0.2130	0.1229
0.0443	24.02	132800	0.2150	0.1225
0.0446	24.1	133200	0.2166	0.1235
0.0435	24.17	133600	0.2143	0.1222
0.0407	24.24	134000	0.2175	0.1218
0.0421	24.31	134400	0.2147	0.1227
0.0435	24.38	134800	0.2193	0.1233
0.0414	24.46	135200	0.2172	0.1225
0.0419	24.53	135600	0.2156	0.1225
0.0419	24.6	136000	0.2143	0.1235
0.0423	24.67	136400	0.2179	0.1226
0.0423	24.75	136800	0.2144	0.1221
0.0424	24.82	137200	0.2135	0.1210
0.0419	24.89	137600	0.2166	0.1218
0.0408	24.96	138000	0.2151	0.1211
0.0433	25.04	138400	0.2174	0.1214
0.0395	25.11	138800	0.2242	0.1210
0.0403	25.18	139200	0.2219	0.1215
0.0413	25.25	139600	0.2225	0.1207
0.0389	25.33	140000	0.2187	0.1202
0.0395	25.4	140400	0.2244	0.1204
0.0398	25.47	140800	0.2263	0.1199
0.0386	25.54	141200	0.2165	0.1187
0.0396	25.61	141600	0.2171	0.1187
0.0406	25.69	142000	0.2199	0.1190
0.0404	25.76	142400	0.2224	0.1190
0.0391	25.83	142800	0.2230	0.1185
0.04	25.9	143200	0.2208	0.1200
0.0396	25.98	143600	0.2179	0.1191
0.0353	26.05	144000	0.2285	0.1178
0.0368	26.12	144400	0.2273	0.1186
0.0393	26.19	144800	0.2247	0.1196
0.0368	26.27	145200	0.2314	0.1181
0.0373	26.34	145600	0.2215	0.1188
0.038	26.41	146000	0.2262	0.1180
0.0363	26.48	146400	0.2250	0.1172
0.0365	26.56	146800	0.2299	0.1174
0.0382	26.63	147200	0.2292	0.1165
0.0365	26.7	147600	0.2282	0.1165
0.0371	26.77	148000	0.2276	0.1172
0.0365	26.85	148400	0.2280	0.1173
0.0376	26.92	148800	0.2248	0.1164
0.0365	26.99	149200	0.2230	0.1158
0.0343	27.06	149600	0.2300	0.1157
0.0354	27.13	150000	0.2298	0.1166
0.0333	27.21	150400	0.2307	0.1158
0.0353	27.28	150800	0.2300	0.1157
0.036	27.35	151200	0.2335	0.1160
0.0343	27.42	151600	0.2324	0.1155
0.0361	27.5	152000	0.2300	0.1150
0.0352	27.57	152400	0.2279	0.1146
0.0353	27.64	152800	0.2307	0.1149
0.0342	27.71	153200	0.2315	0.1152
0.0345	27.79	153600	0.2290	0.1146
0.034	27.86	154000	0.2319	0.1141
0.0347	27.93	154400	0.2312	0.1144
0.0338	28.0	154800	0.2328	0.1146
0.0347	28.08	155200	0.2352	0.1151
0.033	28.15	155600	0.2337	0.1142
0.0336	28.22	156000	0.2345	0.1141
0.0337	28.29	156400	0.2315	0.1143
0.0314	28.36	156800	0.2353	0.1140
0.0333	28.44	157200	0.2338	0.1146
0.0317	28.51	157600	0.2345	0.1139
0.0326	28.58	158000	0.2336	0.1143
0.033	28.65	158400	0.2352	0.1137
0.0325	28.73	158800	0.2312	0.1130
0.0321	28.8	159200	0.2338	0.1133
0.0334	28.87	159600	0.2335	0.1130
0.0317	28.94	160000	0.2340	0.1126
0.0321	29.02	160400	0.2349	0.1126
0.032	29.09	160800	0.2369	0.1127
0.0312	29.16	161200	0.2363	0.1124
0.0303	29.23	161600	0.2363	0.1123
0.0322	29.31	162000	0.2354	0.1124
0.03	29.38	162400	0.2360	0.1122
0.0299	29.45	162800	0.2378	0.1124
0.0313	29.52	163200	0.2377	0.1120
0.0299	29.59	163600	0.2367	0.1124
0.0313	29.67	164000	0.2380	0.1120
0.031	29.74	164400	0.2369	0.1120
0.0327	29.81	164800	0.2358	0.1117
0.0316	29.88	165200	0.2358	0.1118
0.0307	29.96	165600	0.2362	0.1118

Framework versions

• Transformers 4.16.0.dev0
• Pytorch 1.10.1+cu102
• Datasets 1.17.1.dev0
• Tokenizers 0.11.0