Upload vie_latn_10mb tokenizer.

added_tokens.json

@@ -0,0 +1 @@
+{"[XXXXX191]": 38711, "[XXXXX269]": 38789, "[XXXXX322]": 38842, "[XXXXX204]": 38724, "[XXXXX375]": 38895, "[XXXXX120]": 38640, "[XXXXX113]": 38633, "[XXXXX205]": 38725, "[XXXXX189]": 38709, "[XXXXX358]": 38878, "[XXXXX351]": 38871, "[XXXXX102]": 38622, "[XXXXX147]": 38667, "[XXXXX356]": 38876, "[XXXXX248]": 38768, "[XXXXX177]": 38697, "[XXXXX340]": 38860, "[XXXXX104]": 38624, "[XXXXX47]": 38567, "[XXXXX75]": 38595, "[XXXXX111]": 38631, "[XXXXX271]": 38791, "[XXXXX4]": 38524, "[XXXXX170]": 38690, "[XXXXX299]": 38819, "[XXXXX29]": 38549, "[XXXXX106]": 38626, "[XXXXX39]": 38559, "[XXXXX155]": 38675, "[XXXXX377]": 38897, "[XXXXX230]": 38750, "[XXXXX360]": 38880, "[XXXXX173]": 38693, "[XXXXX301]": 38821, "[XXXXX80]": 38600, "[XXXXX18]": 38538, "[XXXXX307]": 38827, "[XXXXX20]": 38540, "[XXXXX14]": 38534, "[XXXXX347]": 38867, "[XXXXX333]": 38853, "[XXXXX238]": 38758, "[XXXXX212]": 38732, "[XXXXX239]": 38759, "[XXXXX297]": 38817, "[XXXXX86]": 38606, "[XXXXX87]": 38607, "[XXXXX350]": 38870, "[XXXXX385]": 38905, "[XXXXX240]": 38760, "[XXXXX156]": 38676, "[XXXXX64]": 38584, "[XXXXX193]": 38713, "[XXXXX281]": 38801, "[XXXXX272]": 38792, "[XXXXX23]": 38543, "[XXXXX195]": 38715, "[XXXXX175]": 38695, "[XXXXX259]": 38779, "[XXXXX148]": 38668, "[XXXXX364]": 38884, "[XXXXX24]": 38544, "[XXXXX319]": 38839, "[XXXXX10]": 38530, "[XXXXX206]": 38726, "[XXXXX114]": 38634, "[XXXXX153]": 38673, "[XXXXX48]": 38568, "[XXXXX217]": 38737, "[XXXXX69]": 38589, "[XXXXX335]": 38855, "[XXXXX161]": 38681, "[XXXXX273]": 38793, "[XXXXX331]": 38851, "[XXXXX11]": 38531, "[XXXXX245]": 38765, "[XXXXX389]": 38909, "[XXXXX353]": 38873, "[XXXXX383]": 38903, "[XXXXX130]": 38650, "[XXXXX54]": 38574, "[XXXXX78]": 38598, "[XXXXX225]": 38745, "[XXXXX343]": 38863, "[XXXXX167]": 38687, "[XXXXX187]": 38707, "[XXXXX300]": 38820, "[XXXXX128]": 38648, "[XXXXX181]": 38701, "[XXXXX371]": 38891, "[XXXXX174]": 38694, "[XXXXX214]": 38734, "[XXXXX391]": 38911, "[XXXXX316]": 38836, "[XXXXX305]": 38825, "[XXXXX326]": 38846, "[XXXXX142]": 38662, "[XXXXX260]": 38780, "[XXXXX138]": 38658, "[XXXXX330]": 38850, "[XXXXX306]": 38826, "[XXXXX243]": 38763, "[XXXXX16]": 38536, "[XXXXX288]": 38808, "[XXXXX188]": 38708, "[XXXXX124]": 38644, "[XXXXX249]": 38769, "[CLS]": 38516, "[XXXXX266]": 38786, "[XXXXX344]": 38864, "[XXXXX132]": 38652, "[XXXXX182]": 38702, "[XXXXX139]": 38659, "[XXXXX83]": 38603, "[XXXXX254]": 38774, "[XXXXX287]": 38807, "[XXXXX71]": 38591, "[XXXXX52]": 38572, "[XXXXX26]": 38546, "[XXXXX309]": 38829, "[XXXXX363]": 38883, "[XXXXX370]": 38890, "[XXXXX200]": 38720, "[XXXXX242]": 38762, "[XXXXX386]": 38906, "[XXXXX232]": 38752, "[XXXXX61]": 38581, "[XXXXX197]": 38717, "[XXXXX103]": 38623, "[XXXXX74]": 38594, "[XXXXX278]": 38798, "[XXXXX25]": 38545, "[XXXXX354]": 38874, "[XXXXX332]": 38852, "[XXXXX339]": 38859, "[XXXXX70]": 38590, "[XXXXX226]": 38746, "[XXXXX250]": 38770, "[XXXXX222]": 38742, "[XXXXX282]": 38802, "[XXXXX150]": 38670, "[XXXXX251]": 38771, "[XXXXX122]": 38642, "[XXXXX121]": 38641, "[XXXXX15]": 38535, "[XXXXX180]": 38700, "[XXXXX292]": 38812, "[XXXXX50]": 38570, "[XXXXX237]": 38757, "[XXXXX252]": 38772, "[XXXXX85]": 38605, "[XXXXX160]": 38680, "[XXXXX372]": 38892, "[XXXXX293]": 38813, "[XXXXX109]": 38629, "[XXXXX163]": 38683, "[XXXXX99]": 38619, "[XXXXX355]": 38875, "[XXXXX123]": 38643, "[XXXXX219]": 38739, "[XXXXX141]": 38661, "[XXXXX12]": 38532, "[XXXXX158]": 38678, "[XXXXX302]": 38822, "[XXXXX176]": 38696, "[XXXXX231]": 38751, "[XXXXX82]": 38602, "[XXXXX310]": 38830, "[XXXXX303]": 38823, "[XXXXX166]": 38686, "[XXXXX321]": 38841, "[XXXXX34]": 38554, "[XXXXX346]": 38866, "<pad>": 38518, "[XXXXX376]": 38896, "[XXXXX157]": 38677, "[XXXXX203]": 38723, "[XXXXX38]": 38558, "[XXXXX365]": 38885, "[XXXXX280]": 38800, "[XXXXX45]": 38565, "[XXXXX118]": 38638, "[XXXXX379]": 38899, "[XXXXX198]": 38718, "[XXXXX369]": 38889, "[XXXXX233]": 38753, "[XXXXX57]": 38577, "[XXXXX137]": 38657, "[XXXXX190]": 38710, "[XXXXX284]": 38804, "[XXXXX348]": 38868, "[XXXXX199]": 38719, "[XXXXX388]": 38908, "[XXXXX290]": 38810, "[XXXXX285]": 38805, "[XXXXX144]": 38664, "[XXXXX81]": 38601, "[XXXXX279]": 38799, "[XXXXX151]": 38671, "[XXXXX0]": 38520, "[XXXXX201]": 38721, "[XXXXX77]": 38597, "[XXXXX63]": 38583, "[XXXXX296]": 38816, "[XXXXX327]": 38847, "[XXXXX60]": 38580, "[XXXXX168]": 38688, "[XXXXX53]": 38573, "[XXXXX7]": 38527, "[XXXXX94]": 38614, "[XXXXX196]": 38716, "[XXXXX325]": 38845, "[XXXXX140]": 38660, "[XXXXX220]": 38740, "[XXXXX135]": 38655, "[XXXXX228]": 38748, "[XXXXX56]": 38576, "[XXXXX311]": 38831, "[XXXXX314]": 38834, "[XXXXX134]": 38654, "[XXXXX334]": 38854, "[XXXXX262]": 38782, "[XXXXX246]": 38766, "[XXXXX336]": 38856, "[XXXXX373]": 38893, "[XXXXX131]": 38651, "[XXXXX253]": 38773, "[XXXXX162]": 38682, "[XXXXX127]": 38647, "[XXXXX88]": 38608, "[XXXXX67]": 38587, "[XXXXX247]": 38767, "[XXXXX145]": 38665, "[XXXXX329]": 38849, "[XXXXX146]": 38666, "[XXXXX258]": 38778, "[XXXXX224]": 38744, "[XXXXX42]": 38562, "[XXXXX152]": 38672, "[XXXXX276]": 38796, "[XXXXX256]": 38776, "[XXXXX229]": 38749, "[XXXXX136]": 38656, "[XXXXX89]": 38609, "[XXXXX211]": 38731, "[XXXXX6]": 38526, "[XXXXX298]": 38818, "[XXXXX192]": 38712, "[XXXXX96]": 38616, "[XXXXX165]": 38685, "[XXXXX236]": 38756, "[XXXXX98]": 38618, "[SEP]": 38517, "[XXXXX92]": 38612, "[XXXXX277]": 38797, "[XXXXX68]": 38588, "[XXXXX368]": 38888, "[XXXXX308]": 38828, "[XXXXX108]": 38628, "[XXXXX9]": 38529, "[XXXXX257]": 38777, "[XXXXX93]": 38613, "[XXXXX37]": 38557, "[XXXXX133]": 38653, "[XXXXX366]": 38886, "[XXXXX179]": 38699, "[XXXXX72]": 38592, "[XXXXX263]": 38783, "[XXXXX218]": 38738, "[XXXXX49]": 38569, "[XXXXX268]": 38788, "[XXXXX46]": 38566, "[XXXXX33]": 38553, "[XXXXX267]": 38787, "[XXXXX208]": 38728, "[XXXXX210]": 38730, "[XXXXX169]": 38689, "[XXXXX244]": 38764, "[XXXXX107]": 38627, "[XXXXX274]": 38794, "[XXXXX105]": 38625, "[XXXXX90]": 38610, "[XXXXX184]": 38704, "[XXXXX265]": 38785, "[XXXXX241]": 38761, "[XXXXX95]": 38615, "[XXXXX36]": 38556, "[XXXXX66]": 38586, "[XXXXX235]": 38755, "[XXXXX41]": 38561, "[XXXXX324]": 38844, "[XXXXX270]": 38790, "[XXXXX186]": 38706, "[XXXXX149]": 38669, "[XXXXX227]": 38747, "[XXXXX97]": 38617, "[XXXXX255]": 38775, "[XXXXX143]": 38663, "[XXXXX112]": 38632, "[XXXXX65]": 38585, "[XXXXX44]": 38564, "[XXXXX213]": 38733, "[XXXXX338]": 38858, "[XXXXX62]": 38582, "[XXXXX264]": 38784, "[XXXXX183]": 38703, "[XXXXX2]": 38522, "[XXXXX221]": 38741, "[XXXXX125]": 38645, "[XXXXX154]": 38674, "[XXXXX28]": 38548, "[XXXXX129]": 38649, "[XXXXX51]": 38571, "[XXXXX349]": 38869, "[XXXXX384]": 38904, "[XXXXX194]": 38714, "[XXXXX19]": 38539, "[XXXXX320]": 38840, "[XXXXX58]": 38578, "[XXXXX381]": 38901, "[XXXXX295]": 38815, "[XXXXX352]": 38872, "[XXXXX261]": 38781, "[XXXXX289]": 38809, "[XXXXX126]": 38646, "[XXXXX207]": 38727, "[XXXXX362]": 38882, "[XXXXX223]": 38743, "[XXXXX367]": 38887, "[XXXXX294]": 38814, "[XXXXX283]": 38803, "[XXXXX315]": 38835, "[XXXXX312]": 38832, "[XXXXX30]": 38550, "[XXXXX318]": 38838, "[XXXXX374]": 38894, "[XXXXX1]": 38521, "[XXXXX3]": 38523, "[XXXXX323]": 38843, "[XXXXX215]": 38735, "[XXXXX209]": 38729, "[XXXXX22]": 38542, "[XXXXX357]": 38877, "[XXXXX43]": 38563, "[XXXXX185]": 38705, "[XXXXX84]": 38604, "[XXXXX390]": 38910, "[XXXXX55]": 38575, "[XXXXX91]": 38611, "[XXXXX73]": 38593, "[XXXXX202]": 38722, "[XXXXX27]": 38547, "[XXXXX110]": 38630, "[XXXXX164]": 38684, "[XXXXX159]": 38679, "[XXXXX380]": 38900, "[XXXXX304]": 38824, "[XXXXX35]": 38555, "[XXXXX337]": 38857, "[XXXXX345]": 38865, "[MASK]": 38519, "[XXXXX317]": 38837, "[XXXXX216]": 38736, "[XXXXX172]": 38692, "[XXXXX5]": 38525, "[XXXXX101]": 38621, "[XXXXX13]": 38533, "[XXXXX286]": 38806, "[XXXXX234]": 38754, "[XXXXX31]": 38551, "[XXXXX117]": 38637, "[XXXXX378]": 38898, "[XXXXX341]": 38861, "[XXXXX79]": 38599, "[XXXXX100]": 38620, "[XXXXX291]": 38811, "[XXXXX17]": 38537, "[XXXXX115]": 38635, "[XXXXX342]": 38862, "[XXXXX59]": 38579, "[XXXXX76]": 38596, "[XXXXX32]": 38552, "[XXXXX171]": 38691, "[XXXXX313]": 38833, "[XXXXX361]": 38881, "[XXXXX21]": 38541, "[XXXXX382]": 38902, "[XXXXX116]": 38636, "[XXXXX40]": 38560, "[XXXXX178]": 38698, "[XXXXX359]": 38879, "[XXXXX275]": 38795, "[XXXXX119]": 38639, "[XXXXX328]": 38848, "[XXXXX8]": 38528, "[XXXXX387]": 38907}

special_tokens_map.json

@@ -0,0 +1 @@
+{"bos_token": "[CLS]", "eos_token": "[SEP]", "unk_token": "<unk>", "sep_token": "[SEP]", "pad_token": "<pad>", "cls_token": "[CLS]", "mask_token": {"content": "[MASK]", "single_word": false, "lstrip": true, "rstrip": false, "normalized": false}, "additional_special_tokens": ["[XXXXX0]", "[XXXXX1]", "[XXXXX2]", "[XXXXX3]", "[XXXXX4]", "[XXXXX5]", "[XXXXX6]", "[XXXXX7]", "[XXXXX8]", "[XXXXX9]", "[XXXXX10]", "[XXXXX11]", "[XXXXX12]", "[XXXXX13]", "[XXXXX14]", "[XXXXX15]", "[XXXXX16]", "[XXXXX17]", "[XXXXX18]", "[XXXXX19]", "[XXXXX20]", "[XXXXX21]", "[XXXXX22]", "[XXXXX23]", "[XXXXX24]", "[XXXXX25]", "[XXXXX26]", "[XXXXX27]", "[XXXXX28]", "[XXXXX29]", "[XXXXX30]", "[XXXXX31]", "[XXXXX32]", "[XXXXX33]", "[XXXXX34]", "[XXXXX35]", "[XXXXX36]", "[XXXXX37]", "[XXXXX38]", "[XXXXX39]", "[XXXXX40]", "[XXXXX41]", "[XXXXX42]", "[XXXXX43]", "[XXXXX44]", "[XXXXX45]", "[XXXXX46]", "[XXXXX47]", "[XXXXX48]", "[XXXXX49]", "[XXXXX50]", "[XXXXX51]", "[XXXXX52]", "[XXXXX53]", "[XXXXX54]", "[XXXXX55]", "[XXXXX56]", "[XXXXX57]", "[XXXXX58]", "[XXXXX59]", "[XXXXX60]", "[XXXXX61]", "[XXXXX62]", "[XXXXX63]", "[XXXXX64]", "[XXXXX65]", "[XXXXX66]", "[XXXXX67]", "[XXXXX68]", "[XXXXX69]", "[XXXXX70]", "[XXXXX71]", "[XXXXX72]", "[XXXXX73]", "[XXXXX74]", "[XXXXX75]", "[XXXXX76]", "[XXXXX77]", "[XXXXX78]", "[XXXXX79]", "[XXXXX80]", "[XXXXX81]", "[XXXXX82]", "[XXXXX83]", "[XXXXX84]", "[XXXXX85]", "[XXXXX86]", "[XXXXX87]", "[XXXXX88]", "[XXXXX89]", "[XXXXX90]", "[XXXXX91]", "[XXXXX92]", "[XXXXX93]", "[XXXXX94]", "[XXXXX95]", "[XXXXX96]", "[XXXXX97]", "[XXXXX98]", "[XXXXX99]", "[XXXXX100]", "[XXXXX101]", "[XXXXX102]", "[XXXXX103]", "[XXXXX104]", "[XXXXX105]", "[XXXXX106]", "[XXXXX107]", "[XXXXX108]", "[XXXXX109]", "[XXXXX110]", "[XXXXX111]", "[XXXXX112]", "[XXXXX113]", "[XXXXX114]", "[XXXXX115]", "[XXXXX116]", "[XXXXX117]", "[XXXXX118]", "[XXXXX119]", "[XXXXX120]", "[XXXXX121]", "[XXXXX122]", "[XXXXX123]", "[XXXXX124]", "[XXXXX125]", "[XXXXX126]", "[XXXXX127]", "[XXXXX128]", "[XXXXX129]", "[XXXXX130]", "[XXXXX131]", "[XXXXX132]", "[XXXXX133]", "[XXXXX134]", "[XXXXX135]", "[XXXXX136]", "[XXXXX137]", "[XXXXX138]", "[XXXXX139]", "[XXXXX140]", "[XXXXX141]", "[XXXXX142]", "[XXXXX143]", "[XXXXX144]", "[XXXXX145]", "[XXXXX146]", "[XXXXX147]", "[XXXXX148]", "[XXXXX149]", "[XXXXX150]", "[XXXXX151]", "[XXXXX152]", "[XXXXX153]", "[XXXXX154]", "[XXXXX155]", "[XXXXX156]", "[XXXXX157]", "[XXXXX158]", "[XXXXX159]", "[XXXXX160]", "[XXXXX161]", "[XXXXX162]", "[XXXXX163]", "[XXXXX164]", "[XXXXX165]", "[XXXXX166]", "[XXXXX167]", "[XXXXX168]", "[XXXXX169]", "[XXXXX170]", "[XXXXX171]", "[XXXXX172]", "[XXXXX173]", "[XXXXX174]", "[XXXXX175]", "[XXXXX176]", "[XXXXX177]", "[XXXXX178]", "[XXXXX179]", "[XXXXX180]", "[XXXXX181]", "[XXXXX182]", "[XXXXX183]", "[XXXXX184]", "[XXXXX185]", "[XXXXX186]", "[XXXXX187]", "[XXXXX188]", "[XXXXX189]", "[XXXXX190]", "[XXXXX191]", "[XXXXX192]", "[XXXXX193]", "[XXXXX194]", "[XXXXX195]", "[XXXXX196]", "[XXXXX197]", "[XXXXX198]", "[XXXXX199]", "[XXXXX200]", "[XXXXX201]", "[XXXXX202]", "[XXXXX203]", "[XXXXX204]", "[XXXXX205]", "[XXXXX206]", "[XXXXX207]", "[XXXXX208]", "[XXXXX209]", "[XXXXX210]", "[XXXXX211]", "[XXXXX212]", "[XXXXX213]", "[XXXXX214]", "[XXXXX215]", "[XXXXX216]", "[XXXXX217]", "[XXXXX218]", "[XXXXX219]", "[XXXXX220]", "[XXXXX221]", "[XXXXX222]", "[XXXXX223]", "[XXXXX224]", "[XXXXX225]", "[XXXXX226]", "[XXXXX227]", "[XXXXX228]", "[XXXXX229]", "[XXXXX230]", "[XXXXX231]", "[XXXXX232]", "[XXXXX233]", "[XXXXX234]", "[XXXXX235]", "[XXXXX236]", "[XXXXX237]", "[XXXXX238]", "[XXXXX239]", "[XXXXX240]", "[XXXXX241]", "[XXXXX242]", "[XXXXX243]", "[XXXXX244]", "[XXXXX245]", "[XXXXX246]", "[XXXXX247]", "[XXXXX248]", "[XXXXX249]", "[XXXXX250]", "[XXXXX251]", "[XXXXX252]", "[XXXXX253]", "[XXXXX254]", "[XXXXX255]", "[XXXXX256]", "[XXXXX257]", "[XXXXX258]", "[XXXXX259]", "[XXXXX260]", "[XXXXX261]", "[XXXXX262]", "[XXXXX263]", "[XXXXX264]", "[XXXXX265]", "[XXXXX266]", "[XXXXX267]", "[XXXXX268]", "[XXXXX269]", "[XXXXX270]", "[XXXXX271]", "[XXXXX272]", "[XXXXX273]", "[XXXXX274]", "[XXXXX275]", "[XXXXX276]", "[XXXXX277]", "[XXXXX278]", "[XXXXX279]", "[XXXXX280]", "[XXXXX281]", "[XXXXX282]", "[XXXXX283]", "[XXXXX284]", "[XXXXX285]", "[XXXXX286]", "[XXXXX287]", "[XXXXX288]", "[XXXXX289]", "[XXXXX290]", "[XXXXX291]", "[XXXXX292]", "[XXXXX293]", "[XXXXX294]", "[XXXXX295]", "[XXXXX296]", "[XXXXX297]", "[XXXXX298]", "[XXXXX299]", "[XXXXX300]", "[XXXXX301]", "[XXXXX302]", "[XXXXX303]", "[XXXXX304]", "[XXXXX305]", "[XXXXX306]", "[XXXXX307]", "[XXXXX308]", "[XXXXX309]", "[XXXXX310]", "[XXXXX311]", "[XXXXX312]", "[XXXXX313]", "[XXXXX314]", "[XXXXX315]", "[XXXXX316]", "[XXXXX317]", "[XXXXX318]", "[XXXXX319]", "[XXXXX320]", "[XXXXX321]", "[XXXXX322]", "[XXXXX323]", "[XXXXX324]", "[XXXXX325]", "[XXXXX326]", "[XXXXX327]", "[XXXXX328]", "[XXXXX329]", "[XXXXX330]", "[XXXXX331]", "[XXXXX332]", "[XXXXX333]", "[XXXXX334]", "[XXXXX335]", "[XXXXX336]", "[XXXXX337]", "[XXXXX338]", "[XXXXX339]", "[XXXXX340]", "[XXXXX341]", "[XXXXX342]", "[XXXXX343]", "[XXXXX344]", "[XXXXX345]", "[XXXXX346]", "[XXXXX347]", "[XXXXX348]", "[XXXXX349]", "[XXXXX350]", "[XXXXX351]", "[XXXXX352]", "[XXXXX353]", "[XXXXX354]", "[XXXXX355]", "[XXXXX356]", "[XXXXX357]", "[XXXXX358]", "[XXXXX359]", "[XXXXX360]", "[XXXXX361]", "[XXXXX362]", "[XXXXX363]", "[XXXXX364]", "[XXXXX365]", "[XXXXX366]", "[XXXXX367]", "[XXXXX368]", "[XXXXX369]", "[XXXXX370]", "[XXXXX371]", "[XXXXX372]", "[XXXXX373]", "[XXXXX374]", "[XXXXX375]", "[XXXXX376]", "[XXXXX377]", "[XXXXX378]", "[XXXXX379]", "[XXXXX380]", "[XXXXX381]", "[XXXXX382]", "[XXXXX383]", "[XXXXX384]", "[XXXXX385]", "[XXXXX386]", "[XXXXX387]", "[XXXXX388]", "[XXXXX389]", "[XXXXX390]", "[XXXXX391]"]}

spiece.model

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:113260b8dccc92b7a675f3e21e9ebf82cba9de5000371da79b32373ae1f71db7
+size 816684

tokenizer_config.json

@@ -0,0 +1 @@
+{"do_lower_case": false, "remove_space": true, "keep_accents": true, "bos_token": "[CLS]", "eos_token": "[SEP]", "unk_token": "<unk>", "sep_token": "[SEP]", "pad_token": "<pad>", "cls_token": "[CLS]", "mask_token": {"content": "[MASK]", "single_word": false, "lstrip": true, "rstrip": false, "normalized": false, "__type": "AddedToken"}, "sp_model_kwargs": {}, "name_or_path": "models/10mb/vie_latn_10mb", "model_input_names": ["input_ids", "attention_mask"], "special_tokens_map_file": "models/10mb/vie_latn_10mb/special_tokens_map.json", "tokenizer_class": "AlbertTokenizer"}