tokens.txt

<ctc>
!
"
'
(
)
*
,
-
.
0
1
2
3
4
5
6
7
8
9
:
;
?
A
C
L
P
R
[
]
a
d
e
g
h
i
l
n
o
p
r
s
t
v
y
|
©
ְ
ֲ
ִ
ַ
ָ
ּ
־
ֿ
ׂ
׃
א
ב
ג
ד
ה
ו
ז
ח
ט
י
ך
כ
ל
ם
מ
ן
נ
ס
ע
ף
פ
ץ
צ
ק
ר
ש
ת
װ
ױ
ײ
׳
״
–
—
―
’
“
”
„

<unk>
<space>