Update tokenizer.json

tokenizer.json

@@ -449,7 +449,34 @@
   "pre_tokenizer": {
     "type": "Whitespace"
   },
-  "post_processor": null,
+  "post_processor": {
+    "type": "TemplateProcessing",
+    "single": [
+      { "SpecialToken": { "id": "BOS", "type_id": 0 } },
+      { "Sequence": { "id": "A", "type_id": 0 } },
+      { "SpecialToken": { "id": "EOS", "type_id": 0 } }
+    ],
+    "pair": [
+      { "SpecialToken": { "id": "BOS", "type_id": 0 } },
+      { "Sequence": { "id": "A", "type_id": 0 } },
+      { "SpecialToken": { "id": "EOS", "type_id": 0 } },
+      { "SpecialToken": { "id": "BOS", "type_id": 1 } },
+      { "Sequence": { "id": "B", "type_id": 1 } },
+      { "SpecialToken": { "id": "EOS", "type_id": 1 } }
+    ],
+    "special_tokens": {
+      "BOS": {
+        "id": "BOS",
+        "ids": [255],
+        "tokens": ["<s>"]
+      },
+      "EOS": {
+        "id": "EOS",
+        "ids": [0],
+        "tokens": ["</s>"]
+      }
+    }
+  },
   "decoder": null,
   "model": {
     "type": "BPE",