Update app.py

app.py

@@ -28,6 +28,10 @@ model = AutoModelForCausalLM.from_pretrained(
 )
 model.config.sliding_window = 4096
 model.eval()
+special_tokens = {'additional_special_tokens': ['<|im_start|>', '<|im_end|>']}
+tokenizer.add_special_tokens(special_tokens)
+model.resize_token_embeddings(len(tokenizer))
+im_end_token_id = tokenizer.convert_tokens_to_ids('<|im_end|>')
 
 system_message = """Beantworte die Fragen nur anhand des zur Verfügung gestellten Kontexts. Nachdem du die Frage beantwortet hast füge bitte den Index der Referenz aus dem Array 'context' in folgendem Format hinzu: [[relevant_index]]
 Hier kommt ein Beispiel einer Anfrage und wie du darauf antworten sollst: