Update README.md

README.md

@@ -27,16 +27,32 @@ We present Meltemi-7B-Instruct-v1 Large Language Model (LLM), an instruct fine-t
 
 
 # Instruction format
-The prompt should be surrounded by [INST] and [/INST] tokens:
+The prompt format is the same as the [Zephyr](https://huggingface.co/HuggingFaceH4/zephyr-7b-beta) format and can be
+utilized through the tokenizer's [chat template](https://huggingface.co/docs/transformers/main/chat_templating) functionality as follows:
 
 ```
-text = "[INST] Πες μου αν έχεις συνείδηση. [/INST]"
-"Ως μοντέλο γλώσσας AI, δεν έχω τη δυνατότητα να αντιληφθώ ή να βιώσω συναισθήματα όπως η συνείδηση ή η επίγνωση. Ωστόσο, μπορώ να σας βοηθήσω με οποιεσδήποτε ερωτήσεις μπορεί να έχετε σχετικά με την τεχνητή νοημοσύνη και τις εφαρμογές της."
-"[INST] Πιστεύεις πως οι άνθρωποι πρέπει να φοβούνται την τεχνητή νοημοσύνη; [/INST]"
-```
+from transformers import AutoModelForCausalLM, AutoTokenizer
+
+device = "cuda" # the device to load the model onto
+
+model = AutoModelForCausalLM.from_pretrained("ilsp/Meltemi-7B-Instruct-v1")
+tokenizer = AutoTokenizer.from_pretrained("ilsp/Meltemi-7B-Instruct-v1")
+
+messages = [
+    {"role": "user", "content": "Πες μου αν έχεις συνείδηση."},
+    {"role": "assistant", "content": "Ως μοντέλο γλώσσας AI, δεν έχω τη δυνατότητα να αντιληφθώ ή να βιώσω συναισθήματα όπως η συνείδηση ή η επίγνωση. Ωστόσο, μπορώ να σας βοηθήσω με οποιεσδήποτε ερωτήσεις μπορεί να έχετε σχετικά με την τεχνητή νοημοσύνη και τις εφαρμογές της."},
+    {"role": "user", "content": "Πιστεύεις πως οι άνθρωποι πρέπει να φοβούνται την τεχνητή νοημοσύνη;"}
+]
 
-The same can be achieved through the utilization of the default [chat template](https://huggingface.co/docs/transformers/main/chat_templating) which follows the [Zephyr](https://huggingface.co/HuggingFaceH4/zephyr-7b-beta) format.
+prompt = tokenizer.apply_chat_template(messages, return_tensors="pt")
 
+input_prompt = prompt.to(device)
+model.to(device)
+
+outputs = model.generate(input_prompt, max_new_tokens=256, do_sample=True)
+
+print(tokenizer.batch_decode(outputs)[0])
+```
 
 # Evaluation