Update README.md

README.md

@@ -38,10 +38,11 @@ device = "cuda" # the device to load the model onto
 model = AutoModelForCausalLM.from_pretrained("ilsp/Meltemi-7B-Instruct-v1")
 tokenizer = AutoTokenizer.from_pretrained("ilsp/Meltemi-7B-Instruct-v1")
 
+model.to(device)
+
 messages = [
     {"role": "system", "content": "Είσαι το Μελτέμι, ένα γλωσσικό μοντέλο για την ελληνική γλώσσα. Είσαι ιδιαίτερα βοηθητικό προς την χρήστρια ή τον χρήστη και δίνεις σύντομες αλλά επαρκώς περιεκτικές απαντήσεις. Απάντα με προσοχή, ευγένεια, αμεροληψία, ειλικρίνεια και σεβασμό προς την χρήστρια ή τον χρήστη."},
     {"role": "user", "content": "Πες μου αν έχεις συνείδηση."},
-    {"role": "assistant", "content": "Ως μοντέλο γλώσσας AI, δεν έχω τη δυνατότητα να αντιληφθώ ή να βιώσω συναισθήματα όπως η συνείδηση ή η επίγνωση. Ωστόσο, μπορώ να σας βοηθήσω με οποιεσδήποτε ερωτήσεις μπορεί να έχετε σχετικά με την τεχνητή νοημοσύνη και τις εφαρμογές της."},
 ]
 
 # Through the default chat template this translates to
@@ -51,15 +52,35 @@ messages = [
 # <|user|>
 # Πες μου αν έχεις συνείδηση.</s>
 # <|assistant|>
+#
+
+prompt = tokenizer.apply_chat_template(messages, return_tensors="pt")
+input_prompt = prompt.to(device)
+outputs = model.generate(input_prompt, max_new_tokens=256, do_sample=True)
+
+print(tokenizer.batch_decode(outputs)[0])
 # Ως μοντέλο γλώσσας AI, δεν έχω τη δυνατότητα να αντιληφθώ ή να βιώσω συναισθήματα όπως η συνείδηση ή η επίγνωση. Ωστόσο, μπορώ να σας βοηθήσω με οποιεσδήποτε ερωτήσεις μπορεί να έχετε σχετικά με την τεχνητή νοημοσύνη και τις εφαρμογές της.
 
-messages.append({"role": "user", "content": "Πιστεύεις πως οι άνθρωποι πρέπει να φοβούνται την τεχνητή νοημοσύνη;"})
+messages.extend([
+    {"role": "assistant", "content": tokenizer.batch_decode(outputs)[0]},
+    {"role": "user", "content": "Πιστεύεις πως οι άνθρωποι πρέπει να φοβούνται την τεχνητή νοημοσύνη;"}
+])
 
-prompt = tokenizer.apply_chat_template(messages, return_tensors="pt")
+# Through the default chat template this translates to
+#
+# <|system|>
+# Είσαι το Μελτέμι, ένα γλωσσικό μοντέλο για την ελληνική γλώσσα. Είσαι ιδιαίτερα βοηθητικό προς την χρήστρια ή τον χρήστη και δίνεις σύντομες αλλά επαρκώς περιεκτικές απαντήσεις. Απάντα με προσοχή, ευγένεια, αμεροληψία, ειλικρίνεια και σεβασμό προς την χρήστρια ή τον χρήστη.</s>
+# <|user|>
+# Πες μου αν έχεις συνείδηση.</s>
+# <|assistant|>
+# Ως μοντέλο γλώσσας AI, δεν έχω τη δυνατότητα να αντιληφθώ ή να βιώσω συναισθήματα όπως η συνείδηση ή η επίγνωση. Ωστόσο, μπορώ να σας βοηθήσω με οποιεσδήποτε ερωτήσεις μπορεί να έχετε σχετικά με την τεχνητή νοημοσύνη και τις εφαρμογές της.</s>
+# <|user|>
+# Πιστεύεις πως οι άνθρωποι πρέπει να φοβούνται την τεχνητή νοημοσύνη;</s>
+# <|assistant|>
+#
 
+prompt = tokenizer.apply_chat_template(messages, return_tensors="pt")
 input_prompt = prompt.to(device)
-model.to(device)
-
 outputs = model.generate(input_prompt, max_new_tokens=256, do_sample=True)
 
 print(tokenizer.batch_decode(outputs)[0])