Add vLLM serve

README.md

@@ -53,9 +53,12 @@ tokenizer = AutoTokenizer.from_pretrained("ilsp/Llama-Krikri-8B-Instruct")
 
 model.to(device)
 
+system_prompt = "Είσαι το Κρικρί, ένα εξαιρετικά ανεπτυγμένο μοντέλο Τεχνητής Νοημοσύνης για τα ελληνικα και εκπαιδεύτηκες από το ΙΕΛ του Ε.Κ. \"Αθηνά\"."
+user_prompt = "Σε τι διαφέρει ένα κρικρί από ένα λάμα;"
+
 messages = [
-    {"role": "system", "content": "-------"},
-    {"role": "user", "content": "Σε τι διαφέρει ένα κρικρί από ένα λάμα;"},
+    {"role": "system", "content": system_prompt},
+    {"role": "user", "content": user_prompt},
 ]
 prompt = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)
 input_prompt = tokenizer(prompt, return_tensors='pt').to(device)
@@ -64,6 +67,39 @@ outputs = model.generate(input_prompt['input_ids'], max_new_tokens=256, do_sampl
 print(tokenizer.batch_decode(outputs)[0])
 ```
 
+# How to serve with OpenAI compatible server via vLLM
+
+```bash
+vllm serve ilsp/Llama-Krikri-8B-Instruct \
+  --enforce-eager \
+  --dtype 'bfloat16' \
+  --api-key token-abc123
+```
+
+Then, the model can be used through Python using:
+```python
+from openai import OpenAI
+
+api_key = "token-abc123"
+base_url = "http://localhost:8000/v1"
+
+client = OpenAI(
+    api_key=api_key,
+    base_url=base_url,
+)
+
+system_prompt = "Είσαι ένα ανεπτυγμένο μεταφραστικό σύστημα που απαντάει απευθείας με λίστες Python."
+user_prompt = "Δώσε μου την παρακάτω λίστα με μεταφρασμένο κάθε string της στα ελληνικά: ['Ethics of duty', 'Postmodern ethics', 'Consequentialist ethics', 'Utilitarian ethics', 'Deontological ethics', 'Virtue ethics', 'Relativist ethics']"
+
+messages = [
+    {"role": "system", "content": system_prompt},
+    {"role": "user", "content": user_prompt},
+]
+
+response = client.chat.completions.create(model="ilsp/Llama-Krikri-8B-Instruct",
+                                          messages=messages)
+print(response.choices[0].message.content)
+```
 
 # Evaluation