Update README.md

README.md

@@ -23,4 +23,38 @@ model = LLaMAForCausalLM.from_pretrained(
 
 
 model = PeftModel.from_pretrained(model, "Aspik101/polish-alpaca7B-lora")
+
+
+def get_answer(question, model_version =  model):
+    PROMPT =f'''Poniżej znajduje się instrukcja opisująca zadanie. Napisz odpowiedź, która odpowiednio rozwiąrze zadanie.
+
+    ### Instruction:
+    {question}
+
+    ### Response:
+    '''
+
+    inputs = tokenizer(
+        PROMPT,
+        return_tensors="pt",
+    )
+    input_ids = inputs["input_ids"].cuda()
+
+    generation_config = GenerationConfig(
+        temperature=0.2,
+        top_p=0.95,
+        repetition_penalty=1.15,
+    )
+    print("Generating...")
+    generation_output = model_version.generate(
+        input_ids=input_ids,
+        generation_config=generation_config,
+        return_dict_in_generate=True,
+        output_scores=True,
+        max_new_tokens=128,
+    )
+
+    sentences = " ".join([tokenizer.decode(s) for s in generation_output.sequences])
+    print(sentences.split("Response:\n")[1])
+
 ```