Update utils.py

utils.py

@@ -1,13 +1,16 @@
-from transformers import pipeline, AutoTokenizer, AutoModelForCausalLM
+from transformers import pipeline
+
+# Pipeline'ı global olarak oluşturuyoruz
+pipe = pipeline("text-generation", model="jondurbin/airoboros-gpt-3.5-turbo-100k-7b", device="cpu")
 
 def split_text_into_chunks(text, chunk_size=1000):
     """
     Metni belirli sayıda kelimelik parçalara böler.
     """
-    words = text.split()  # Metni kelimelere bölelim
+    words = text.split()
     chunks = []
     for i in range(0, len(words), chunk_size):
-        chunk = ' '.join(words[i:i+chunk_size])  # Belirli sayıda kelimelik parça oluştur
+        chunk = ' '.join(words[i:i+chunk_size])
         chunks.append(chunk)
     return chunks
 
@@ -15,27 +18,16 @@ def generate_lesson_from_chunks(chunks):
     """
     Modeli her parça için çalıştırıp sonucu döndüren fonksiyon.
     """
-    pipe = pipeline("text-generation", model="jondurbin/airoboros-gpt-3.5-turbo-100k-7b", device="cpu")
     generated_texts = []
     for chunk in chunks:
-        generated_text = pipe(chunk, max_length=500)[0]['generated_text']  # Her parça için metin üret
+        generated_text = pipe(chunk, max_length=500)[0]['generated_text']
         generated_texts.append(generated_text)
-    return ' '.join(generated_texts)  # Tüm parçaları birleştir
+    return ' '.join(generated_texts)
 
 def process_large_text(text):
     """
     Büyük metni işleyecek ve sonucu döndürecek fonksiyon.
     """
-    chunks = split_text_into_chunks(text, chunk_size=1000)  # Metni parçalara böl
-    generated_text = generate_lesson_from_chunks(chunks)  # Her parçayı işleyip birleştir
-    return generated_text
-
-def create_pipeline(model_name: str):
-    # Belirtilen model için bir text-generation pipeline'ı oluşturur.
-
-    # Tokenizer ve model oluşturuluyor
-    tokenizer = AutoTokenizer.from_pretrained(model_name, use_fast=True, legacy=False)
-    model = AutoModelForCausalLM.from_pretrained(model_name)
-
-    # Text generation pipeline'ı döndür
-    return pipeline("text-generation", model=model, tokenizer=tokenizer, device="cpu")
+    chunks = split_text_into_chunks(text, chunk_size=1000)
+    generated_text = generate_lesson_from_chunks(chunks)
+    return generated_text