Update app.py

app.py

@@ -2,42 +2,57 @@ import gradio as gr
 from text_analysis import generate_lesson_from_transcript as generate_lesson_from_transcript_logic
 from utils import process_large_text
 from pdfminer.high_level import extract_text  # PDF'den metne dönüştürme
+import nltk
+from nltk.tokenize import word_tokenize
 
 def clean_text_for_education(text):
-    """Metni temizler (örneğin, gereksiz boşlukları kaldırır)"""
+    """Metni temizler (gereksiz boşluklar vb.)"""
     return text.strip()
 
 def pdf_to_text(pdf_path):
-    """PDF'i metne dönüştürür ve temizler"""
-    extracted_text = extract_text(pdf_path.name)  # .name kullanmak yerine, dosya yolunu alacak şekilde düzelt
+    """PDF'den metne dönüştürür ve temizler"""
+    extracted_text = extract_text(pdf_path.name)  # .name kullanmak yerine dosya yolunu alacak şekilde düzelt
     cleaned_text = clean_text_for_education(extracted_text)  # Metni temizle
     return cleaned_text
 
+def chunk_text(text, max_chunk_size=512):
+    """Metni belirli bir uzunluğa (token sayısı) göre parçalara ayırır"""
+    tokens = word_tokenize(text)
+    chunks = [tokens[i:i + max_chunk_size] for i in range(0, len(tokens), max_chunk_size)]
+    return [' '.join(chunk) for chunk in chunks]
+
 def generate_lesson(doc_text=None, pdf_file=None):
     try:
         if pdf_file:
             # PDF dosyasından metni al
             doc_text = pdf_to_text(pdf_file)
         
-        # Metni daha uygun hale getir
-        processed_text = process_large_text(doc_text)
+        # Metni parçalara ayır
+        text_chunks = chunk_text(doc_text)
+        
+        # Eğitim materyali oluşturmak için her bir parça üzerinde işlem yap
+        all_generated_text = []
+        for chunk in text_chunks:
+            processed_text = process_large_text(chunk)
+            generated_text = generate_lesson_from_transcript_logic(processed_text)
+            all_generated_text.append(generated_text)
         
-        # Eğitim materyali oluştur
-        generated_text = generate_lesson_from_transcript_logic(processed_text)
+        # Tüm parçaları birleştir
+        final_generated_text = '\n'.join(all_generated_text)
         
         # Eğitim materyali olarak bir dosya oluştur
         lesson_file_name = "lesson_output.txt"
         with open(lesson_file_name, "w") as file:
-            file.write(generated_text)
+            file.write(final_generated_text)
         
         # Metin ve dosya çıktısı döndürüyoruz
-        return generated_text, lesson_file_name
+        return final_generated_text, lesson_file_name
     
     except Exception as e:
         return f"Error occurred: {str(e)}", None
 
 gr.Interface(
     fn=generate_lesson,
-    inputs=[gr.Textbox(label="Input Text"), gr.File(label="Upload PDF")],
+    inputs=[gr.Textbox(label="Input Text", max_length=1024), gr.File(label="Upload PDF")],
     outputs=[gr.Textbox(), gr.File()],
 ).launch()