Update app.py

app.py

@@ -261,63 +261,87 @@ def apply_vocabulary_correction(text):
         text = text.replace(original, corrected)
     return text
 
+import kss
+
+def _combine_parts(parts: List[Tuple[int, str]]) -> str:
+    """
+    parts: [(paragraph_index, sentence), ...]
+    같은 문단은 ' ', 다른 문단은 '\n'으로 결합 (TS의 combineTexts 규칙)
+    """
+    if not parts:
+        return ""
+    result = parts[0][1]
+    last_idx = parts[0][0]
+    for p_idx, sent in parts[1:]:
+        if p_idx == last_idx:
+            result += " " + sent
+        else:
+            result += "\n" + sent
+            last_idx = p_idx
+    return result
 
 def create_bulk_paragraphs(text, max_chars=500):
     """
-    텍스트를 500자 기준으로 벌크 단위로 분할합니다.
+    텍스트를 문장 단위로 누적하다가, 결합 결과 길이가 max_chars를 넘으면
+    그 지점에서 끊고 새 벌크를 시작합니다.
+    - 같은 문단 내 문장들은 공백(' ')으로 결합
+    - 문단이 바뀌면 개행('\n')으로 결합
+    - 개별 문장은 더 쪼개지지 않음 (문장 자체가 max를 넘더라도 단독으로 들어감)
 
     Args:
-        text: 입력 텍스트
-        max_chars: 최대 문자 수 (기본값: 500)
+        text (str): 입력 텍스트(여러 문단 가능, '\n' 기준)
+        max_chars (int): 최대 문자 수 (기본값: 500)
 
     Returns:
         List[str]: 벌크 단위로 분할된 텍스트 리스트
     """
-    paragraphs = [p.strip() for p in text.split("\n") if p.strip()]
-
+    # 1) 문단 분리 (빈 줄/공백 문단 제거)
+    paragraphs = [p.strip() for p in str(text).split("\n") if p.strip()]
     if not paragraphs:
         return []
 
-    bulks = []
-    current_bulk = []
-    current_length = 0
+    # 2) 각 문단을 KSS로 문장 분리
+    split_paragraphs: List[List[str]] = [list(kss.split_sentences(p)) for p in paragraphs]
 
-    for para in paragraphs:
-        para_length = len(para)
+    bulks: List[str] = []
+    current_parts: List[Tuple[int, str]] = []  # (paragraph_index, sentence)
+    current_len = 0
 
-        # 현재 문단이 500자를 초과하는 경우
-        if para_length > max_chars:
-            # 현재 벌크가 있다면 추가
-            if current_bulk:
-                bulks.append("\n".join(current_bulk))
-                current_bulk = []
-                current_length = 0
+    for p_idx, sentences in enumerate(split_paragraphs):
+        for sent in sentences:
+            sent = sent.strip()
+            if not sent:
+                continue
 
-            # 긴 문단은 단독으로 처리
-            bulks.append(para)
-        else:
-            # 현재 벌크에 추가했을 때 500자를 초과하는 경우
-            if (
-                current_length + para_length + len(current_bulk) > max_chars
-                and current_bulk
-            ):
-                # 현재 벌크를 완성하고 새 벌크 시작
-                bulks.append("\n".join(current_bulk))
-                current_bulk = [para]
-                current_length = para_length
+            # 현재 청크에 이 문장을 넣었을 때 길이 계산
+            if not current_parts:
+                add_len = len(sent)  # 첫 문장은 구분자 없음
             else:
-                # 현재 벌크에 추가
-                current_bulk.append(para)
-                current_length += para_length
+                # 같은 문단=공백 1, 다른 문단=개행 1  → 길이 차이는 없으므로 +1
+                add_len = 1 + len(sent)
+
+            # 길이 초과면, 현재 청크를 먼저 확정
+            if current_parts and (current_len + add_len > max_chars):
+                bulks.append(_combine_parts(current_parts))
+                current_parts = []
+                current_len = 0
+                # 계속해서 이 문장으로 새 청크 시작
+
+            # 현재 청크에 문장 추가
+            if not current_parts:
+                current_parts.append((p_idx, sent))
+                current_len = len(sent)
+            else:
+                current_parts.append((p_idx, sent))
+                current_len += 1 + len(sent)  # 구분자(공백/개행=1) + 문장 길이
 
-    # 마지막 벌크 추가
-    if current_bulk:
-        bulks.append("\n".join(current_bulk))
+    # 마지막 청크 flush
+    if current_parts:
+        bulks.append(_combine_parts(current_parts))
 
     return bulks
 
 
-
 def process_bulk(bulk_text, bulk_index, max_retries=3, article_info=""):
     """
     하나의 벌크를 파이프라인으로 처리합니다.