Add app.py and analyzer

app.py

@@ -0,0 +1,61 @@
+# -*- coding: utf-8 -*-
+"""Untitled0.ipynb
+
+Automatically generated by Colab.
+
+Original file is located at
+    https://colab.research.google.com/drive/1wnyeCNxzRVxoae3tCcMuf3s9Adx503U7
+"""
+
+# app.py — Hugging Face Spaces entry
+import gradio as gr
+import torch
+
+# 우리 분석 로직 불러오기
+from news_analyzer import run_once, title_attention_index, load_models
+
+# (선로드) 모델을 미리 로드해두면 첫 호출 지연이 줄어듭니다.
+try:
+    load_models()
+except Exception as e:
+    print("[WARN] warmup load_models failed:", e)
+
+def predict(title, body):
+    """
+    Gradio UI에서 호출되는 함수. news_analyzer.run_once()를 그대로 사용.
+    """
+    r = run_once(title, body)
+
+    final_score = r["최종 기사 점수"]
+    grade = title_attention_index(final_score)
+
+    # UI에 보여줄 값들만 반환
+    return (
+        r["요약유사도"],
+        r["본문 일치도(Top5 평균)"],
+        r["과장점수"],
+        final_score,
+        grade,
+    )
+
+demo = gr.Interface(
+    fn=predict,
+    inputs=[
+        gr.Textbox(label="제목", lines=2, placeholder="기사 제목을 입력"),
+        gr.Textbox(label="본문", lines=18, placeholder="기사 본문을 붙여넣으세요"),
+    ],
+    outputs=[
+        gr.Number(label="요약유사도"),
+        gr.Number(label="본문 일치도(Top5 평균)"),
+        gr.Number(label="과장점수"),
+        gr.Number(label="최종 기사 점수"),
+        gr.Textbox(label="제목 주의 지수", interactive=False),
+    ],
+    title="제목 주의 지수",
+    description="제목-본문 유사도와 과장 점수로 '제목 주의 지수'를 계산합니다.",
+)
+
+# Spaces에서는 share/server_name 지정 불필요
+if __name__ == "__main__":
+    # queue=True: 모델 로딩/추론 대기열 관리
+    demo.queue().launch()

news_analyzer.py

@@ -0,0 +1,464 @@
+# -*- coding: utf-8 -*-
+"""제목주의지수 (4).ipynb
+
+Automatically generated by Colab.
+
+Original file is located at
+    https://colab.research.google.com/drive/1v2tMK6_NdEthlQJAU-Hipwkprq70y2jt
+"""
+
+import os
+import re
+import sys
+import numpy as np
+import pandas as pd
+import torch
+from tqdm import tqdm
+from transformers import PreTrainedTokenizerFast, BartForConditionalGeneration
+from sentence_transformers import SentenceTransformer, util
+
+import re, math, json, numpy as np, pandas as pd, torch
+from typing import List, Dict, Tuple, Any
+from collections import Counter
+import argparse
+
+DEVICE = ("cuda" if torch.cuda.is_available()
+          else "mps" if getattr(torch.backends, "mps", None) and torch.backends.mps.is_available()
+          else "cpu")
+SIM_DEVICE = "cpu" if DEVICE == "mps" else DEVICE
+print(f"[INFO] Gen Device: {DEVICE} | Sim Device: {SIM_DEVICE}")
+
+exag = {'가득': 2, '가세': 2, '가속': 2, '강력': 1, '강하다': 1, '거품': 3, '격돌': 1, '격앙': 1, '격차': 1, '경악': 1, '고비': 2, '고삐': 1, '고조': 2, '고지': 3, '고통': 3, '공세': 1, '공포': 1, '과장': 1, '광폭': 2, '광풍': 3, '괴물': 2, '구원투수': 3, '굴욕': 3, '극적': 2, '극찬': 2, '글쎄': 2, '급감': 2, '급등': 2, '급발진': 2, '급속': 2, '기승': 1, '기적': 2, '깜짝': 1, '껑충': 2, '꼴찌': 3, '꼼수': 1, '꽁꽁': 2, '꽂히다': 1, '꿀꺽': 2, '꿈틀': 1, '끔찍': 1, '난리': 2, '난항': 1, '날다': 1, '날벼락': 3, '냉각': 2, '넘치다': 1, '논란': 1, '놀라다': 1, '눈덩이': 2, '눈물': 2, '당장': 2, '대규모': 2, '대란': 3, '대박': 3, '대반전': 2, '대폭': 2, '대환영': 2, '덕분': 1, '돌파구': 2, '돌풍': 4, '뒷걸음질': 2, '뒷북': 3, '든든한': 2, '들썩': 1, '떡락': 3, '떡상': 3, '뚝딱': 2, '뚝뚝': 2, '뜨겁다': 2, '러브콜': 3, '레전드': 4, '막차': 3, '만능': 1, '매우': 2, '맵다': 2, '멘붕': 2, '몸살': 3, '무더기': 2, '급물살': 1, '뭇매': 2, '뭉칫돈': 2, '밉다': 3, '바람': 2, '박살': 3, '반전': 1, '반짝': 2, '발칵': 1, '방긋': 2, '방점': 2, '배신': 3, '벌써': 1, '벼랑': 3, '봇물': 2, '부담': 1, '분노': 3, '분수령': 2, '불가피': 1, '불과': 2, '불금': 2, '불기둥': 2, '불꽃': 2, '불똥': 2, '불씨': 1, '불안하다': 2, '불투명': 1, '불확실': 1, '붕괴': 1, '비명': 3, '뻥튀기': 2, '사상': 2, '상급': 3, '상승': 1, '선방': 1, '설상가상': 3, '성큼': 2, '소름': 1, '속출': 2, '손절': 2, '솔솔': 1, '쇼크': 3, '수백': 2, '수상한': 2, '수혈': 2, '순항': 1, '승기': 3, '시름': 2, '신기록': 2, '실망': 1, '심각': 1, '싹쓸이': 3, '쏟아지다': 1, '쓰리다': 2, '아비규환': 2, '악몽': 3, '악재': 1, '안간힘': 2, '안갯속': 2, '안도': 1, '알짜': 1, '압도적': 3, '압승': 3, '야심작': 3, '얼어붙다': 2, '역대': 2, '역대 최고': 2, '역대 최다': 2, '역대 최소': 2, '역대 최저 ': 2, '역대최고': 2, '역대최다': 2, '역대최소': 2, '역대최저 ': 2, '열풍': 3, '영광': 2, '영웅': 3, '오락가락': 2, '온기': 2, '와르르': 3, '와우': 3, '완패': 3, '외면': 2, '외환위기 이후': 2, '외환 위기 이후': 2, '요동치다': 2, '우뚝': 2, '우려': 1, '울다': 2, '위기급': 4, '위기': 3, '위축': 1, '위태': 2, '위협': 1, '유력': 2, '육박': 2, '의혹': 1, '잔치': 3, '잘나가다': 2, '재난급': 4, '저격': 3, '전격': 1, '전설': 3, '절대': 2, '절벽': 4, '족쇄': 2, '주의보': 2, '줄줄이': 2, '중증': 3, '증발': 2, '직격탄': 2, '진통': 2, '질타': 3, '쪽박': 2, '참담': 2, '척척': 2, '초대형': 2, '초비상': 2, '초유': 2, '초토화': 2, '촉각': 2, '최대': 2, '최상': 2, '최선': 2, '최악': 2, '최애': 2, '최저': 2, '최적': 1, '최초': 2, '최후': 2, '추락': 4, '출혈': 2, '충격': 1, '코앞': 3, '털썩': 2, '톡톡': 2, '투톱': 3, '특급': 4, '파격': 1, '편법': 1, '폭락': 3, '폭발': 2, '폭주': 2, '폭증': 2, '폭탄': 2, '폭풍': 2, '하락': 1, '한숨': 2, '함박': 3, '함정': 2, '허리띠': 1, '헌정 사상': 2, '헌정사상': 2, '혁명': 2, '호소': 1, '호평일색': 2, '호평 일색': 2, '호황': 3, '혼돈': 2, '홈런': 2, '확대': 1, '활기': 2, '활발': 1, '활짝': 2, '활활': 2, '후끈': 2, '훨훨': 2, '휩쓸다': 2, '흔들다': 2, 'imf 이후': 2, '역대급': 4, '무궁무진': 2, '1보': 1, '2보': 1, '3보': 1, '단독': 1, '속보': 1, '패닉': 3, '불패': 3, '제동': 2, '조짐': 1, '초긴장': 2, '급제동': 2, '뚝': 2, '복병': 2, '아우성': 3, '좌불안석': 3, '빈손': 2, '대세': 3, '생트집': 3, '주춤': 2, '끄덕': 2, '맞불': 2, '장벽': 2, '썰렁': 2, '먹구름': 3, '부메랑': 2, '롤러코스터': 2, '발목': 2, '반토막': 2, '휘청': 2, '곤두박질': 3, '울상': 2, '위풍당당': 3, '싸늘': 2, '주저': 1, '우수수': 2, '골머리': 2, '공화국': 3, '고공행진': 4}
+econ_list = ['(?<![가-힣])정부(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])한국은행(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])기준금리(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])물가(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])인플레이션(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])디스인플레이션(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])환율(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])재정적자(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])국채(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])세제개편(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])복지지출(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])복지[\\s-]?지출(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])복지[\\s-]?지출(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])복지[\\s-]?지출(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])복지\\-지출(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])긴축(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])확장재정(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])통화정책(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])금통위(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])경기둔화(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])경기[\\s-]?둔화(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])경기[\\s-]?둔화(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])경기[\\s-]?둔화(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])경기\\-둔화(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])경기침체(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])경기반등(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])잠재성장률(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])생산성(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])반도체(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])배터리(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])전기차(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])데이터센터(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![A-Za-z])AI(?![A-Za-z])', '(?<![A-Za-z])AI(?![A-Za-z])', '(?<![가-힣])인공지능(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])로봇(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])플랫폼(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])빅테크(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])스타트업(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])구조조정(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![A-Za-z])M\\&A(?![A-Za-z])', '(?<![A-Za-z])IPO(?![A-Za-z])', '(?<![A-Za-z])IPO(?![A-Za-z])', '(?<![가-힣])상장(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])리콜(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])리쇼어링\\(reshoring\\)(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])공급망\\(supply\\ chain\\)(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])중국리스크(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])임금(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])최저임금(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])실업(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])고용지표(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])비정규직(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])노동시간(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])노동[\\s-]?시간(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])노동[\\s-]?시간(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])주거비(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])가계부채(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])가계[\\s-]?부채(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])가계[\\s-]?부채(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])주담대(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])연체율(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])파산(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])자영업(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])청년실업(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])청년[\\s-]?실업(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])청년[\\s-]?실업(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])여성고용(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])여성[\\s-]?고용(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])여성[\\s-]?고용(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])근로시간제(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])증시(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])코스피(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])코스닥(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])채권(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])은행(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])예대금리차(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])예대[\\s-]?금리차(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])예대[\\s-]?금리차(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])예금(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])대출(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])유동성(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![A-Za-z])PF(?![A-Za-z])', '(?<![A-Za-z])PF(?![A-Za-z])', '(?<![가-힣])프로젝트파이낸싱(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])증권사(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])자본확충(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])자본[\\s-]?확충(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])자본[\\s-]?확충(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])공매도(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![A-Za-z])ETF(?![A-Za-z])', '(?<![가-힣])디지털자산(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])디지털[\\s-]?자산(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])디지털[\\s-]?자산(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])암호화폐(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])스테이블코인(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])규제(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])부동산(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])주택공급(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])주택[\\s-]?공급(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])주택[\\s-]?공급(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])분양가상한제(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])분양가[\\s-]?상한제(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])분양가[\\s-]?상한제(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])재건축(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])재개발(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])용도지역(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])신도시(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])역세권(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])공공임대(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])공공[\\s-]?임대(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])공공[\\s-]?임대(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])토지거래허가(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣A-Za-z])건설사\\s*PF(?![가-힣A-Za-z])', '(?<![가-힣A-Za-z])건설사\\s*PF(?![가-힣A-Za-z])', '(?<![가-힣A-Za-z])건설사\\s*PF(?![가-힣A-Za-z])', '(?<![A-Za-z])SOC(?![A-Za-z])', '(?<![가-힣])교통망(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])미분양(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])전세(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])월세(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])외식물가(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])생활물가(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])국제유가(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])곡물가(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])전기요금(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])전기[\\s-]?요금(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])전기[\\s-]?요금(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])가스요금(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])가스[\\s-]?요금(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])가스[\\s-]?요금(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])공공요금(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])공공[\\s-]?요금(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])공공[\\s-]?요금(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])전력시장(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])전력[\\s-]?시장(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])전력[\\s-]?시장(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![A-Za-z])SMP(?![A-Za-z])', '(?<![A-Za-z])SMP(?![A-Za-z])', '(?<![가-힣])전력도매가(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])원전(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])태양광(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])풍력(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])수소(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])탄소배출권\\(ETS\\)(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![A-Za-z])RE100(?![A-Za-z])', '(?<![가-힣])수출(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])무역수지(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])무역[\\s-]?수지(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])무역[\\s-]?수지(?:은|는|��|가|을|를)?(?![가-힣])', '(?<![가-힣])경상수지(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])경상[\\s-]?수지(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])경상[\\s-]?수지(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])달러인덱스(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])달러[\\s-]?인덱스(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])달러[\\s-]?인덱스(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])원화[\\s-]?약세(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])원화[\\s-]?약세(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])원화[\\s-]?약세(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])원화[\\s-]?강세(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])원화[\\s-]?강세(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])원화[\\s-]?강세(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])통상마찰(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])관세(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])대미\\(IRA\\)(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])대EU\\(CBAM\\)(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])대중수출(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])대중[\\s-]?수출(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])대중[\\s-]?수출(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])반도체수출(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])반도체[\\s-]?수출(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])반도체[\\s-]?수출(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])프렌드쇼어링\\(friend\\-shoring\\)(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])오픈뱅킹(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])오픈[\\s-]?뱅킹(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])오픈[\\s-]?뱅킹(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])핀테크(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])마이데이터(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])마이[\\s-]?데이터(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])마이[\\s-]?데이터(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])디지털세(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])규제샌드박스(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])클라우드(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![A-Za-z])SaaS(?![A-Za-z])', '(?<![가-힣])데이터경제(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])개인정보(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])양극화(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])자산격차(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])소득분배(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])청년부담(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])노인빈곤(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])세대갈등(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])지역균형(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])지방소멸(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])주거불안(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])시스템리스크(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])시스템[\\s-]?리스크(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])시스템[\\s-]?리스크(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])그림자금융(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])그림자[\\s-]?금융(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])그림자[\\s-]?금융(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])역전세(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])연쇄부도(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])연쇄[\\s-]?부도(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])연쇄[\\s-]?부도(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])디폴트(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])신용스프레드(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])신용[\\s-]?스프레드(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])신용[\\s-]?스프레드(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])CDS프리미엄(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])신용경색(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])고금리[\\s-]?장기화(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])고금리[\\s-]?장기화(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])고금리[\\s-]?장기화(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])가계부채\\ 관리\\ 강화(?![가-힣])', '(?<![가-힣])부동산\\ PF\\ 부실(?![가-힣])', '(?<![가-힣])공공요금[\\s-]?인상(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])공공요금[\\s-]?인상(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])공공요금[\\s-]?인상(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])수출[\\s-]?반등(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])수출[\\s-]?반등(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])수출[\\s-]?반등(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])수출[\\s-]?둔화(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])수출[\\s-]?둔화(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])수출[\\s-]?둔화(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])정책[\\s-]?불확실성(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])정책[\\s-]?불확실성(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])정책[\\s-]?불확실성(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])관치금융(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])밸류업(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])임금\\-물가[\\s-]?악순환(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])임금\\-물가[\\s-]?악순환(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])임금\\-물가[\\s-]?악순환(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])투자[\\s-]?위축(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])투자[\\s-]?위축(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])투자[\\s-]?위축(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])인바운드\\ 관광\\ 회복(?![가-힣])', '(?<![가-힣])기후리스크(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![A-Za-z])CPI(?![A-Za-z])', '(?<![A-Za-z])CPI(?![A-Za-z])', '(?<![가-힣])소비자[\\s-]?물가(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])소비자[\\s-]?물가(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])소비자[\\s-]?물가(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])근원물가(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])근원[\\s-]?물가(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])근원[\\s-]?물가(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![A-Za-z])PPI(?![A-Za-z])', '(?<![A-Za-z])PMI(?![A-Za-z])', '(?<![A-Za-z])GDP(?![A-Za-z])','(?<![A-Za-z])IPI(?![A-Za-z])', '(?<![A-Za-z])IPI(?![A-Za-z])', '(?<![가-힣])광공업[\\s-]?생산(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])광공업[\\s-]?생산(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])광공업[\\s-]?생산(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])소비자심리지수(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])기대인플레(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])고용동향(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])가계신용(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])가계[\\s-]?신용(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])가계[\\s-]?신용(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])경상수지(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])경상[\\s-]?수지(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])경상[\\s-]?수지(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])수출입[\\s-]?통계(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])수출입[\\s-]?통계(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])수출입[\\s-]?통계(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])주택가격지수(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])전세가격지수(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])미분양통계(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])미분양[\\s-]?통계(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])미분양[\\s-]?통계(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![A-Za-z])FOMC(?![A-Za-z])', '(?<![A-Za-z])ECB(?![A-Za-z])', '(?<![A-Za-z])BOJ(?![A-Za-z])', '(?<![가-힣])금통위(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])OPEC\\+[\\s-]?회의(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])OPEC\\+[\\s-]?회의(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])OPEC\\+[\\s-]?회의(?:은|는|이|가|을|를)?(?![가-힣])']
+
+RE_BULLETS = re.compile(r"[■◆◇]")
+RE_GUIDE   = re.compile(r"^\*.*$|^※.*$", flags=re.MULTILINE)
+RE_ROLES   = re.compile(r"^(진행|앵커|출연)\s*:\s*.*$", flags=re.MULTILINE)
+RE_EMAIL   = re.compile(r"[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}")
+RE_EXTRA   = re.compile(r"대담 발췌\s*:\s*.*$", flags=re.MULTILINE)
+RE_MULTINL = re.compile(r"\n+")
+RE_LSTRIP  = re.compile(r"^\s+", flags=re.MULTILINE)
+
+def preprocess_text(text: str) -> str:
+    if not isinstance(text, str):
+        return ""
+    text = RE_BULLETS.sub("", text)
+    text = RE_GUIDE.sub("", text)
+    text = RE_ROLES.sub("", text)
+    text = RE_EMAIL.sub("", text)
+    text = RE_EXTRA.sub("", text)
+    text = RE_MULTINL.sub("\n", text).strip()
+    text = RE_LSTRIP.sub("", text)
+    return text
+
+def sentence_split(text: str):
+    if not isinstance(text, str):
+        text = "" if text is None else str(text)
+    text = text.replace("\n", ".")
+    text = re.sub(r"\.{2,}", ".", text)
+    return [s.strip() for s in text.split("다.") if s.strip()]
+
+def top5_title_body_sim(title: str, body_text: str, sbert) -> float:
+    sents = sentence_split(body_text)
+    if not sents:
+        return float("nan")
+    title_emb = sbert.encode(title, convert_to_tensor=True, normalize_embeddings=True)
+    sent_embs = sbert.encode(sents, convert_to_tensor=True, normalize_embeddings=True)
+    sims = util.pytorch_cos_sim(title_emb, sent_embs)[0].detach().cpu().numpy().tolist()
+    sims.sort(reverse=True)
+    return float(np.mean(sims[:5])) if sims else float("nan")
+
+# 필요한 모델 불러오기
+_tok = _bart = _sbert = None
+def load_models():
+    global _tok, _bart, _sbert
+    if _tok is None or _bart is None:
+        _tok = PreTrainedTokenizerFast.from_pretrained("digit82/kobart-summarization")
+        if _tok.pad_token is None:
+            _tok.pad_token = _tok.eos_token
+        _tok.model_max_length = 1024
+        _bart = BartForConditionalGeneration.from_pretrained("digit82/kobart-summarization")
+        _bart.eval().to(DEVICE)
+        if DEVICE == "cuda":
+            try:
+                _bart.half()
+            except Exception:
+                pass
+    if _sbert is None:
+        _sbert = SentenceTransformer("snunlp/KR-SBERT-V40K-klueNLI-augSTS", device=SIM_DEVICE)
+    return _tok, _bart, _sbert
+
+@torch.inference_mode()
+def summarize(tok, model, text: str, max_new_tokens: int = 160) -> str:
+    if not text:
+        return ""
+    enc = tok(text, return_tensors="pt", truncation=True, max_length=1024, padding=False)
+    out = model.generate(
+        input_ids=enc["input_ids"].to(DEVICE),
+        attention_mask=enc["attention_mask"].to(DEVICE),
+        max_new_tokens=max_new_tokens,
+        num_beams=4,
+        no_repeat_ngram_size=3,
+        length_penalty=1.0,
+        early_stopping=True,
+        use_cache=True
+    )
+    return tok.decode(out[0], skip_special_tokens=True)
+
+# 과장 표현 정규화 예외 설정
+NORM_RULES = [
+    (r'외환\s*위기\s*이후', '외환위기이후'),
+    (r'IMF\s*이후', 'IMF이후'),
+    (r'imf\s*이후', 'imf이후'),
+    (r'IMF\s*급', 'IMF급'),
+    (r'imf\s*급', 'imf급'),
+    (r'호평\s*일색', '호평일색'),
+    (r'헌정\s*사상', '헌정사상'),
+    (r'역대\s*최고', '역대최고'),
+    (r'역대\s*최다', '역대최다'),
+    (r'역대\s*최소', '역대최소'),
+    (r'역대\s*최저', '역대최저'),
+]
+USER_TERMS = [
+    '대반전',
+    '외환위기이후',
+    '위기급', '재난급', '급물살',
+    'IMF이후', 'imf이후',
+    'IMF급', 'imf급',
+    '역대최고', '역대최다', '역대최소', '역대최저',
+    '역대급',
+    '떡상', '떡락',
+    '호평일색',
+    '헌정사상',
+]
+def normalize_expressions(text: str) -> str:
+    t = text if isinstance(text, str) else ""
+    for pat, rep in NORM_RULES:
+        t = re.sub(pat, rep, t)
+    return t
+
+_score_map: Dict[str, int] = None
+_unique_expr: List[str] = None
+_lex_pats: List[re.Pattern] = None
+_kiwi = None
+
+def _load_label_score_map_from_dict(exag_dict: Dict[str, int]) -> Tuple[Dict[str,int], List[str]]:
+    """ exag 딕셔너리에서 점수 맵/표현 리스트 생성 """
+    score_map: Dict[str, int] = {}
+    for k, v in (exag_dict or {}).items():
+        key = re.sub(r"\s+", "", str(k)).strip()
+        try:
+            val = int(v)
+        except Exception:
+            val = 0
+        if key:
+            if key in score_map:
+                score_map[key] = max(score_map[key], val)
+            else:
+                score_map[key] = val
+    unique_expr = sorted(score_map.keys())
+    return score_map, unique_expr
+
+def _compile_patterns_from_list(regex_list: List[str]) -> List[re.Pattern]:
+    """ econ_list 문자열 배열에서 정규식 패턴 컴파일 """
+    pats: List[re.Pattern] = []
+    for p in (regex_list or []):
+        if not isinstance(p, str):
+            continue
+        pat = p.strip()
+        if not pat:
+            continue
+        try:
+            pats.append(re.compile(pat, re.I))
+        except re.error:
+            # 잘못된 패턴은 무시
+            pass
+    return pats
+
+def _build_kiwi(unique_expr: List[str]):
+    """ Kiwi > Okt > regex 순으로 형태소/토큰 추출기 준비 """
+    # 1) kiwipiepy
+    try:
+        from kiwipiepy import Kiwi
+        kiwi = Kiwi()
+        for w in USER_TERMS:
+            kiwi.add_user_word(w, 'NNG', 10)
+        for w in unique_expr:
+            if isinstance(w, str) and len(w) >= 2:
+                kiwi.add_user_word(w, 'NNG', 9)
+        return kiwi, "kiwi"
+    except Exception:
+        pass
+    # 2) konlpy Okt
+    try:
+        from konlpy.tag import Okt
+        _okt = Okt()
+        def _okt_extract(text: str):
+            norm = normalize_expressions(text)
+            # 명사/동사만
+            return [w for w, t in _okt.pos(norm, norm=True, stem=True) if t in ("Noun","Verb")]
+        return _okt_extract, "okt"
+    except Exception:
+        # 3) 정규식 토큰 나누기
+        def _regex_extract(text: str):
+            norm = normalize_expressions(text)
+            return re.findall(r"[가-힣A-Za-z0-9]+", norm)
+        return _regex_extract, "regex"
+
+def _ensure_resources():
+    global _score_map, _unique_expr, _lex_pats, _kiwi
+    try:
+        exag_dict = exag
+    except NameError:
+        raise RuntimeError("exag 딕셔너리가 정의되어 있지 않습니다. exag = {'표현': 점수, ...} 형태로 먼저 정의하세요.")
+    if _score_map is None or _unique_expr is None:
+        _score_map, _unique_expr = _load_label_score_map_from_dict(exag_dict)
+    if _lex_pats is None:
+        try:
+            econ = econ_list
+        except NameError:
+            econ = []
+        _lex_pats = _compile_patterns_from_list(econ)
+    if _kiwi is None:
+        _kiwi, _ = _build_kiwi(_unique_expr)
+
+# 형태소 추출(명사+동사)
+def extract_noun_verb_kiwi(text: str) -> List[str]:
+    _ensure_resources()
+    norm = normalize_expressions(text)
+    try:
+        from kiwipiepy import Kiwi
+        if isinstance(_kiwi, Kiwi):
+            toks = []
+            for tok in _kiwi.tokenize(norm):
+                tag = tok.tag
+                if tag.startswith("NN"):
+                    toks.append(tok.form)
+                elif tag == "VV":
+                    toks.append(tok.lemma if tok.lemma else tok.form)
+            return toks
+    except Exception:
+        pass
+    return _kiwi(norm)
+
+# 과장 라벨 점수 계산 및 가중치 산출
+def _calc_raw_and_count(tokens: List[str]) -> Tuple[int, int]:
+    _ensure_resources()
+    if not isinstance(tokens, (list, tuple)):
+        return 0, 0
+    toks = [str(t).strip() for t in tokens if (t is not None) and str(t).strip() != ""]
+    joined = "".join(toks)
+    total_count, total_score = 0, 0
+    for expr, sc in _score_map.items():
+        c = joined.count(expr)  # non-overlapping
+        if c:
+            total_count += c
+            total_score += c * int(sc)
+    return int(total_score), int(total_count)
+
+def _bin_label(total_raw: int) -> int:
+    # (-inf,0] -> 0, [1,2] -> 1, [3,4] -> 2, [5, inf) -> 3
+    if total_raw <= 0: return 0
+    if 1 <= total_raw <= 2: return 1
+    if 3 <= total_raw <= 4: return 2
+    return 3
+
+def _weight_by_count(n: int) -> float:
+    if n == 1: return 1.0
+    if n == 2: return 1.3
+    if n == 3: return 1.5
+    if n >= 4: return 1.7
+    return 0.0
+
+def _has_keyword_and_matches(text: str) -> Tuple[bool, List[str]]:
+    _ensure_resources()
+    t = text or ""
+    seen, out = set(), []
+    has_any = False
+    for pat in _lex_pats:
+        m = pat.search(t)
+        if m:
+            has_any = True
+            s = m.group(0)
+            if s not in seen:
+                seen.add(s)
+                out.append(s)
+    return has_any, out
+
+import math
+def title_attention_index(score: float) -> str:
+    if score is None or (isinstance(score, float) and math.isnan(score)):
+        return "점수 없음"
+    # 구간: [0,0.95) 양호, [0.95,2.25) 관심, [2.25,3.70) 주의, [3.70,5) 매우 주의
+    if score < 0.95:
+        return "양호"
+    if score < 2.25:
+        return "관심"
+    if score < 3.70:
+        return "주의"
+    return "매우 주의"
+
+# 메인 파이프라인
+def run_once(title: str, body: str,
+             short_pass_len: int = 50, max_new_tokens: int = 160):
+    _ensure_resources()
+
+    # 모델
+    tok, bart, sbert = load_models()
+
+    # 본문 전처리
+    body_clean = preprocess_text(body)
+
+    # 요약
+    if len(body_clean) < short_pass_len:
+        summ = body_clean
+    else:
+        try:
+            @torch.inference_mode()
+            def _summarize(tok, model, text, max_new_tokens=160):
+                enc = tok(text, return_tensors="pt", truncation=True, max_length=1024, padding=False)
+                out = model.generate(
+                    input_ids=enc["input_ids"].to(DEVICE),
+                    attention_mask=enc["attention_mask"].to(DEVICE),
+                    max_new_tokens=max_new_tokens,
+                    num_beams=4,
+                    no_repeat_ngram_size=3,
+                    length_penalty=1.0,
+                    early_stopping=True,
+                    use_cache=True
+                )
+                return tok.decode(out[0], skip_special_tokens=True)
+            summ = _summarize(tok, bart, body_clean, max_new_tokens=max_new_tokens)
+        except Exception as e:
+            print(f"[WARN] summarization failed: {e}")
+            summ = ""
+
+    # 유사도
+    try:
+        if summ:
+            tvec = sbert.encode(title, convert_to_tensor=True, normalize_embeddings=True)
+            svec = sbert.encode(summ,  convert_to_tensor=True, normalize_embeddings=True)
+            sim_sy = float(util.pytorch_cos_sim(tvec, svec).item())
+        else:
+            sim_sy = float("nan")
+    except Exception as e:
+        print(f"[WARN] title-summary sim failed: {e}")
+        sim_sy = float("nan")
+
+    try:
+        sim_b5 = top5_title_body_sim(title, body_clean, sbert)
+    except Exception as e:
+        print(f"[WARN] title-body top5 sim failed: {e}")
+        sim_b5 = float("nan")
+
+    # 제목 형태소(명사/동사)
+    try:
+        title_nv = extract_noun_verb_kiwi(title)
+    except Exception as e:
+        print(f"[WARN] kiwi extract failed: {e}")
+        title_nv = re.findall(r"[가-힣A-Za-z0-9]+", normalize_expressions(title or ""))
+
+    # 라벨 원점수/등장횟수 → 라벨점수 → 가중치 최종점수
+    raw_score, cnt = _calc_raw_and_count(title_nv)
+    label_score = _bin_label(raw_score)              # 0/1/2/3
+    weight = _weight_by_count(cnt)                   # 1.0/1.3/1.5/1.7
+    label_final = float(label_score) * float(weight) # df['최종점수']
+
+    # 본문 키워드 여부/매칭 → 1.15배
+    has_kw, matches = _has_keyword_and_matches(body_clean)
+    exag_score = label_final * (1.15 if has_kw else 1.0)   # df["과장점수"]
+
+    # 불일치도 & log10
+    summary_mismatch = (1 - sim_sy) if not np.isnan(sim_sy) else np.nan
+    body_mismatch    = (1 - sim_b5) if not np.isnan(sim_b5) else np.nan
+    exag_log10       = float(np.log10(exag_score + 1.0))
+
+    # 최종 기사 점수
+    if not (np.isnan(summary_mismatch) or np.isnan(body_mismatch)):
+        final_article_score = round((exag_log10*0.5 + summary_mismatch*0.25 + body_mismatch*0.25) * 5, 2)
+    else:
+        final_article_score = np.nan
+
+    return {
+        "요약": summ,
+        "요약유사도": sim_sy,
+        "본문 일치도(Top5 평균)": sim_b5,
+        "title_nv": title_nv, #형태소 분석된 제목 리스트
+        "원점수": raw_score,  #과장 표현 원점수
+        "등장횟수": cnt,
+        "라벨점수": int(label_score),
+        "가중치": float(weight),
+        "라벨최종점수": float(label_final),
+        "has_keyword": bool(has_kw), #가중 키워드 본문 포함 여부
+        "matches": matches, # 가중 키워드로 선정된 키워드 리스트
+        "과장점수": float(exag_score),
+        "과장점수_log10": exag_log10, #과장 최종 점수
+        "요약 불일치도": summary_mismatch,
+        "본문 불일치도": body_mismatch,
+        "최종 기사 점수": final_article_score
+    }
+
+
+def run_cli():
+    print("제목을 입력하세요:")
+    title = input().strip()
+    print("본문을 입력하세요:")
+    body = input().strip()
+    r = run_once(title, body)
+    print("\n===== 결과 =====")
+    # print("본문 요약:\n", r["요약"])
+    print("제목과 본문 요약 유사도:", round(r["요약유사도"], 4))
+    print("제목과 본문 일치도(Top5 평균):", round(r["본문 일치도(Top5 평균)"], 4))
+    print("과장점수(log화):", round(r["과장점수_log10"], 4))
+    print("\n최종 제목 주의 점수는", r["최종 기사 점수"], "입니다")
+
+def run_ui():
+    import gradio as gr
+    # ... (기존 내용 동일)
+
+    def predict(title, body):
+        r = run_once(title, body)
+        final_score = r["최종 기사 점수"]
+        grade = title_attention_index(final_score)
+        return (
+            r["요약유사도"],
+            r["본문 일치도(Top5 평균)"],
+            r["과장점수"],
+            final_score,
+            grade,
+        )
+
+    demo = gr.Interface(
+        fn=predict,
+        inputs=[
+            gr.Textbox(label="제목", lines=2),
+            gr.Textbox(label="본문", lines=18, placeholder="여기에 기사 본문을 붙여넣으세요"),
+        ],
+        outputs=[
+            # gr.Textbox(label="요약", lines=10),
+            gr.Number(label="요약유사도"),
+            gr.Number(label="본문 일치도(Top5 평균)"),
+            gr.Number(label="과장점수"),
+            gr.Number(label="최종 기사 점수"),
+            gr.Textbox(label="제목 주의 지수", interactive=False),
+        ],
+        title="제목 주의 지수",
+        description="제목/본문을 입력하면 제목-본문 유사도, 과장 점수를 바탕으로 '제목 주의 지수'를 계산합니다.",
+        # 필요시 allow_flagging="never"
+    )
+
+    demo.launch(server_name="0.0.0.0", server_port=7861, share=True)
+
+
+
+if __name__ == "__main__":
+    parser = argparse.ArgumentParser()
+    parser.add_argument("--ui", action="store_true", help="Gradio UI 실행")
+    args, _ = parser.parse_known_args()
+    if args.ui:
+        run_ui()
+    else:
+        run_cli()
+
+
+

requirements.txt

@@ -0,0 +1,9 @@
+torch
+transformers
+sentence-transformers
+kiwipiepy
+gradio
+pandas
+numpy
+tqdm
+scipy

제목주의지수.ipynb

@@ -0,0 +1,543 @@
+{
+ "cells": [
+  {
+   "cell_type": "code",
+   "execution_count": 1,
+   "id": "17ecb9c0-ec8e-4df9-a694-1b0dce05650b",
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "WARNING:tensorflow:From C:\\Users\\15ZB995-GP5ALF\\AppData\\Local\\Programs\\Python\\Python311\\Lib\\site-packages\\tf_keras\\src\\losses.py:2976: The name tf.losses.sparse_softmax_cross_entropy is deprecated. Please use tf.compat.v1.losses.sparse_softmax_cross_entropy instead.\n",
+      "\n"
+     ]
+    }
+   ],
+   "source": [
+    "import os\n",
+    "import re\n",
+    "import sys\n",
+    "import numpy as np\n",
+    "import pandas as pd\n",
+    "import torch\n",
+    "from tqdm import tqdm\n",
+    "from transformers import PreTrainedTokenizerFast, BartForConditionalGeneration\n",
+    "from sentence_transformers import SentenceTransformer, util\n",
+    "\n",
+    "import re, math, json, numpy as np, pandas as pd, torch\n",
+    "from typing import List, Dict, Tuple, Any\n",
+    "from collections import Counter\n",
+    "import argparse"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 7,
+   "id": "d14540a3-cdfa-4455-a4e0-7caff0e5d473",
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "[INFO] Gen Device: cpu | Sim Device: cpu\n",
+      "제목을 입력하세요:\n"
+     ]
+    },
+    {
+     "name": "stdin",
+     "output_type": "stream",
+     "text": [
+      " 전 세계적으로 갈라진 Z세대, 그리고 외면하는 정치 :한국 민주주의의 새로운 균열\n"
+     ]
+    },
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "본문을 입력하세요:\n"
+     ]
+    },
+    {
+     "name": "stdin",
+     "output_type": "stream",
+     "text": [
+      " Z세대, '코호트 이론'의 예외인가  정치학의 오랜 이론 중 하나는 ‘코호트 효과(Cohort effect)’다. 같은 시대를 겪은 세대는 비슷한 정치적 가치를 공유한다는 것이다. 하지만 Z세대는 이 오래된 공식에 균열을 내고 있다. 하나의 스펙트럼으로 설명하기 어려운 이들의 복합성은, 특히 성별을 기준으로 나뉠 때 더욱 선명해진다.  세계에서 확인된 ‘성별 격차’  Z세대의 성별 분화는 이제 전 지구적 현상으로 자리 잡고 있다. 실제로 파이낸셜타임스(FT)의 데이터 칼럼은 미국·영국·독일 등 주요 민주주의 국가에서 공통적으로 나타나는 현상을 포착했다. 18~29세 청년층에서 남성의 보수화와 여성의 진보화가 마치 거울을 보듯 정반대로 진행되는 '거울상(鏡像) 효과'가 확인된 것이다. 추가로, Z세대에서 성평등·성 역할에 대한 남녀 인식 격차가 다른 어느 세대보다 컸으며, 한국은 '남녀 갈등 인식'이 30개국 중 가장 높게 나타났다.    *18~29세 청년층의 정치적 이념 성향 (진보주의 - 보수주의 비율) 출처: 파이낸셜타임스(FT), 2022.03.07.  한국의 최근 선거에서 갈라진 선택  한국의 20대 청년층에서는 성별에 따른 정치적 선택이 뚜렷하게 드러났다. 2022년 제20대 대선 출구조사에서 20대 남성은 윤석열 58.7%, 20대 여성은 이재명 58.0%로, 같은 세대 안에서 선택이 정반대로 갈라졌다. 올해 2025년 제21대 대선에서도 양상은 비슷했다. 출구조사 기준 20대 남성은 이재명 24.0%, 20대 여성은 58.1%를 선택해 성별 간 분화가 재확인되었다. 다른 연령대에서도 차이는 존재했지만, 20대만큼 극단적인 분화는 드물었다는 점은 언론과 학계 분석에서 공통적으로 지적한다.                20대 대선 출구조사                           21대 대선 출구조사 *방송 3사(KBS, MBC, SBS) 출구조사 결과, 신뢰수준 95%, 표본오차 ±0.8%p   학술 연구는 이 현상의 핵심을 짚어낸다. 김한나(서울대 한국정치연구소)의 로지스틱 회귀 분석에 따르면, 이념·정당 일체감·지역·후보 호감도 등을 통제한 뒤에도 ‘성별’만이 20대 유권자 선택에 유의미한 변수로 남았다. 이는 과거 한국 정치의 주요 균열 축이던 ‘지역’을, 최근에는 ‘성별’이 대체되고 있음을 보여준다.  언론의 관심 역시 높아졌다. 같은 기간 동안 정기간행물 전체기사 수 대비 젠더 관련 보도의 비중이 두드러지게 많았다는 점이 확인된 것이다.  *대선 전후 3개월 간 보도된 기사량 비교 정치는 이 변화를 어떻게 반영했나  그렇다면 대통령 후보들은 이 분화를 어떻게 대응했을까? 법정 TV토론은 일방적 발표가 아니라 상호 공격과 대응이 오가는 전략적 장(場)이다. 법정 3차례의 제한된 시간 안에서 후보들은 ‘득표 효율’이 높은 쟁점을 던지며 상대의 실수를 부각한다. 그 결과 의제의 본질보다 공방 자체가 더 크�� 부상하기 쉽다.  반면 정책공약집(이하 ‘공약집’)은 사전 기획과 당내 조율을 거친 문서로, 위험을 관리·회피하기 용이하다는 점에서 TV토론과 성격이 다르다. 이 때문에 갈등을 촉발하거나 정치적 부담이 큰 의제는 의도적으로 축소되는 경향이 있다. 공약집 분석 결과, 제18대 대선 이후 젠더 관련 항목의 주목도와 언급 빈도는 지속적으로 감소했고, 청년과 젠더 교차 의제와 핵심 키워드 언급은 약 75% 감소했다.     줄어드는 청년표와 다음 과제  주목할 점은, 고령화와 함께 청년(19~34세) 인구가 빠르게 줄고 있다는 사실이다. 통계청에 따르면 2025년 1,025만 명이던 청년 인구는 2040년 722만 명으로, 약 30% 줄어들 전망이다. 특히 20대의 비율은 2025년 11.87%에서 2040년 8.82%까지 하락해 80대 이상 인구보다도 비중이 작아질 것으로 예측된다. 이처럼 청년층의 유권자 비중이 낮아지고 표심마저 성별에 따라 분화된 상황에서, 과거처럼 특정 쟁점이 이들의 표심을 결집하는 '캐스팅보트' 역할을 하기 어려워졌다.  결국 정치권은 '득표 효율성'을 앞세워 젠더 갈등과 같은 민감한 문제를 정면으로 다루기보다 회피하려는 경향을 보이게 된 것이다.     * 통계청 장래인구 추계   그러나 여기서 멈춰서는 안 된다. 현재의 갈등은 단발성 선거 이슈가 아니라 구조적 변화의 신호일 것이다. 형성기 경험은 세대의 정치 태도를 장기간 고정시키고, 결국 한국 민주주의의 궤적을 바꿀 수 있다. 정치가 이 변화를 제대로 읽지 못하면 젠더 균열은 사회적 갈등으로 고착될 것이고, 반대로 현명하게 대응한다면 다양한 의견이 제도 안으로 수렴되는 계기가 될 것이다. Z세대의 성별 격차는 그저 ‘불편한 현실’이 아니라 미래를 좌우할 핵심 변수이다. 지금 필요한 것은 득표 효율이라는 계산이 아니라, 이 불편한 의제를 정면으로 마주하는 용기이며, 그 용기가 바로 한국 민주주의를 지키는 열쇠가 될 것이다.  읽어주셔서 감사합니다! 혹시나 대통령 토론회 분석 결과도 궁금하다면? © 2025 by 이해찬\n"
+     ]
+    },
+    {
+     "name": "stderr",
+     "output_type": "stream",
+     "text": [
+      "You passed along `num_labels=3` with an incompatible id to label map: {'0': 'NEGATIVE', '1': 'POSITIVE'}. The number of labels will be overwritten to 2.\n"
+     ]
+    },
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "\n",
+      "===== 결과 =====\n",
+      "본문 요약:\n",
+      " 18~29세 청년층에서 남성의 보수화와 여성의 진보화가 마치 거울을 보듯 정반대로 진행되는 '거울상(鏡像) 효과'가 확인되었다.\n",
+      "제목과 본문 요약 유사도: 0.3056\n",
+      "제목과 본문 일치도(Top5 평균): 0.5496\n",
+      "과장점수(log화): 0.301\n",
+      "\n",
+      "최종 제목 주의 점수는 2.18 입니다\n"
+     ]
+    }
+   ],
+   "source": [
+    "DEVICE = (\"cuda\" if torch.cuda.is_available()\n",
+    "          else \"mps\" if getattr(torch.backends, \"mps\", None) and torch.backends.mps.is_available()\n",
+    "          else \"cpu\")\n",
+    "SIM_DEVICE = \"cpu\" if DEVICE == \"mps\" else DEVICE\n",
+    "print(f\"[INFO] Gen Device: {DEVICE} | Sim Device: {SIM_DEVICE}\")\n",
+    "\n",
+    "exag = {'가득': 2, '가세': 2, '가속': 2, '강력': 1, '강하다': 1, '거품': 3, '격돌': 1, '격앙': 1, '격차': 1, '경악': 1, '고비': 2, '고삐': 1, '고조': 2, '고지': 3, '고통': 3, '공세': 1, '공포': 1, '과장': 1, '광폭': 2, '광풍': 3, '괴물': 2, '구원투수': 3, '굴욕': 3, '극적': 2, '극찬': 2, '글쎄': 2, '급감': 2, '급등': 2, '급발진': 2, '급속': 2, '기승': 1, '기적': 2, '깜짝': 1, '껑충': 2, '꼴찌': 3, '꼼수': 1, '꽁꽁': 2, '꽂히다': 1, '꿀꺽': 2, '꿈틀': 1, '끔찍': 1, '난리': 2, '난항': 1, '날다': 1, '날벼락': 3, '냉각': 2, '넘치다': 1, '논란': 1, '놀라다': 1, '눈덩이': 2, '눈물': 2, '당장': 2, '대규모': 2, '대란': 3, '대박': 3, '대반전': 2, '대폭': 2, '대환영': 2, '덕분': 1, '돌파구': 2, '돌풍': 4, '뒷걸음질': 2, '뒷북': 3, '든든한': 2, '들썩': 1, '떡락': 3, '떡상': 3, '뚝딱': 2, '뚝뚝': 2, '뜨겁다': 2, '러브콜': 3, '레전드': 4, '막차': 3, '만능': 1, '매우': 2, '맵다': 2, '멘붕': 2, '몸살': 3, '무더기': 2, '급물살': 1, '뭇매': 2, '뭉칫돈': 2, '밉다': 3, '바람': 2, '박살': 3, '반전': 1, '반짝': 2, '발칵': 1, '방긋': 2, '방점': 2, '배신': 3, '벌써': 1, '벼랑': 3, '봇물': 2, '부담': 1, '분노': 3, '분수령': 2, '불가피': 1, '불과': 2, '불금': 2, '불기둥': 2, '불꽃': 2, '불똥': 2, '불씨': 1, '불안하다': 2, '불투명': 1, '불확실': 1, '붕괴': 1, '비명': 3, '뻥튀기': 2, '사상': 2, '상급': 3, '상승': 1, '선방': 1, '설상가상': 3, '성큼': 2, '소름': 1, '속출': 2, '손절': 2, '솔솔': 1, '쇼크': 3, '수백': 2, '수상한': 2, '수혈': 2, '순항': 1, '승기': 3, '시름': 2, '신기록': 2, '실망': 1, '심각': 1, '싹쓸이': 3, '쏟아지다': 1, '쓰리다': 2, '아비규환': 2, '악몽': 3, '악재': 1, '안간힘': 2, '안갯속': 2, '안도': 1, '알짜': 1, '압도적': 3, '압승': 3, '야심작': 3, '얼어붙다': 2, '역대': 2, '역대 최고': 2, '역대 최다': 2, '역대 최소': 2, '역대 최저 ': 2, '역대최고': 2, '역대최다': 2, '역대최소': 2, '역대최저 ': 2, '열풍': 3, '영광': 2, '영웅': 3, '오락가락': 2, '온기': 2, '와르르': 3, '와우': 3, '완패': 3, '외면': 2, '외환위기 이후': 2, '외환 위기 이후': 2, '요동치다': 2, '우뚝': 2, '우려': 1, '울다': 2, '위기급': 4, '위기': 3, '위축': 1, '위태': 2, '위협': 1, '유력': 2, '육박': 2, '의혹': 1, '잔치': 3, '잘나가다': 2, '재난급': 4, '저격': 3, '전격': 1, '전설': 3, '절대': 2, '절벽': 4, '족쇄': 2, '주의보': 2, '줄줄이': 2, '중증': 3, '증발': 2, '직격탄': 2, '진통': 2, '질타': 3, '쪽박': 2, '참담': 2, '척척': 2, '초대형': 2, '초비상': 2, '초유': 2, '초토화': 2, '촉각': 2, '최대': 2, '최상': 2, '최선': 2, '최악': 2, '최애': 2, '최저': 2, '최적': 1, '최초': 2, '최후': 2, '추락': 4, '출혈': 2, '충격': 1, '코앞': 3, '털썩': 2, '톡톡': 2, '투톱': 3, '특급': 4, '파격': 1, '편법': 1, '폭락': 3, '폭발': 2, '폭주': 2, '폭증': 2, '폭탄': 2, '폭풍': 2, '하락': 1, '한숨': 2, '함박': 3, '함정': 2, '허리띠': 1, '헌정 사상': 2, '헌정사상': 2, '혁명': 2, '호소': 1, '호평일색': 2, '호평 일색': 2, '호황': 3, '혼돈': 2, '홈런': 2, '확대': 1, '활기': 2, '활발': 1, '활짝': 2, '활활': 2, '후끈': 2, '훨훨': 2, '휩쓸다': 2, '흔들다': 2, 'imf 이후': 2, '역대급': 4, '무궁무진': 2, '1보': 1, '2보': 1, '3보': 1, '단독': 1, '속보': 1, '패닉': 3, '불패': 3, '제동': 2, '조짐': 1, '초긴장': 2, '급제동': 2, '뚝': 2, '복병': 2, '아우성': 3, '좌불안석': 3, '빈손': 2, '대세': 3, '생트집': 3, '주춤': 2, '끄덕': 2, '맞불': 2, '장벽': 2, '썰렁': 2, '먹구름': 3, '부메랑': 2, '롤러코스터': 2, '발목': 2, '반토막': 2, '휘청': 2, '곤두박질': 3, '울상': 2, '위풍당당': 3, '싸늘': 2, '주저': 1, '우수수': 2, '골머리': 2, '공화국': 3, '고공행진': 4}\n",
+    "econ_list = ['(?<![가-힣])정부(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])한국은행(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])기준금리(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])물가(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])인플레이션(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])디스인플레이션(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])환율(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])재정적자(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])국채(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])세제개편(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])복지지출(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])복지[\\\\s-]?지출(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])복지[\\\\s-]?지출(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])복지[\\\\s-]?지출(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])복지\\\\-지출(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])긴축(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])확장재정(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])통화정책(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])금통위(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])경기둔화(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])경기[\\\\s-]?둔화(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])경기[\\\\s-]?둔화(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])경기[\\\\s-]?둔화(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])경기\\\\-둔화(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])경기침체(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])경기반등(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])잠재성장률(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])생산성(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])반도체(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])배터리(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])전기차(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])데이터센터(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![A-Za-z])AI(?![A-Za-z])', '(?<![A-Za-z])AI(?![A-Za-z])', '(?<![가-힣])인공지능(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])로봇(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])플랫폼(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])빅테크(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])스타트업(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])구조조정(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![A-Za-z])M\\\\&A(?![A-Za-z])', '(?<![A-Za-z])IPO(?![A-Za-z])', '(?<![A-Za-z])IPO(?![A-Za-z])', '(?<![가-힣])상장(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])리콜(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])리쇼어링\\\\(reshoring\\\\)(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])공급망\\\\(supply\\\\ chain\\\\)(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])중국리스크(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])임금(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])최저임금(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])실업(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])고용지표(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])비정규직(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])노동시간(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])노동[\\\\s-]?시간(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])노동[\\\\s-]?시간(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])주거비(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])가계부채(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])가계[\\\\s-]?부채(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])가계[\\\\s-]?부채(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])주담대(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])연체율(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])파산(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])자영업(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])청년실업(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])청년[\\\\s-]?실업(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])청년[\\\\s-]?실업(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])여성고용(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])여성[\\\\s-]?고용(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])여성[\\\\s-]?고용(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])근로시간제(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])증시(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])코스피(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])코스닥(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])채권(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])은행(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])예대금리차(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])예대[\\\\s-]?금리차(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])예대[\\\\s-]?금리차(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])예금(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])대출(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])유동성(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![A-Za-z])PF(?![A-Za-z])', '(?<![A-Za-z])PF(?![A-Za-z])', '(?<![가-힣])프로젝트파이낸싱(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])증권사(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])자본확충(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])자본[\\\\s-]?확충(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])자본[\\\\s-]?확충(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])공매도(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![A-Za-z])ETF(?![A-Za-z])', '(?<![가-힣])디지털자산(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])디지털[\\\\s-]?자산(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])디지털[\\\\s-]?자산(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])암호화폐(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])스테이블코인(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])규제(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])부동산(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])주택공급(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])주택[\\\\s-]?공급(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])주택[\\\\s-]?공급(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])분양가상한제(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])분양가[\\\\s-]?상한제(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])분양가[\\\\s-]?상한제(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])재건축(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])재개발(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])용도지역(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])신도시(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])역세권(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])공공임대(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])공공[\\\\s-]?임대(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])공공[\\\\s-]?임대(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])토지거래허가(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣A-Za-z])건설사\\\\s*PF(?![가-힣A-Za-z])', '(?<![가-힣A-Za-z])건설사\\\\s*PF(?![가-힣A-Za-z])', '(?<![가-힣A-Za-z])건설사\\\\s*PF(?![가-힣A-Za-z])', '(?<![A-Za-z])SOC(?![A-Za-z])', '(?<![가-힣])교통망(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])미분양(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])전세(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])월세(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])외식물가(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])생활물가(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])국제유가(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])곡물가(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])전기요금(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])전기[\\\\s-]?요금(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])전기[\\\\s-]?요금(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])가스요금(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])가스[\\\\s-]?요금(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])가스[\\\\s-]?요금(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])공공요금(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])공공[\\\\s-]?요금(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])공공[\\\\s-]?요금(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])전력시장(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])전력[\\\\s-]?시장(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])전력[\\\\s-]?시장(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![A-Za-z])SMP(?![A-Za-z])', '(?<![A-Za-z])SMP(?![A-Za-z])', '(?<![가-힣])전력도매가(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])원전(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])태양광(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])풍력(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])수소(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])탄소배출권\\\\(ETS\\\\)(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![A-Za-z])RE100(?![A-Za-z])', '(?<![가-힣])수출(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])무역수지(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])무역[\\\\s-]?수지(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])무역[\\\\s-]?수지(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])경상수지(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])경상[\\\\s-]?수지(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])경상[\\\\s-]?수지(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])달러인덱스(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])달러[\\\\s-]?인덱스(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])달러[\\\\s-]?인덱스(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])원화[\\\\s-]?약세(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])원화[\\\\s-]?약세(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])원화[\\\\s-]?약세(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])원화[\\\\s-]?강세(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])원화[\\\\s-]?강세(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])원화[\\\\s-]?강세(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])통상마찰(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])관세(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])대미\\\\(IRA\\\\)(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])대EU\\\\(CBAM\\\\)(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])대중수출(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])대중[\\\\s-]?수출(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])대중[\\\\s-]?수출(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])반도체수출(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])반도체[\\\\s-]?수출(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])반도체[\\\\s-]?수출(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])프렌드쇼어링\\\\(friend\\\\-shoring\\\\)(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])오픈뱅킹(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])오픈[\\\\s-]?뱅킹(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])오픈[\\\\s-]?뱅킹(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])핀테크(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])마이데이터(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])마이[\\\\s-]?데이터(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])마이[\\\\s-]?데이터(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])디지털세(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])규제샌드박스(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])클라우드(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![A-Za-z])SaaS(?![A-Za-z])', '(?<![가-힣])데이터경제(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])개인정보(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])양극화(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])자산격차(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])소득분배(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])청년부담(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])노인빈곤(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])세대갈등(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])지역균형(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])지방소멸(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])주거불안(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])시스템리스크(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])시스템[\\\\s-]?리스크(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])시스템[\\\\s-]?리스크(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])그림자금융(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])그림자[\\\\s-]?금융(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])그림자[\\\\s-]?금융(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])역전세(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])연쇄부도(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])연쇄[\\\\s-]?부도(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])연쇄[\\\\s-]?부도(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])디폴트(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])신용스프레드(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])신용[\\\\s-]?스프레드(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])신용[\\\\s-]?스프레드(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])CDS프리미엄(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])신용경색(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])고금리[\\\\s-]?장기화(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])고금리[\\\\s-]?장기화(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])고금리[\\\\s-]?장기화(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])가계부채\\\\ 관리\\\\ 강화(?![가-힣])', '(?<![가-힣])부동산\\\\ PF\\\\ 부실(?![가-힣])', '(?<![가-힣])공공요금[\\\\s-]?인상(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])공공요금[\\\\s-]?인상(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])공공요금[\\\\s-]?인상(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])수출[\\\\s-]?반등(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])수출[\\\\s-]?반등(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])수출[\\\\s-]?반등(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])수출[\\\\s-]?둔화(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])수출[\\\\s-]?둔화(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])수출[\\\\s-]?둔화(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])정책[\\\\s-]?불확실성(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])정책[\\\\s-]?불확실성(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])정책[\\\\s-]?불확실성(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])관치금융(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])밸류업(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])임금\\\\-물가[\\\\s-]?악순환(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])임금\\\\-물가[\\\\s-]?악순환(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])임금\\\\-물가[\\\\s-]?악순환(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])투자[\\\\s-]?위축(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])투자[\\\\s-]?위축(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])투자[\\\\s-]?위축(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])인바운드\\\\ 관광\\\\ 회복(?![가-힣])', '(?<![가-힣])기후리스크(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![A-Za-z])CPI(?![A-Za-z])', '(?<![A-Za-z])CPI(?![A-Za-z])', '(?<![가-힣])소비자[\\\\s-]?물가(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])소비자[\\\\s-]?물가(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])소비자[\\\\s-]?물가(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])근원물가(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])근원[\\\\s-]?물가(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])근원[\\\\s-]?물가(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![A-Za-z])PPI(?![A-Za-z])', '(?<![A-Za-z])PMI(?![A-Za-z])', '(?<![A-Za-z])GDP(?![A-Za-z])','(?<![A-Za-z])IPI(?![A-Za-z])', '(?<![A-Za-z])IPI(?![A-Za-z])', '(?<![가-힣])광공업[\\\\s-]?생산(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])광공업[\\\\s-]?생산(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])광공업[\\\\s-]?생산(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])소비자심리지수(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])기대인플레(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])고용동향(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])가계신용(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])가계[\\\\s-]?신용(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])가계[\\\\s-]?신용(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])경상수지(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])경상[\\\\s-]?수지(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])경상[\\\\s-]?수지(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])수출입[\\\\s-]?통계(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])수출입[\\\\s-]?통계(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])수출입[\\\\s-]?통계(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])주택가격지수(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])전세가격지수(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])미분양통계(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])미분양[\\\\s-]?통계(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])미분양[\\\\s-]?통계(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![A-Za-z])FOMC(?![A-Za-z])', '(?<![A-Za-z])ECB(?![A-Za-z])', '(?<![A-Za-z])BOJ(?![A-Za-z])', '(?<![가-힣])금통위(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])OPEC\\\\+[\\\\s-]?회의(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])OPEC\\\\+[\\\\s-]?회의(?:은|는|이|가|을|를)?(?![가-힣])', '(?<![가-힣])OPEC\\\\+[\\\\s-]?회의(?:은|는|이|가|을|를)?(?![가-힣])']\n",
+    "\n",
+    "RE_BULLETS = re.compile(r\"[■◆◇]\")\n",
+    "RE_GUIDE   = re.compile(r\"^\\*.*$|^※.*$\", flags=re.MULTILINE)\n",
+    "RE_ROLES   = re.compile(r\"^(진행|앵커|출연)\\s*:\\s*.*$\", flags=re.MULTILINE)\n",
+    "RE_EMAIL   = re.compile(r\"[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\\.[a-zA-Z]{2,}\")\n",
+    "RE_EXTRA   = re.compile(r\"대담 발췌\\s*:\\s*.*$\", flags=re.MULTILINE)\n",
+    "RE_MULTINL = re.compile(r\"\\n+\")\n",
+    "RE_LSTRIP  = re.compile(r\"^\\s+\", flags=re.MULTILINE)\n",
+    "\n",
+    "def preprocess_text(text: str) -> str:\n",
+    "    if not isinstance(text, str): \n",
+    "        return \"\"\n",
+    "    text = RE_BULLETS.sub(\"\", text)\n",
+    "    text = RE_GUIDE.sub(\"\", text)\n",
+    "    text = RE_ROLES.sub(\"\", text)\n",
+    "    text = RE_EMAIL.sub(\"\", text)\n",
+    "    text = RE_EXTRA.sub(\"\", text)\n",
+    "    text = RE_MULTINL.sub(\"\\n\", text).strip()\n",
+    "    text = RE_LSTRIP.sub(\"\", text)\n",
+    "    return text\n",
+    "\n",
+    "def sentence_split(text: str):\n",
+    "    if not isinstance(text, str):\n",
+    "        text = \"\" if text is None else str(text)\n",
+    "    text = text.replace(\"\\n\", \".\")\n",
+    "    text = re.sub(r\"\\.{2,}\", \".\", text)\n",
+    "    return [s.strip() for s in text.split(\"다.\") if s.strip()]\n",
+    "\n",
+    "def top5_title_body_sim(title: str, body_text: str, sbert) -> float:\n",
+    "    sents = sentence_split(body_text)\n",
+    "    if not sents:\n",
+    "        return float(\"nan\")\n",
+    "    title_emb = sbert.encode(title, convert_to_tensor=True, normalize_embeddings=True)\n",
+    "    sent_embs = sbert.encode(sents, convert_to_tensor=True, normalize_embeddings=True)\n",
+    "    sims = util.pytorch_cos_sim(title_emb, sent_embs)[0].detach().cpu().numpy().tolist()\n",
+    "    sims.sort(reverse=True)\n",
+    "    return float(np.mean(sims[:5])) if sims else float(\"nan\")\n",
+    "\n",
+    "# 필요한 모델 불러오기\n",
+    "_tok = _bart = _sbert = None\n",
+    "def load_models():\n",
+    "    global _tok, _bart, _sbert\n",
+    "    if _tok is None or _bart is None:\n",
+    "        _tok = PreTrainedTokenizerFast.from_pretrained(\"digit82/kobart-summarization\")\n",
+    "        if _tok.pad_token is None: \n",
+    "            _tok.pad_token = _tok.eos_token\n",
+    "        _tok.model_max_length = 1024\n",
+    "        _bart = BartForConditionalGeneration.from_pretrained(\"digit82/kobart-summarization\")\n",
+    "        _bart.eval().to(DEVICE)\n",
+    "        if DEVICE == \"cuda\":\n",
+    "            try: \n",
+    "                _bart.half()\n",
+    "            except Exception:\n",
+    "                pass\n",
+    "    if _sbert is None:\n",
+    "        _sbert = SentenceTransformer(\"snunlp/KR-SBERT-V40K-klueNLI-augSTS\", device=SIM_DEVICE)\n",
+    "    return _tok, _bart, _sbert\n",
+    "\n",
+    "@torch.inference_mode()\n",
+    "def summarize(tok, model, text: str, max_new_tokens: int = 160) -> str:\n",
+    "    if not text: \n",
+    "        return \"\"\n",
+    "    enc = tok(text, return_tensors=\"pt\", truncation=True, max_length=1024, padding=False)\n",
+    "    out = model.generate(\n",
+    "        input_ids=enc[\"input_ids\"].to(DEVICE),\n",
+    "        attention_mask=enc[\"attention_mask\"].to(DEVICE),\n",
+    "        max_new_tokens=max_new_tokens,\n",
+    "        num_beams=4,\n",
+    "        no_repeat_ngram_size=3,\n",
+    "        length_penalty=1.0,\n",
+    "        early_stopping=True,\n",
+    "        use_cache=True\n",
+    "    )\n",
+    "    return tok.decode(out[0], skip_special_tokens=True)\n",
+    "\n",
+    "# 과장 표현 정규화 예외 설정\n",
+    "NORM_RULES = [\n",
+    "    (r'외환\\s*위기\\s*이후', '외환위기이후'),\n",
+    "    (r'IMF\\s*이후', 'IMF이후'),\n",
+    "    (r'imf\\s*이후', 'imf이후'),\n",
+    "    (r'IMF\\s*급', 'IMF급'),\n",
+    "    (r'imf\\s*급', 'imf급'),\n",
+    "    (r'호평\\s*일색', '호평일색'),\n",
+    "    (r'헌정\\s*사상', '헌정사상'),\n",
+    "    (r'역대\\s*최고', '역대최고'),\n",
+    "    (r'역대\\s*최다', '역대최다'),\n",
+    "    (r'역대\\s*최소', '역대최소'),\n",
+    "    (r'역대\\s*최저', '역대최저'),\n",
+    "]\n",
+    "USER_TERMS = [\n",
+    "    '대반전',\n",
+    "    '외환위기이후',\n",
+    "    '위기급', '재난급', '급물살',\n",
+    "    'IMF이후', 'imf이후',\n",
+    "    'IMF급', 'imf급',\n",
+    "    '역대최고', '역대최다', '역대최소', '역대최저',\n",
+    "    '역대급',\n",
+    "    '떡상', '떡락',\n",
+    "    '호평일색',\n",
+    "    '헌정사상',\n",
+    "]\n",
+    "def normalize_expressions(text: str) -> str:\n",
+    "    t = text if isinstance(text, str) else \"\"\n",
+    "    for pat, rep in NORM_RULES:\n",
+    "        t = re.sub(pat, rep, t)\n",
+    "    return t\n",
+    "\n",
+    "_score_map: Dict[str, int] = None\n",
+    "_unique_expr: List[str] = None\n",
+    "_lex_pats: List[re.Pattern] = None\n",
+    "_kiwi = None\n",
+    "\n",
+    "def _load_label_score_map_from_dict(exag_dict: Dict[str, int]) -> Tuple[Dict[str,int], List[str]]:\n",
+    "    \"\"\" exag 딕셔너리에서 점수 맵/표현 리스트 생성 \"\"\"\n",
+    "    score_map: Dict[str, int] = {}\n",
+    "    for k, v in (exag_dict or {}).items():\n",
+    "        key = re.sub(r\"\\s+\", \"\", str(k)).strip()\n",
+    "        try:\n",
+    "            val = int(v)\n",
+    "        except Exception:\n",
+    "            val = 0\n",
+    "        if key:\n",
+    "            if key in score_map:\n",
+    "                score_map[key] = max(score_map[key], val)\n",
+    "            else:\n",
+    "                score_map[key] = val\n",
+    "    unique_expr = sorted(score_map.keys())\n",
+    "    return score_map, unique_expr\n",
+    "\n",
+    "def _compile_patterns_from_list(regex_list: List[str]) -> List[re.Pattern]:\n",
+    "    \"\"\" econ_list 문자열 배열에서 정규식 패턴 컴파일 \"\"\"\n",
+    "    pats: List[re.Pattern] = []\n",
+    "    for p in (regex_list or []):\n",
+    "        if not isinstance(p, str):\n",
+    "            continue\n",
+    "        pat = p.strip()\n",
+    "        if not pat:\n",
+    "            continue\n",
+    "        try:\n",
+    "            pats.append(re.compile(pat, re.I))\n",
+    "        except re.error:\n",
+    "            # 잘못된 패턴은 무시\n",
+    "            pass\n",
+    "    return pats\n",
+    "\n",
+    "def _build_kiwi(unique_expr: List[str]):\n",
+    "    \"\"\" Kiwi > Okt > regex 순으로 형태소/토큰 추출기 준비 \"\"\"\n",
+    "    # 1) kiwipiepy\n",
+    "    try:\n",
+    "        from kiwipiepy import Kiwi\n",
+    "        kiwi = Kiwi()\n",
+    "        for w in USER_TERMS:\n",
+    "            kiwi.add_user_word(w, 'NNG', 10)\n",
+    "        for w in unique_expr:\n",
+    "            if isinstance(w, str) and len(w) >= 2:\n",
+    "                kiwi.add_user_word(w, 'NNG', 9)\n",
+    "        return kiwi, \"kiwi\"\n",
+    "    except Exception:\n",
+    "        pass\n",
+    "    # 2) konlpy Okt\n",
+    "    try:\n",
+    "        from konlpy.tag import Okt\n",
+    "        _okt = Okt()\n",
+    "        def _okt_extract(text: str):\n",
+    "            norm = normalize_expressions(text)\n",
+    "            # 명사/동사만\n",
+    "            return [w for w, t in _okt.pos(norm, norm=True, stem=True) if t in (\"Noun\",\"Verb\")]\n",
+    "        return _okt_extract, \"okt\"\n",
+    "    except Exception:\n",
+    "        # 3) 정규식 토큰 나누기\n",
+    "        def _regex_extract(text: str):\n",
+    "            norm = normalize_expressions(text)\n",
+    "            return re.findall(r\"[가-힣A-Za-z0-9]+\", norm)\n",
+    "        return _regex_extract, \"regex\"\n",
+    "\n",
+    "def _ensure_resources():\n",
+    "    global _score_map, _unique_expr, _lex_pats, _kiwi\n",
+    "    try:\n",
+    "        exag_dict = exag \n",
+    "    except NameError:\n",
+    "        raise RuntimeError(\"exag 딕셔너리가 정의되어 있지 않습니다. exag = {'표현': 점수, ...} 형태로 먼저 정의하세요.\")\n",
+    "    if _score_map is None or _unique_expr is None:\n",
+    "        _score_map, _unique_expr = _load_label_score_map_from_dict(exag_dict)\n",
+    "    if _lex_pats is None:\n",
+    "        try:\n",
+    "            econ = econ_list  \n",
+    "        except NameError:\n",
+    "            econ = []\n",
+    "        _lex_pats = _compile_patterns_from_list(econ)\n",
+    "    if _kiwi is None:\n",
+    "        _kiwi, _ = _build_kiwi(_unique_expr)\n",
+    "\n",
+    "# 형태소 추출(명사+동사)\n",
+    "def extract_noun_verb_kiwi(text: str) -> List[str]:\n",
+    "    _ensure_resources()\n",
+    "    norm = normalize_expressions(text)\n",
+    "    try:\n",
+    "        from kiwipiepy import Kiwi \n",
+    "        if isinstance(_kiwi, Kiwi):\n",
+    "            toks = []\n",
+    "            for tok in _kiwi.tokenize(norm):\n",
+    "                tag = tok.tag\n",
+    "                if tag.startswith(\"NN\"):\n",
+    "                    toks.append(tok.form)\n",
+    "                elif tag == \"VV\":\n",
+    "                    toks.append(tok.lemma if tok.lemma else tok.form)\n",
+    "            return toks\n",
+    "    except Exception:\n",
+    "        pass\n",
+    "    return _kiwi(norm)\n",
+    "\n",
+    "# 과장 라벨 점수 계산 및 가중치 산출\n",
+    "def _calc_raw_and_count(tokens: List[str]) -> Tuple[int, int]:\n",
+    "    _ensure_resources()\n",
+    "    if not isinstance(tokens, (list, tuple)):\n",
+    "        return 0, 0\n",
+    "    toks = [str(t).strip() for t in tokens if (t is not None) and str(t).strip() != \"\"]\n",
+    "    joined = \"\".join(toks)\n",
+    "    total_count, total_score = 0, 0\n",
+    "    for expr, sc in _score_map.items():\n",
+    "        c = joined.count(expr)  # non-overlapping\n",
+    "        if c:\n",
+    "            total_count += c\n",
+    "            total_score += c * int(sc)\n",
+    "    return int(total_score), int(total_count)\n",
+    "\n",
+    "def _bin_label(total_raw: int) -> int:\n",
+    "    # (-inf,0] -> 0, [1,2] -> 1, [3,4] -> 2, [5, inf) -> 3\n",
+    "    if total_raw <= 0: return 0\n",
+    "    if 1 <= total_raw <= 2: return 1\n",
+    "    if 3 <= total_raw <= 4: return 2\n",
+    "    return 3\n",
+    "\n",
+    "def _weight_by_count(n: int) -> float:\n",
+    "    if n == 1: return 1.0\n",
+    "    if n == 2: return 1.3\n",
+    "    if n == 3: return 1.5\n",
+    "    if n >= 4: return 1.7\n",
+    "    return 0.0\n",
+    "\n",
+    "def _has_keyword_and_matches(text: str) -> Tuple[bool, List[str]]:\n",
+    "    _ensure_resources()\n",
+    "    t = text or \"\"\n",
+    "    seen, out = set(), []\n",
+    "    has_any = False\n",
+    "    for pat in _lex_pats:\n",
+    "        m = pat.search(t)\n",
+    "        if m:\n",
+    "            has_any = True\n",
+    "            s = m.group(0)\n",
+    "            if s not in seen:\n",
+    "                seen.add(s)\n",
+    "                out.append(s)\n",
+    "    return has_any, out\n",
+    "\n",
+    "# 메인 파이프라인\n",
+    "def run_once(title: str, body: str,\n",
+    "             short_pass_len: int = 50, max_new_tokens: int = 160):\n",
+    "    _ensure_resources()\n",
+    "\n",
+    "    # 모델\n",
+    "    tok, bart, sbert = load_models()\n",
+    "\n",
+    "    # 본문 전처리\n",
+    "    body_clean = preprocess_text(body)\n",
+    "\n",
+    "    # 요약\n",
+    "    if len(body_clean) < short_pass_len:\n",
+    "        summ = body_clean\n",
+    "    else:\n",
+    "        try:\n",
+    "            @torch.inference_mode()\n",
+    "            def _summarize(tok, model, text, max_new_tokens=160):\n",
+    "                enc = tok(text, return_tensors=\"pt\", truncation=True, max_length=1024, padding=False)\n",
+    "                out = model.generate(\n",
+    "                    input_ids=enc[\"input_ids\"].to(DEVICE),\n",
+    "                    attention_mask=enc[\"attention_mask\"].to(DEVICE),\n",
+    "                    max_new_tokens=max_new_tokens,\n",
+    "                    num_beams=4,\n",
+    "                    no_repeat_ngram_size=3,\n",
+    "                    length_penalty=1.0,\n",
+    "                    early_stopping=True,\n",
+    "                    use_cache=True\n",
+    "                )\n",
+    "                return tok.decode(out[0], skip_special_tokens=True)\n",
+    "            summ = _summarize(tok, bart, body_clean, max_new_tokens=max_new_tokens)\n",
+    "        except Exception as e:\n",
+    "            print(f\"[WARN] summarization failed: {e}\")\n",
+    "            summ = \"\"\n",
+    "\n",
+    "    # 유사도\n",
+    "    try:\n",
+    "        if summ:\n",
+    "            tvec = sbert.encode(title, convert_to_tensor=True, normalize_embeddings=True)\n",
+    "            svec = sbert.encode(summ,  convert_to_tensor=True, normalize_embeddings=True)\n",
+    "            sim_sy = float(util.pytorch_cos_sim(tvec, svec).item())\n",
+    "        else:\n",
+    "            sim_sy = float(\"nan\")\n",
+    "    except Exception as e:\n",
+    "        print(f\"[WARN] title-summary sim failed: {e}\")\n",
+    "        sim_sy = float(\"nan\")\n",
+    "\n",
+    "    try:\n",
+    "        sim_b5 = top5_title_body_sim(title, body_clean, sbert)\n",
+    "    except Exception as e:\n",
+    "        print(f\"[WARN] title-body top5 sim failed: {e}\")\n",
+    "        sim_b5 = float(\"nan\")\n",
+    "\n",
+    "    # 제목 형태소(명사/동사)\n",
+    "    try:\n",
+    "        title_nv = extract_noun_verb_kiwi(title)\n",
+    "    except Exception as e:\n",
+    "        print(f\"[WARN] kiwi extract failed: {e}\")\n",
+    "        title_nv = re.findall(r\"[가-힣A-Za-z0-9]+\", normalize_expressions(title or \"\"))\n",
+    "\n",
+    "    # 라벨 원점수/등장횟수 → 라벨점수 → 가중치 최종점수\n",
+    "    raw_score, cnt = _calc_raw_and_count(title_nv)\n",
+    "    label_score = _bin_label(raw_score)              # 0/1/2/3\n",
+    "    weight = _weight_by_count(cnt)                   # 1.0/1.3/1.5/1.7\n",
+    "    label_final = float(label_score) * float(weight) # df['최종점수']\n",
+    "\n",
+    "    # 본문 키워드 여부/매칭 → 1.15배\n",
+    "    has_kw, matches = _has_keyword_and_matches(body_clean)\n",
+    "    exag_score = label_final * (1.15 if has_kw else 1.0)   # df[\"과장점수\"]\n",
+    "\n",
+    "    # 불일치도 & log10\n",
+    "    summary_mismatch = (1 - sim_sy) if not np.isnan(sim_sy) else np.nan\n",
+    "    body_mismatch    = (1 - sim_b5) if not np.isnan(sim_b5) else np.nan\n",
+    "    exag_log10       = float(np.log10(exag_score + 1.0))\n",
+    "\n",
+    "    # 최종 기사 점수\n",
+    "    if not (np.isnan(summary_mismatch) or np.isnan(body_mismatch)):\n",
+    "        final_article_score = round((exag_log10*0.5 + summary_mismatch*0.25 + body_mismatch*0.25) * 5, 2)\n",
+    "    else:\n",
+    "        final_article_score = np.nan\n",
+    "\n",
+    "    return {\n",
+    "        \"요약\": summ,\n",
+    "        \"요약유사도\": sim_sy,\n",
+    "        \"본문 일치도(Top5 평균)\": sim_b5,\n",
+    "        \"title_nv\": title_nv, #형태소 분석된 제목 리스트 \n",
+    "        \"원점수\": raw_score,  #과장 표현 원점수\n",
+    "        \"등장횟수\": cnt,\n",
+    "        \"라벨점수\": int(label_score),\n",
+    "        \"가중치\": float(weight),\n",
+    "        \"라벨최종점수\": float(label_final), \n",
+    "        \"has_keyword\": bool(has_kw), #가중 키워드 본문 포함 여부\n",
+    "        \"matches\": matches, # 가중 키워드로 선정된 키워드 리스트\n",
+    "        \"과장점수\": float(exag_score),\n",
+    "        \"과장점수_log10\": exag_log10, #과장 최종 점수\n",
+    "        \"요약 불일치도\": summary_mismatch,\n",
+    "        \"본문 불일치도\": body_mismatch,\n",
+    "        \"최종 기사 점수\": final_article_score\n",
+    "    }\n",
+    "\n",
+    "def run_cli():\n",
+    "    print(\"제목을 입력하세요:\")\n",
+    "    title = input().strip()\n",
+    "    print(\"본문을 입력하세요:\")\n",
+    "    body = input().strip()\n",
+    "    r = run_once(title, body)\n",
+    "    print(\"\\n===== 결과 =====\")\n",
+    "    print(\"본문 요약:\\n\", r[\"요약\"])\n",
+    "    print(\"제목과 본문 요약 유사도:\", round(r[\"요약유사도\"], 4))\n",
+    "    print(\"제목과 본문 일치도(Top5 평균):\", round(r[\"본문 일치도(Top5 평균)\"], 4))\n",
+    "    print(\"과장점수(log화):\", round(r[\"과장점수_log10\"], 4))\n",
+    "    print(\"\\n최종 제목 주의 점수는\", r[\"최종 기사 점수\"], \"입니다\")\n",
+    "\n",
+    "def run_ui():\n",
+    "    import gradio as gr\n",
+    "    def predict(title, body):\n",
+    "        r = run_once(title, body)\n",
+    "        return (\n",
+    "            r[\"요약\"],\n",
+    "            r[\"요약유사도\"],\n",
+    "            r[\"본문 일치도(Top5 평균)\"],\n",
+    "            r[\"과장점수\"],\n",
+    "            r[\"최종 기사 점수\"],\n",
+    "        )\n",
+    "    demo = gr.Interface(\n",
+    "        fn=predict,\n",
+    "        inputs=[gr.Textbox(label=\"제목\", lines=2),\n",
+    "                gr.Textbox(label=\"본문\", lines=18, placeholder=\"여기에 기사 본문을 붙여넣으세요\")],\n",
+    "        outputs=[gr.Textbox(label=\"요약\", lines=10),\n",
+    "                 gr.Number(label=\"요약유사도\"),\n",
+    "                 gr.Number(label=\"본문 일치도(Top5 평균)\"),\n",
+    "                 gr.Number(label=\"과장점수\"),\n",
+    "                 gr.Number(label=\"최종 기사 점수\")],\n",
+    "        title=\"뉴스 요약·유사도·과장점수·최종점수\",\n",
+    "        description=\"제목/본문을 입력하면 요약, ���사도, 과장 점수 및 최종 기사 점수를 계산합니다.\"\n",
+    "    )\n",
+    "    demo.launch()\n",
+    "\n",
+    "if __name__ == \"__main__\":\n",
+    "    parser = argparse.ArgumentParser()\n",
+    "    parser.add_argument(\"--ui\", action=\"store_true\", help=\"Gradio UI 실행\")\n",
+    "    args, _ = parser.parse_known_args()  # unknown args(-f ...) 무시\n",
+    "    if args.ui:\n",
+    "        run_ui()\n",
+    "    else:\n",
+    "        run_cli()"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "id": "a8992005-42e4-4651-a038-cc2f8a31af9e",
+   "metadata": {},
+   "outputs": [],
+   "source": []
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "id": "ff8e45fd-920d-4250-a1e9-56ee7f67c041",
+   "metadata": {},
+   "outputs": [],
+   "source": []
+  }
+ ],
+ "metadata": {
+  "kernelspec": {
+   "display_name": "Python 3 (ipykernel)",
+   "language": "python",
+   "name": "python3"
+  },
+  "language_info": {
+   "codemirror_mode": {
+    "name": "ipython",
+    "version": 3
+   },
+   "file_extension": ".py",
+   "mimetype": "text/x-python",
+   "name": "python",
+   "nbconvert_exporter": "python",
+   "pygments_lexer": "ipython3",
+   "version": "3.11.9"
+  }
+ },
+ "nbformat": 4,
+ "nbformat_minor": 5
+}