add evaluation

.env.example

@@ -1,3 +1,13 @@
 REPLICATE_API_TOKEN=
+
 SUPABASE_URL=
-SUPABASE_KEY=
+SUPABASE_KEY=
+SUPABASE_STORAGE_BUCKET=
+
+
+HUGGINGFACEHUB_API_TOKEN=
+LANGSMITH_TRACING=
+LANGSMITH_ENDPOINT=
+LANGSMITH_API_KEY=
+LANGSMITH_PROJECT=
+OPENAI_API_KEY=

app.py

@@ -19,7 +19,7 @@ load_dotenv()
 
 # Supabase configuration
 BUCKET_NAME = "pnp-bot-storage-archive"
-VECTOR_STORE_PREFIX = "vector_store"  # Changed from file name to prefix
+VECTOR_STORE_PREFIX = "vector_store"  
 DATA_DIR = "data"
 
 @traceable(name="Create RAG Conversational Chain")
@@ -92,7 +92,6 @@ def vector_store_is_outdated():
     
     return data_time > supabase_time
 
-@traceable(name="Main Chatbot RAG App")
 @traceable(name="Main Chatbot RAG App")
 def main():
     initialize_session_state()

app/document_processor.py

@@ -102,18 +102,12 @@ def process_documents(docs):
         model_kwargs={"device": "cpu"},
         encode_kwargs={"normalize_embeddings": True}
     )
-
-    combined_docs = []
-    for doc in docs:
-        # Gunakan page_content langsung tanpa split
-        text = doc.page_content if hasattr(doc, "page_content") else doc
-        metadata = doc.metadata if hasattr(doc, "metadata") else {}
-
-        combined_doc = Document(
-            page_content=text,
-            metadata=metadata
-        )
-        combined_docs.append(combined_doc)
-
-    vector_store = FAISS.from_documents(combined_docs, embeddings)
-    return vector_store
+    
+    text_splitter = RecursiveCharacterTextSplitter(
+        chunk_size=1500,
+        chunk_overlap=300
+    )
+    text_chunks = text_splitter.split_documents(docs)
+    vector_store = FAISS.from_documents(text_chunks, embeddings)
+    
+    return vector_store

dataset_rag_pnp.py

@@ -0,0 +1,46 @@
+dataset = [
+    {
+        'question': '''Bagaimana sistem pendidikan yang diterapkan di Politeknik Negeri Padang?''',
+        'ground_truth': '''Sistem pendidikan yang diterapkan di Politeknik adalah dengan menggabungkan pendidikan teoritis, praktek (terapan) di Laboratorium dan praktek industry. Pelaksanaan praktik di industri dilakukan oleh mahasiswa selama satu semester untuk menambah wawasan, pengalaman dan pengembangan ilmu guna membentuk tenaga ahli yang terampil dan profesional.'''
+    },
+    {
+        'question': '''Apa saja mata kuliah yang terdapat dalam kurikulum pendidikan Politeknik Negeri Padang?''',
+        'ground_truth': '''Kurikulum Pendidikan telah disusun berbasis kompetensi dengan kelompok mata kuliah sebagai berikut : - Mata Kuliah Pengembangan Kepribadian (MPK) - Mata Kuliah Keimuan dan Keterampilan (MKK) - Mata Kuliah Berkarya (MKB) - Mata Kuliah Berkehidupan Bermasyarakat (MBB)'''
+    },
+    {
+        'question': '''Bagaimana Politeknik Negeri Padang mendukung misi tridharma perguruan tinggi?''',
+        'ground_truth': '''Politeknik Negeri Padang dalam menjalankan misi tridharma perguruan tinggi didukung oleh tenaga pendidik dan tenaga kependidikan yang profesional pada bidangnya. Jumlah dan kualifikasi staf tersebut berdasarkan keadaan Desember 2017 sebagai berikut : - Tenaga Pendidik : S1 = 14 orang, S2 = 256 orang, S3 = 21 orang (Yang sedang menempuh S3 = 7 orang, Yang sedang menempuh S2 = 5 orang) - Tenaga Kependidikan : SD = 5 orang, SMP = 4 orang, SLTA = 71 orang, D3 = 25 orang, S1 = 54 orang, S2 = 15 orang.'''
+    },
+    {
+        'question': '''Bagaimana Politeknik Negeri Padang menyediakan akses internet bagi mahasiswa?''',
+        'ground_truth': '''Politeknik Negeri Padang telah memiliki Anjungan Internet Mandiri (AIM) yang dapat diakses oleh mahasiswa secara gratis, yang tersedia pada titik-titik strategis. Juga tersedia kawasan hot spot area di sekitar kampus sehingga mahasiswa dapat memanfaatkan internet dengan bebas menggunakan laptop/PC.'''
+    },
+    {
+        'question': '''Apa saja contoh kerjasama Politeknik Negeri Padang dengan industri?''',
+        'ground_truth': '''PT. Siemens Indonesia, PT. Toyota Aichi Takaoua Japan, PT. PLN, PT. INTI, Futaba Rashi Siisha Kusho Japan, PT. Sintom, PT. Krakatau Steel, Komatssu Shinge Koumuten, PT. PAL Indonesia, PT. Hexindo, Taishurin Co. Ltd Fukuoaka Japan, PT. Texmaco Perkasa, PT. LEN Industri, PT. Toyota Astra Motor, PT. Indah Kiat, PT. Trakindo Utama, BTN.'''
+    },
+    {
+        'question': '''Bagaimana Politeknik Negeri Padang membantu mahasiswa dalam bidang prestasi dan ekonomi?''',
+        'ground_truth': '''Tersedia bantuan untuk sekitar 800 mahasiswa setiap tahunnya. Beasiswa yang diterima antara lain: - Beasiswa Peningkatan Prestasi Akademik (PPA), - Beasiswa Kerja Mahasiswa (BKM), - Beasiswa Bantuan Belajar Mahasiswa (BBM), - Beasiswa TPSDP, - Beasiswa Kredit Bantuan Belajar Mahasiswa (KBBM), - Beasiswa Depertemen Hankam (ABRI), - Beasiswa PT. Toyota Astra, - Beasiswa ORBIT (ICMI), - Beasiswa Supersemar.'''
+    },
+    {
+        'question': '''Bagaimana status akreditasi program studi di Politeknik Negeri Padang?''',
+        'ground_truth': '''Program studi di Politeknik Negeri Padang memiliki status akreditasi yang bervariasi seperti Baik, Baik Sekali, hingga Unggul. Contohnya, Teknik Mesin (D3) terakreditasi Baik Sekali hingga 2029, Teknik Manufaktur (D4) terakreditasi Unggul hingga 2028, dan Teknik Sipil (D3) terakreditasi A hingga 2026. Setiap program memiliki SK dan sertifikat akreditasi resmi.'''
+    },
+    {
+        'question': '''Bagaimana proses penerimaan mahasiswa baru di Politeknik Negeri Padang?''',
+        'ground_truth': '''Penerimaan mahasiswa baru di Politeknik Negeri Padang dilakukan melalui berbagai jalur seleksi seperti SNBT, SNMPN, dan kelas kerjasama. Tersedia brosur dan informasi detail melalui situs http://penerimaan.pnp.ac.id. Program studi Teknik Alat Berat misalnya memiliki kelas kerjasama dengan PT Trakindo Utama. Jadwal seleksi dan pengumuman dapat diakses secara daring.'''
+    },
+    {
+        'question': '''Apa bentuk kerjasama yang dilakukan Politeknik Negeri Padang?''',
+        'ground_truth': '''Politeknik Negeri Padang menjalin kerjasama dengan industri, pemerintah, BUMN, dan asosiasi profesi baik dalam negeri maupun luar negeri. Bentuk kerjasama mencakup rekrutmen, prakerin (praktik kerja industri), kunjungan industri, bimbingan karir, serta pembuatan MoU. Tujuannya untuk menjaga mutu lulusan dan penyaluran SDM.'''
+    },
+    {
+        'question': '''Siapa saja pimpinan di Politeknik Negeri Padang saat ini?''',
+        'ground_truth': '''Direktur Politeknik Negeri Padang adalah Dr. Ir. Surfa Yondri, S.T., S.ST., M.Kom. Wakil Direktur Bidang Akademik adalah Ir. Revalin Herdianto, ST., M.Sc., Ph.D. Pimpinan lainnya antara lain Nasrullah, ST., M.T., dan Sarmiadi, S.E., M.M. yang memiliki pengalaman panjang dalam jabatan struktural di kampus.'''
+    },
+    {
+        'question': '''Bagaimana sejarah singkat berdirinya Politeknik Negeri Padang?''',
+        'ground_truth': '''Politeknik Negeri Padang didirikan pada tahun 1987 sebagai salah satu dari 17 politeknik pertama di Indonesia. Awalnya bernama Politeknik Engineering Universitas Andalas. Pada 1997 menjadi Politeknik Universitas Andalas lalu berubah menjadi Politeknik Negeri Padang. Saat ini memiliki 32 program studi dari jenjang D3 hingga Magister Terapan.'''
+    },
+]

requirements.txt

@@ -115,4 +115,5 @@ soundfile
 SpeechRecognition
 chardet
 streamlit_mic_recorder
-gtts
+gtts
+playwright

tests/test_admin.py

@@ -0,0 +1,65 @@
+from playwright.sync_api import sync_playwright
+import time
+import os
+import random
+
+# Ganti path ini dengan path file kamu
+FILE_PATH = r"C:\path\ke\contoh\file.pdf"
+
+def run_test():
+    with sync_playwright() as p:
+        browser = p.chromium.launch(headless=False)  # headless=False untuk lihat
+        page = browser.new_page()
+
+        # 1️⃣ Akses halaman login
+        page.goto("https://yozora721-pnp-chatbot-admin-v1.hf.space/login")
+        page.wait_for_timeout(2000)
+
+        # 2️⃣ Login dengan admin
+        page.fill("input[name='email']", "[email protected]")
+        page.fill("input[name='password']", "password")
+        page.click("text=Login")
+        page.wait_for_timeout(3000)
+
+        # 3️⃣ Verifikasi status awal
+        documents_count = page.inner_text("text=documents available") if page.is_visible("text=documents available") else "Tidak ditemukan"
+        print(f"👉 Status awal dokumen: {documents_count}")
+
+        # 4️⃣ Klik "Upload Document" dan pilih file
+        page.click("text=Upload Document")
+        page.wait_for_timeout(2000)
+
+        page.set_input_files("input[type='file']", FILE_PATH)
+        page.click("text=Upload")
+        page.wait_for_timeout(3000)
+
+        # 5️⃣ Klik "Start Scraping"
+        page.click("text=Start Scraping")
+        page.wait_for_timeout(1000)
+
+        # Memilih item dari Dropdown Scraping
+        items = page.query_selector_all("//div[contains(@class,'menu-item')]")  # contoh
+        if items:
+            item = random.choice(items)
+            item.click()
+            page.wait_for_timeout(3000)
+
+        # 6️⃣ Klik "Filter All Semesters"
+        page.click("text=All Semesters")
+        page.wait_for_timeout(2000)
+
+        # 7️⃣ Klik "Refresh"
+        page.click("text=Refresh")
+        page.wait_for_timeout(2000)
+
+        # 8️⃣ Klik "Log Out"
+        page.click("text=Log Out")
+        page.wait_for_timeout(2000)
+
+        print("✅ Test Admin Page selesai!")
+
+        browser.close()
+
+
+if __name__ == "__main__":
+    run_test()

tests/test_chatbot.py

@@ -0,0 +1,72 @@
+from playwright.sync_api import sync_playwright
+import time
+
+URL = "https://yozora721-pnp-chatbot-v1.hf.space"
+PERTANYAAN = "Halo"
+
+def kirim_pertanyaan(page, pertanyaan: str):
+    """Ketik pertanyaan dan kirim."""
+    page.locator('textarea[placeholder="Masukkan pertanyaan"]').fill(pertanyaan)
+    page.keyboard.press("Enter")
+    page.wait_for_selector('.stChatMessage', timeout=60000)
+
+def jumlah_tag_audio(page) -> int:
+    """Hitung jumlah tag <audio>"""
+    return len(page.query_selector_all("audio"))
+
+def klik_toggle_tts(page):
+    """Klik Toggle TTS sesuai status awal"""
+    aktif = page.locator('text=🔊 Text-to-Speech Aktif')
+    nonaktif = page.locator('text=🔇 Text-to-Speech Nonaktif')
+    if aktif.count() > 0:
+        aktif.click()
+    elif nonaktif.count() > 0:
+        nonaktif.click()
+
+def test_tts_condition(page, tts_aktif: bool):
+    """Test untuk satu skenario."""
+    print(f"\n=== TEST: {'TTS Aktif' if tts_aktif else 'TTS Nonaktif'} ===")
+    awal_aktif = page.locator('text=🔊 Text-to-Speech Aktif')
+    awal_nonaktif = page.locator('text=🔇 Text-to-Speech Nonaktif')
+
+    # Atur status sesuai kebutuhan
+    if tts_aktif and awal_nonaktif.count() > 0:
+        klik_toggle_tts(page)
+
+    if not tts_aktif and awal_aktif.count() > 0:
+        klik_toggle_tts(page)
+
+    kirim_pertanyaan(page, PERTANYAAN)
+
+    jumlah_audio = jumlah_tag_audio(page)
+
+    if tts_aktif:
+        if jumlah_audio > 0:
+            print(f"✅ [AKTIF] Ada {jumlah_audio} tag <audio> (sesuai ekspektasi).")
+        else:
+            print(f"❌ [AKTIF] Tidak ditemukan tag <audio>.")
+    else:
+        if jumlah_audio == 0:
+            print(f"✅ [NONAKTIF] Tidak ditemukan tag <audio> (sesuai ekspektasi).")
+        else:
+            print(f"❌ [NONAKTIF] Ada {jumlah_audio} tag <audio>, tidak sesuai ekspektasi.")
+
+    time.sleep(3)  # buat melihat efek sebelum tes selanjutnya
+
+def main():
+    """Main entry point."""
+    with sync_playwright() as p:
+        browser = p.chromium.launch(headless=False)  # True kalau tidak perlu melihat
+        page = browser.new_page()
+        page.goto(URL)
+
+        # Test dengan TTS aktif
+        test_tts_condition(page, True)
+
+        # Test dengan TTS nonaktif
+        test_tts_condition(page, False)
+
+        browser.close()
+
+if __name__ == '__main__':
+    main()