hapus notif vector dan tambahkan trace langsmith

app.py

@@ -126,19 +126,19 @@ def main():
                     with st.spinner("Mengunggah vector store ke Supabase..."):
                         success = save_vector_store_to_supabase(vector_store, supabase, BUCKET_NAME, VECTOR_STORE_PREFIX)
                         if success:
-                            st.success("✅ Vector store berhasil diunggah ke Supabase!")
+                            print("✅ Vector store berhasil diunggah ke Supabase!")
                         else:
-                            st.error("❌ Gagal mengunggah vector store ke Supabase.")
+                            print("❌ Gagal mengunggah vector store ke Supabase.")
                 else:
-                    st.warning("⚠️ Folder 'data/' kosong. Chatbot tetap bisa digunakan, tetapi tanpa konteks dokumen.")
+                    print("⚠️ Folder 'data/' kosong. Chatbot tetap bisa digunakan, tetapi tanpa konteks dokumen.")
                     vector_store = None
         else:
             with st.spinner("Memuat vector store dari Supabase..."):
                 vector_store = load_vector_store_from_supabase(supabase, BUCKET_NAME, VECTOR_STORE_PREFIX)
                 if vector_store:
-                    st.success("✅ Vector store berhasil dimuat dari Supabase!")
+                    print("✅ Vector store berhasil dimuat dari Supabase!")
                 else:
-                    st.error("❌ Gagal memuat vector store dari Supabase.")
+                    print("❌ Gagal memuat vector store dari Supabase.")
     else:
         vector_store = st.session_state.get("vector_store") or load_vector_store_from_supabase(supabase, BUCKET_NAME, VECTOR_STORE_PREFIX)
 

evaluate.py

@@ -10,6 +10,8 @@ from typing import List, Dict, Any, Tuple
 from dataclasses import dataclass, asdict
 import statistics
 from datetime import datetime
+from langsmith import traceable
+from langsmith import Client
 
 # Set up logging
 logging.basicConfig(
@@ -279,7 +281,7 @@ Penjelasan: <alasan_detail_mengapa_skor_tersebut>"""
         logger.info(f"[{index}/{total}] Scores - C:{correctness_score:.3f} R:{relevance_score:.3f} G:{groundedness_score:.3f} Ret:{retrieval_score:.3f}")
         
         return result
-    
+    @traceable(name="Evaluasi RAG Sahabat-AI",)
     def run_evaluation(self, dataset: List[Dict[str, Any]], 
                       save_path: str = "pnp_evaluation_results.json") -> Dict[str, Any]:
         """Run evaluation on PNP dataset"""
@@ -496,7 +498,7 @@ evaluation_dataset = [
         "ground_truth": "Politeknik Negeri Padang menjalin kerjasama dengan industri, pemerintah, BUMN, dan asosiasi profesi baik dalam negeri maupun luar negeri. Bentuk kerjasama mencakup rekrutmen, prakerin (praktik kerja industri), kunjungan industri, bimbingan karir, serta pembuatan MoU. Tujuannya untuk menjaga mutu lulusan dan penyaluran SDM."
     },
     {
-        "question": "Siapa saja direktur di Politeknik Negeri Padang saat ini?",
+        "question": "Siapa direktur di Politeknik Negeri Padang saat ini?",
         "ground_truth": "Direktur Politeknik Negeri Padang adalah Dr. Ir. Surfa Yondri, S.T., S.ST., M.Kom. Wakil Direktur Bidang Akademik adalah Ir. Revalin Herdianto, ST., M.Sc., Ph.D. Pimpinan lainnya antara lain Nasrullah, ST., M.T., dan Sarmiadi, S.E., M.M. yang memiliki pengalaman panjang dalam jabatan struktural di kampus."
     },
     {
@@ -506,8 +508,11 @@ evaluation_dataset = [
 ]
 
 def main():
+    
     """Main execution function"""
     try:
+        client = Client()  # Inisialisasi client LangSmith
+        print(f"LangSmith Project: {os.getenv('LANGCHAIN_PROJECT')}")
         # Initialize evaluator
         evaluator = PNPRAGEvaluator()