add more evaluation

.gitignore

@@ -3,4 +3,5 @@
 /app/__pycache__
 /tests/__pycache__
 /app/scrapping/*.py
-/vector_store_data
+/vector_store_data
+/hasil_evaluasi

evaluate.py

@@ -49,9 +49,16 @@ class PNPRAGEvaluator:
         # Initialize Replicate LLM
         self.llm = Replicate(
             model="fauziisyrinapridal/sahabat-ai-v1:afb9fa89fe786362f619fd4fef34bd1f7a4a4da23073d8a6fbf54dcbe458f216",
-            model_kwargs={"temperature": 0.1, "top_p": 0.9, "max_new_tokens": 10000},
+            model_kwargs={"temperature": 0.5, "top_p": 1, "max_new_tokens": 10000},
             replicate_api_token=os.getenv("REPLICATE_API_TOKEN")
         )
+
+        # self.llm = ChatOllama(
+        #     model="llama3",
+        #     temperature=0.1,
+        #     max_tokens=10000,
+        #     top_p=0.9
+        # )
         
         # Initialize memory
         self.memory = ConversationBufferMemory(
@@ -63,7 +70,7 @@ class PNPRAGEvaluator:
         # Initialize RAG chain
         self.chain = ConversationalRetrievalChain.from_llm(
             self.llm, 
-            retriever=self.vector_store.as_retriever(search_kwargs={"k": 10}),
+            retriever=self.vector_store.as_retriever(search_kwargs={"k": 6}),
             combine_docs_chain_kwargs={"prompt": sahabat_prompt},
             return_source_documents=True, 
             memory=self.memory
@@ -167,7 +174,7 @@ PERTANYAAN: {question}
 JAWABAN REFERENSI (BENAR): {ground_truth}
 JAWABAN YANG DIEVALUASI: {answer}
 
-Berikan skor antara 0.0 (sepenuhnya salah) hingga 1.0 (sepenuhnya benar).
+Berikan skor antara 0.00 (sepenuhnya salah) hingga 1.00 (sepenuhnya benar).
 Pertimbangkan:
 - Apakah fakta dalam jawaban sesuai dengan referensi?
 - Apakah informasi yang diberikan akurat tentang PNP?
@@ -182,7 +189,7 @@ Penjelasan: <alasan_detail_mengapa_skor_tersebut>""",
 PERTANYAAN: {question}
 JAWABAN: {answer}
 
-Berikan skor antara 0.0 (tidak relevan sama sekali) hingga 1.0 (sangat relevan dan tepat sasaran).
+Berikan skor antara 0.00 (tidak relevan sama sekali) hingga 1.00 (sangat relevan dan tepat sasaran).
 Pertimbangkan:
 - Apakah jawaban menjawab langsung pertanyaan yang diajukan?
 - Apakah informasi yang diberikan sesuai dengan konteks PNP?
@@ -199,7 +206,7 @@ DOKUMEN/KONTEKS:
 
 JAWABAN: {answer}
 
-Berikan skor antara 0.0 (tidak berdasar pada dokumen) hingga 1.0 (sepenuhnya berdasar pada dokumen).
+Berikan skor antara 0.00 (tidak berdasar pada dokumen) hingga 1.00 (sepenuhnya berdasar pada dokumen).
 Pertimbangkan:
 - Apakah klaim dalam jawaban didukung oleh dokumen?
 - Apakah ada informasi yang dibuat-buat atau tidak ada di dokumen?
@@ -215,7 +222,7 @@ PERTANYAAN: {question}
 DOKUMEN YANG DIAMBIL:
 {docs_text}
 
-Berikan skor antara 0.0 (dokumen tidak relevan) hingga 1.0 (dokumen sangat relevan dan lengkap).
+Berikan skor antara 0.00 (dokumen tidak relevan) hingga 1.00 (dokumen sangat relevan dan lengkap).
 Pertimbangkan:
 - Apakah dokumen mengandung informasi yang dibutuhkan untuk menjawab pertanyaan?
 - Apakah ada informasi penting yang tidak terambil?
@@ -504,7 +511,11 @@ evaluation_dataset = [
     {
         "question": "Bagaimana sejarah singkat berdirinya Politeknik Negeri Padang?",
         "ground_truth": "Politeknik Negeri Padang didirikan pada tahun 1987 sebagai salah satu dari 17 politeknik pertama di Indonesia. Awalnya bernama Politeknik Engineering Universitas Andalas. Pada 1997 menjadi Politeknik Universitas Andalas lalu berubah menjadi Politeknik Negeri Padang. Saat ini memiliki 32 program studi dari jenjang D3 hingga Magister Terapan."
-    }
+    },
+    {
+        "question": "Apa saja jurusan dan program studi yang tersedia di Politeknik Negeri Padang?",
+        "ground_truth": "Politeknik Negeri Padang memiliki 7 jurusan teknologi informasi, teknik mesin, teknik elektro, bahasa inggris, administrasi niaga, teknik sipil, dan akuntansi Saat ini memiliki 37 program studi dari jenjang D3 hingga Magister Terapan."
+    },
 ]
 
 def main():

evaluate_english.py

@@ -0,0 +1,542 @@
+from langchain_community.chat_models import ChatOllama
+from app.document_processor import load_vector_store_from_supabase
+from app.prompts import sahabat_prompt
+from app.db import supabase
+from langchain.chains import ConversationalRetrievalChain
+from langchain.memory import ConversationBufferMemory
+from langchain_community.llms import Replicate
+import os, time, json, random, logging
+from typing import List, Dict, Any, Tuple
+from dataclasses import dataclass, asdict
+import statistics
+from datetime import datetime
+from langsmith import traceable
+from langsmith import Client
+
+# Set up logging
+logging.basicConfig(
+    level=logging.INFO,
+    format='%(asctime)s - %(levelname)s - %(message)s'
+)
+logger = logging.getLogger(__name__)
+
+@dataclass
+class EvaluationResult:
+    question: str
+    answer: str
+    ground_truth: str
+    correctness_score: float
+    correctness_explanation: str
+    relevance_score: float
+    relevance_explanation: str
+    groundedness_score: float
+    groundedness_explanation: str
+    retrieval_score: float
+    retrieval_explanation: str
+    retrieved_docs: List[str]
+    response_time: float
+    timestamp: str
+
+class PNPRAGEvaluator:
+    def __init__(self):
+        logger.info("Initializing PNP RAG Evaluator...")
+        
+        # Load vector store
+        self.vector_store = load_vector_store_from_supabase(
+            supabase, "pnp-bot-storage-archive", "vector_store"
+        )
+        
+        # Initialize Replicate LLM
+        self.llm = Replicate(
+            model="fauziisyrinapridal/sahabat-ai-v1:afb9fa89fe786362f619fd4fef34bd1f7a4a4da23073d8a6fbf54dcbe458f216",
+            model_kwargs={"temperature": 0.1, "top_p": 0.9, "max_new_tokens": 10000},
+            replicate_api_token=os.getenv("REPLICATE_API_TOKEN")
+        )
+
+        # self.llm = ChatOllama(
+        #     model="llama3",
+        #     temperature=0.1,
+        #     max_tokens=10000,
+        #     top_p=0.9
+        # )
+        
+        # Initialize memory
+        self.memory = ConversationBufferMemory(
+            memory_key="chat_history", 
+            return_messages=True, 
+            output_key='answer'
+        )
+        
+        # Initialize RAG chain
+        self.chain = ConversationalRetrievalChain.from_llm(
+            self.llm, 
+            retriever=self.vector_store.as_retriever(search_kwargs={"k": 6}),
+            combine_docs_chain_kwargs={"prompt": sahabat_prompt},
+            return_source_documents=True, 
+            memory=self.memory
+        )
+        
+        # Initialize evaluator LLM
+        self.ollama_eval = ChatOllama(model="llama3", temperature=0.1)
+        
+        logger.info("PNP RAG Evaluator initialized successfully!")
+    
+    def ask(self, question: str) -> Dict[str, Any]:
+        """Generate answer using RAG chain with error handling"""
+        start_time = time.time()
+        try:
+            result = self.chain({"question": question})
+            result['response_time'] = time.time() - start_time
+            logger.debug(f"RAG response generated in {result['response_time']:.2f}s")
+            return result
+        except Exception as e:
+            logger.error(f"Error in RAG generation for question '{question[:50]}...': {e}")
+            return {
+                'answer': f"Error generating response: {str(e)}",
+                'source_documents': [],
+                'response_time': time.time() - start_time
+            }
+    
+    def evaluate_score(self, prompt: str, metric_name: str, max_retries: int = 3) -> Tuple[float, str]:
+        """Evaluate with enhanced error handling and logging"""
+        for attempt in range(max_retries):
+            try:
+                logger.debug(f"Evaluating {metric_name} (attempt {attempt + 1})")
+                response = self.ollama_eval.invoke(prompt)
+                content = response.content if hasattr(response, 'content') else str(response)
+                
+                # Enhanced parsing with multiple strategies
+                score, explanation = self._parse_evaluation_response(content)
+                
+                if score is not None:
+                    logger.debug(f"{metric_name} evaluation successful: {score:.3f}")
+                    return score, explanation
+                
+                logger.warning(f"Could not parse {metric_name} evaluation (attempt {attempt + 1})")
+                
+            except Exception as e:
+                logger.warning(f"{metric_name} evaluation attempt {attempt + 1} failed: {e}")
+                if attempt == max_retries - 1:
+                    return 0.0, f"Evaluation failed after {max_retries} attempts: {str(e)}"
+                time.sleep(1)
+        
+        return 0.0, "Maximum retries exceeded"
+    
+    def _parse_evaluation_response(self, content: str) -> Tuple[float, str]:
+        """Enhanced parsing for evaluation responses"""
+        try:
+            # Strategy 1: Standard format
+            if "Skor:" in content and "Penjelasan:" in content:
+                score_section = content.split("Skor:")[1].split("Penjelasan:")[0].strip()
+                explanation_section = content.split("Penjelasan:")[1].strip()
+                
+                # Extract numeric score
+                import re
+                score_match = re.search(r'(\d+\.?\d*)', score_section)
+                if score_match:
+                    score = float(score_match.group(1))
+                    # Handle scores > 1 (convert from 0-10 to 0-1 scale if needed)
+                    if score > 1:
+                        score = score / 10.0
+                    return min(max(score, 0), 1), explanation_section
+            
+            # Strategy 2: Look for score in any line
+            lines = content.split('\n')
+            for line in lines:
+                if any(keyword in line.lower() for keyword in ['skor', 'score']):
+                    import re
+                    score_match = re.search(r'(\d+\.?\d*)', line)
+                    if score_match:
+                        score = float(score_match.group(1))
+                        if score > 1:
+                            score = score / 10.0
+                        return min(max(score, 0), 1), content
+            
+            # Strategy 3: Look for decimal numbers in content
+            import re
+            numbers = re.findall(r'\b(0\.\d+|1\.0|1)\b', content)
+            if numbers:
+                score = float(numbers[0])
+                return min(max(score, 0), 1), content
+            
+            return None, content
+            
+        except Exception as e:
+            logger.error(f"Error parsing evaluation response: {e}")
+            return None, f"Parsing error: {str(e)}"
+    
+    def create_evaluation_prompts(self, question: str, answer: str, ground_truth: str, docs_text: str) -> Dict[str, str]:
+        """Create Indonesian evaluation prompts optimized for PNP context"""
+        return {
+            "correctness": f"""Evaluasi KEBENARAN jawaban tentang Politeknik Negeri Padang:
+
+PERTANYAAN: {question}
+JAWABAN REFERENSI (BENAR): {ground_truth}
+JAWABAN YANG DIEVALUASI: {answer}
+
+Berikan skor antara 0.00 (sepenuhnya salah) hingga 1.00 (sepenuhnya benar).
+Pertimbangkan:
+- Apakah fakta dalam jawaban sesuai dengan referensi?
+- Apakah informasi yang diberikan akurat tentang PNP?
+- Apakah ada kesalahan atau ketidaksesuaian data?
+
+Format wajib:
+Skor: <angka_desimal_antara_0_dan_1>
+Penjelasan: <alasan_detail_mengapa_skor_tersebut>""",
+
+            "relevance": f"""Evaluasi RELEVANSI jawaban terhadap pertanyaan tentang PNP:
+
+PERTANYAAN: {question}
+JAWABAN: {answer}
+
+Berikan skor antara 0.00 (tidak relevan sama sekali) hingga 1.00 (sangat relevan dan tepat sasaran).
+Pertimbangkan:
+- Apakah jawaban menjawab langsung pertanyaan yang diajukan?
+- Apakah informasi yang diberikan sesuai dengan konteks PNP?
+- Apakah jawaban fokus dan tidak keluar topik?
+
+Format wajib:
+Skor: <angka_desimal_antara_0_dan_1>
+Penjelasan: <alasan_detail_mengapa_skor_tersebut>""",
+
+            "groundedness": f"""Evaluasi apakah jawaban BERDASAR pada dokumen yang tersedia:
+
+DOKUMEN/KONTEKS:
+{docs_text}
+
+JAWABAN: {answer}
+
+Berikan skor antara 0.00 (tidak berdasar pada dokumen) hingga 1.00 (sepenuhnya berdasar pada dokumen).
+Pertimbangkan:
+- Apakah klaim dalam jawaban didukung oleh dokumen?
+- Apakah ada informasi yang dibuat-buat atau tidak ada di dokumen?
+- Apakah jawaban konsisten dengan fakta dalam dokumen?
+
+Format wajib:
+Skor: <angka_desimal_antara_0_dan_1>
+Penjelasan: <alasan_detail_mengapa_skor_tersebut>""",
+
+            "retrieval": f"""Evaluasi KUALITAS PENGAMBILAN dokumen untuk menjawab pertanyaan:
+
+PERTANYAAN: {question}
+DOKUMEN YANG DIAMBIL:
+{docs_text}
+
+Berikan skor antara 0.00 (dokumen tidak relevan) hingga 1.00 (dokumen sangat relevan dan lengkap).
+Pertimbangkan:
+- Apakah dokumen mengandung informasi yang dibutuhkan untuk menjawab pertanyaan?
+- Apakah ada informasi penting yang tidak terambil?
+- Apakah dokumen yang diambil sesuai dengan topik pertanyaan?
+
+Format wajib:
+Skor: <angka_desimal_antara_0_dan_1>
+Penjelasan: <alasan_detail_mengapa_skor_tersebut>"""
+        }
+    
+    def evaluate_single_item(self, item: Dict[str, Any], index: int, total: int) -> EvaluationResult:
+        """Evaluate a single question-answer pair with progress tracking"""
+        question = item["question"]
+        ground_truth = item["ground_truth"]
+        
+        logger.info(f"[{index}/{total}] Evaluating: {question[:60]}...")
+        
+        # Generate RAG response
+        rag_output = self.ask(question)
+        answer = rag_output['answer']
+        docs = rag_output.get('source_documents', [])
+        response_time = rag_output.get('response_time', 0)
+        
+        # Prepare documents text
+        docs_text = "\n\n".join([
+            f"Dokumen {i+1}:\n{doc.page_content[:500]}{'...' if len(doc.page_content) > 500 else ''}" 
+            for i, doc in enumerate(docs)
+        ])
+        
+        # Create evaluation prompts
+        prompts = self.create_evaluation_prompts(question, answer, ground_truth, docs_text)
+        
+        # Run evaluations with progress logging
+        logger.debug(f"Evaluating correctness...")
+        correctness_score, correctness_exp = self.evaluate_score(prompts["correctness"], "correctness")
+        
+        logger.debug(f"Evaluating relevance...")
+        relevance_score, relevance_exp = self.evaluate_score(prompts["relevance"], "relevance")
+        
+        logger.debug(f"Evaluating groundedness...")
+        groundedness_score, groundedness_exp = self.evaluate_score(prompts["groundedness"], "groundedness")
+        
+        logger.debug(f"Evaluating retrieval...")
+        retrieval_score, retrieval_exp = self.evaluate_score(prompts["retrieval"], "retrieval")
+        
+        result = EvaluationResult(
+            question=question,
+            answer=answer,
+            ground_truth=ground_truth,
+            correctness_score=correctness_score,
+            correctness_explanation=correctness_exp,
+            relevance_score=relevance_score,
+            relevance_explanation=relevance_exp,
+            groundedness_score=groundedness_score,
+            groundedness_explanation=groundedness_exp,
+            retrieval_score=retrieval_score,
+            retrieval_explanation=retrieval_exp,
+            retrieved_docs=[doc.page_content for doc in docs],
+            response_time=response_time,
+            timestamp=datetime.now().isoformat()
+        )
+        
+        logger.info(f"[{index}/{total}] Scores - C:{correctness_score:.3f} R:{relevance_score:.3f} G:{groundedness_score:.3f} Ret:{retrieval_score:.3f}")
+        
+        return result
+    @traceable(name="Evaluasi RAG Sahabat-AI",)
+    def run_evaluation(self, dataset: List[Dict[str, Any]], 
+                      save_path: str = "pnp_evaluation_results.json") -> Dict[str, Any]:
+        """Run evaluation on PNP dataset"""
+        results = []
+        total_items = len(dataset)
+        start_time = time.time()
+        
+        logger.info(f"Starting PNP RAG evaluation of {total_items} items...")
+        logger.info(f"Results will be saved to: {save_path}")
+        
+        for i, item in enumerate(dataset, 1):
+            try:
+                result = self.evaluate_single_item(item, i, total_items)
+                results.append(result)
+                
+                # Save intermediate results every 5 items
+                if i % 5 == 0:
+                    self._save_intermediate_results(results, save_path, i, total_items)
+                
+                # Add delay to avoid rate limiting
+                delay = random.uniform(2, 4)
+                logger.debug(f"Waiting {delay:.1f}s before next evaluation...")
+                time.sleep(delay)
+                
+            except Exception as e:
+                logger.error(f"Error evaluating item {i}: {e}")
+                continue
+        
+        # Calculate final statistics
+        summary = self.calculate_summary_stats(results)
+        summary['evaluation_time'] = time.time() - start_time
+        summary['timestamp'] = datetime.now().isoformat()
+        
+        # Save final results
+        self.save_results(results, summary, save_path)
+        
+        logger.info(f"PNP RAG evaluation completed in {summary['evaluation_time']:.1f}s!")
+        self._print_summary(summary)
+        
+        return {"results": results, "summary": summary}
+    
+    def _save_intermediate_results(self, results: List[EvaluationResult], save_path: str, current: int, total: int):
+        """Save intermediate results during evaluation"""
+        intermediate_path = save_path.replace('.json', f'_intermediate_{current}of{total}.json')
+        partial_summary = self.calculate_summary_stats(results)
+        self.save_results(results, partial_summary, intermediate_path)
+        logger.info(f"Intermediate results saved ({current}/{total}): {intermediate_path}")
+    
+    def calculate_summary_stats(self, results: List[EvaluationResult]) -> Dict[str, Any]:
+        """Calculate comprehensive summary statistics"""
+        if not results:
+            return {"error": "No results to analyze"}
+        
+        def safe_stats(scores):
+            if not scores:
+                return {"mean": 0, "median": 0, "std": 0, "min": 0, "max": 0}
+            return {
+                "mean": statistics.mean(scores),
+                "median": statistics.median(scores),
+                "std": statistics.stdev(scores) if len(scores) > 1 else 0,
+                "min": min(scores),
+                "max": max(scores)
+            }
+        
+        correctness_scores = [r.correctness_score for r in results]
+        relevance_scores = [r.relevance_score for r in results]
+        groundedness_scores = [r.groundedness_score for r in results]
+        retrieval_scores = [r.retrieval_score for r in results]
+        response_times = [r.response_time for r in results]
+        
+        # Overall performance score (weighted average)
+        overall_scores = [
+            (r.correctness_score * 0.3 + 
+             r.relevance_score * 0.25 + 
+             r.groundedness_score * 0.25 + 
+             r.retrieval_score * 0.2)
+            for r in results
+        ]
+        
+        return {
+            "total_evaluations": len(results),
+            "correctness": safe_stats(correctness_scores),
+            "relevance": safe_stats(relevance_scores),
+            "groundedness": safe_stats(groundedness_scores),
+            "retrieval": safe_stats(retrieval_scores),
+            "overall_performance": safe_stats(overall_scores),
+            "performance_metrics": {
+                "avg_response_time": statistics.mean(response_times),
+                "median_response_time": statistics.median(response_times),
+                "total_response_time": sum(response_times),
+                "fastest_response": min(response_times),
+                "slowest_response": max(response_times)
+            },
+            "score_distribution": {
+                "excellent_count": len([s for s in overall_scores if s >= 0.8]),
+                "good_count": len([s for s in overall_scores if 0.6 <= s < 0.8]),
+                "fair_count": len([s for s in overall_scores if 0.4 <= s < 0.6]),
+                "poor_count": len([s for s in overall_scores if s < 0.4])
+            }
+        }
+    
+    def save_results(self, results: List[EvaluationResult], summary: Dict[str, Any], save_path: str):
+        """Save evaluation results with enhanced formatting"""
+        output = {
+            "metadata": {
+                "evaluation_system": "PNP RAG Evaluator",
+                "dataset": "Politeknik Negeri Padang Q&A",
+                "model": "fauziisyrinapridal/sahabat-ai-v1:latest",
+                "evaluator": "llama3",
+                "timestamp": datetime.now().isoformat()
+            },
+            "summary": summary,
+            "detailed_results": [
+                {
+                    "id": i + 1,
+                    "question": r.question,
+                    "answer": r.answer,
+                    "ground_truth": r.ground_truth,
+                    "scores": {
+                        "correctness": round(r.correctness_score, 3),
+                        "relevance": round(r.relevance_score, 3),
+                        "groundedness": round(r.groundedness_score, 3),
+                        "retrieval": round(r.retrieval_score, 3),
+                        "overall": round((r.correctness_score * 0.3 + 
+                                       r.relevance_score * 0.25 + 
+                                       r.groundedness_score * 0.25 + 
+                                       r.retrieval_score * 0.2), 3)
+                    },
+                    "explanations": {
+                        "correctness": r.correctness_explanation,
+                        "relevance": r.relevance_explanation,
+                        "groundedness": r.groundedness_explanation,
+                        "retrieval": r.retrieval_explanation
+                    },
+                    "metrics": {
+                        "response_time": round(r.response_time, 2),
+                        "retrieved_docs_count": len(r.retrieved_docs),
+                        "timestamp": r.timestamp
+                    }
+                }
+                for i, r in enumerate(results)
+            ]
+        }
+        
+        with open(save_path, 'w', encoding='utf-8') as f:
+            json.dump(output, f, ensure_ascii=False, indent=2)
+        
+        logger.info(f"Results saved to {save_path}")
+    
+    def _print_summary(self, summary: Dict[str, Any]):
+        """Print formatted evaluation summary"""
+        print("\n" + "="*60)
+        print("         PNP RAG EVALUATION SUMMARY")
+        print("="*60)
+        print(f"Total Evaluations: {summary['total_evaluations']}")
+        print(f"Evaluation Time: {summary.get('evaluation_time', 0):.1f}s")
+        print("\nSCORE BREAKDOWN:")
+        print(f"  Correctness:  {summary['correctness']['mean']:.3f} ± {summary['correctness']['std']:.3f}")
+        print(f"  Relevance:    {summary['relevance']['mean']:.3f} ± {summary['relevance']['std']:.3f}")
+        print(f"  Groundedness: {summary['groundedness']['mean']:.3f} ± {summary['groundedness']['std']:.3f}")
+        print(f"  Retrieval:    {summary['retrieval']['mean']:.3f} ± {summary['retrieval']['std']:.3f}")
+        print(f"  Overall:      {summary['overall_performance']['mean']:.3f} ± {summary['overall_performance']['std']:.3f}")
+        
+        print("\nPERFORMANCE DISTRIBUTION:")
+        dist = summary['score_distribution']
+        print(f"  Excellent (≥0.8): {dist['excellent_count']} ({dist['excellent_count']/summary['total_evaluations']*100:.1f}%)")
+        print(f"  Good (0.6-0.8):   {dist['good_count']} ({dist['good_count']/summary['total_evaluations']*100:.1f}%)")
+        print(f"  Fair (0.4-0.6):   {dist['fair_count']} ({dist['fair_count']/summary['total_evaluations']*100:.1f}%)")
+        print(f"  Poor (<0.4):      {dist['poor_count']} ({dist['poor_count']/summary['total_evaluations']*100:.1f}%)")
+        
+        print(f"\nRESPONSE TIME STATS:")
+        perf = summary['performance_metrics']
+        print(f"  Average: {perf['avg_response_time']:.2f}s")
+        print(f"  Median:  {perf['median_response_time']:.2f}s")
+        print(f"  Range:   {perf['fastest_response']:.2f}s - {perf['slowest_response']:.2f}s")
+        print("="*60)
+
+# PNP Evaluation Dataset
+evaluation_dataset = [
+    # {
+    #     "question": "How is the education system implemented at Politeknik Negeri Padang?",
+    #     "ground_truth": "Sistem pendidikan yang diterapkan di Politeknik adalah dengan menggabungkan pendidikan teoritis, praktek (terapan) di Laboratorium dan praktek industry. Pelaksanaan praktik di industri dilakukan oleh mahasiswa selama satu semester untuk menambah wawasan, pengalaman dan pengembangan ilmu guna membentuk tenaga ahli yang terampil dan profesional."
+    # },
+    # {
+    #     "question": "What are the courses included in the curriculum of Politeknik Negeri Padang?",
+    #     "ground_truth": "Kurikulum Pendidikan telah disusun berbasis kompetensi dengan kelompok mata kuliah sebagai berikut : - Mata Kuliah Pengembangan Kepribadian (MPK) - Mata Kuliah Keimuan dan Keterampilan (MKK) - Mata Kuliah Berkarya (MKB) - Mata Kuliah Berkehidupan Bermasyarakat (MBB)"
+    # },
+    # {
+    #     "question": "How does Politeknik Negeri Padang support the tridharma mission of higher education?",
+    #     "ground_truth": "Politeknik Negeri Padang dalam menjalankan misi tridharma perguruan tinggi didukung oleh tenaga pendidik dan tenaga kependidikan yang profesional pada bidangnya. Jumlah dan kualifikasi staf tersebut berdasarkan keadaan Desember 2017 sebagai berikut : - Tenaga Pendidik : S1 = 14 orang, S2 = 256 orang, S3 = 21 orang (Yang sedang menempuh S3 = 7 orang, Yang sedang menempuh S2 = 5 orang) - Tenaga Kependidikan : SD = 5 orang, SMP = 4 orang, SLTA = 71 orang, D3 = 25 orang, S1 = 54 orang, S2 = 15 orang."
+    # },
+    # {
+    #     "question": "How does Politeknik Negeri Padang provide internet access for students?",
+    #     "ground_truth": "Politeknik Negeri Padang telah memiliki Anjungan Internet Mandiri (AIM) yang dapat diakses oleh mahasiswa secara gratis, yang tersedia pada titik-titik strategis. Juga tersedia kawasan hot spot area di sekitar kampus sehingga mahasiswa dapat memanfaatkan internet dengan bebas menggunakan laptop/PC."
+    # },
+    # {
+    #     "question": "What are some examples of Politeknik Negeri Padang's cooperation with industry?",
+    #     "ground_truth": "PT. Siemens Indonesia, PT. Toyota Aichi Takaoua Japan, PT. PLN, PT. INTI, Futaba Rashi Siisha Kusho Japan, PT. Sintom, PT. Krakatau Steel, Komatssu Shinge Koumuten, PT. PAL Indonesia, PT. Hexindo, Taishurin Co. Ltd Fukuoaka Japan, PT. Texmaco Perkasa, PT. LEN Industri, PT. Toyota Astra Motor, PT. Indah Kiat, PT. Trakindo Utama, BTN."
+    # },
+    {
+        "question": "How does Politeknik Negeri Padang assist students in terms of achievement and economics?",
+        "ground_truth": "Tersedia bantuan untuk sekitar 800 mahasiswa setiap tahunnya. Beasiswa yang diterima antara lain: - Beasiswa Peningkatan Prestasi Akademik (PPA), - Beasiswa Kerja Mahasiswa (BKM), - Beasiswa Bantuan Belajar Mahasiswa (BBM), - Beasiswa TPSDP, - Beasiswa Kredit Bantuan Belajar Mahasiswa (KBBM), - Beasiswa Depertemen Hankam (ABRI), - Beasiswa PT. Toyota Astra, - Beasiswa ORBIT (ICMI), - Beasiswa Supersemar."
+    },
+    {
+        "question": "What is the accreditation status of study programs at Politeknik Negeri Padang?",
+        "ground_truth": "Program studi di Politeknik Negeri Padang memiliki status akreditasi yang bervariasi seperti Baik, Baik Sekali, hingga Unggul. Contohnya, Teknik Mesin (D3) terakreditasi Baik Sekali hingga 2029, Teknik Manufaktur (D4) terakreditasi Unggul hingga 2028, dan Teknik Sipil (D3) terakreditasi A hingga 2026. Setiap program memiliki SK dan sertifikat akreditasi resmi."
+    },
+    {
+        "question": "How is the new student admission process at Politeknik Negeri Padang?",
+        "ground_truth": "Penerimaan mahasiswa baru di Politeknik Negeri Padang dilakukan melalui berbagai jalur seleksi seperti SNBT, SNMPN, dan kelas kerjasama. Tersedia brosur dan informasi detail melalui situs http://penerimaan.pnp.ac.id. Program studi Teknik Alat Berat misalnya memiliki kelas kerjasama dengan PT Trakindo Utama. Jadwal seleksi dan pengumuman dapat diakses secara daring."
+    },
+    {
+        "question": "What forms of cooperation does Politeknik Negeri Padang conduct?",
+        "ground_truth": "Politeknik Negeri Padang menjalin kerjasama dengan industri, pemerintah, BUMN, dan asosiasi profesi baik dalam negeri maupun luar negeri. Bentuk kerjasama mencakup rekrutmen, prakerin (praktik kerja industri), kunjungan industri, bimbingan karir, serta pembuatan MoU. Tujuannya untuk menjaga mutu lulusan dan penyaluran SDM."
+    },
+    {
+        "question": "Who is the current director of Politeknik Negeri Padang?",
+        "ground_truth": "Direktur Politeknik Negeri Padang adalah Dr. Ir. Surfa Yondri, S.T., S.ST., M.Kom. Wakil Direktur Bidang Akademik adalah Ir. Revalin Herdianto, ST., M.Sc., Ph.D. Pimpinan lainnya antara lain Nasrullah, ST., M.T., dan Sarmiadi, S.E., M.M. yang memiliki pengalaman panjang dalam jabatan struktural di kampus."
+    },
+    {
+        "question": "What is the brief history of the establishment of Politeknik Negeri Padang?",
+        "ground_truth": "Politeknik Negeri Padang didirikan pada tahun 1987 sebagai salah satu dari 17 politeknik pertama di Indonesia. Awalnya bernama Politeknik Engineering Universitas Andalas. Pada 1997 menjadi Politeknik Universitas Andalas lalu berubah menjadi Politeknik Negeri Padang. Saat ini memiliki 32 program studi dari jenjang D3 hingga Magister Terapan."
+    }
+]
+
+def main():
+    
+    """Main execution function"""
+    try:
+        client = Client()  # Inisialisasi client LangSmith
+        print(f"LangSmith Project: {os.getenv('LANGCHAIN_PROJECT')}")
+        # Initialize evaluator
+        evaluator = PNPRAGEvaluator()
+        
+        # Run evaluation
+        results = evaluator.run_evaluation(
+            evaluation_dataset, 
+            "pnp_rag_evaluation_results.json"
+        )
+        
+        print(f"\nEvaluation completed successfully!")
+        print(f"Results saved to: pnp_rag_evaluation_results.json")
+        
+        return results
+        
+    except Exception as e:
+        logger.error(f"Evaluation failed: {e}")
+        raise
+
+if __name__ == "__main__":
+    main()

evaluate_jawa.py

@@ -0,0 +1,542 @@
+from langchain_community.chat_models import ChatOllama
+from app.document_processor import load_vector_store_from_supabase
+from app.prompts import sahabat_prompt
+from app.db import supabase
+from langchain.chains import ConversationalRetrievalChain
+from langchain.memory import ConversationBufferMemory
+from langchain_community.llms import Replicate
+import os, time, json, random, logging
+from typing import List, Dict, Any, Tuple
+from dataclasses import dataclass, asdict
+import statistics
+from datetime import datetime
+from langsmith import traceable
+from langsmith import Client
+
+# Set up logging
+logging.basicConfig(
+    level=logging.INFO,
+    format='%(asctime)s - %(levelname)s - %(message)s'
+)
+logger = logging.getLogger(__name__)
+
+@dataclass
+class EvaluationResult:
+    question: str
+    answer: str
+    ground_truth: str
+    correctness_score: float
+    correctness_explanation: str
+    relevance_score: float
+    relevance_explanation: str
+    groundedness_score: float
+    groundedness_explanation: str
+    retrieval_score: float
+    retrieval_explanation: str
+    retrieved_docs: List[str]
+    response_time: float
+    timestamp: str
+
+class PNPRAGEvaluator:
+    def __init__(self):
+        logger.info("Initializing PNP RAG Evaluator...")
+        
+        # Load vector store
+        self.vector_store = load_vector_store_from_supabase(
+            supabase, "pnp-bot-storage-archive", "vector_store"
+        )
+        
+        # Initialize Replicate LLM
+        self.llm = Replicate(
+            model="fauziisyrinapridal/sahabat-ai-v1:afb9fa89fe786362f619fd4fef34bd1f7a4a4da23073d8a6fbf54dcbe458f216",
+            model_kwargs={"temperature": 0.5, "top_p": 1, "max_new_tokens": 10000},
+            replicate_api_token=os.getenv("REPLICATE_API_TOKEN")
+        )
+
+        # self.llm = ChatOllama(
+        #     model="llama3",
+        #     temperature=0.1,
+        #     max_tokens=10000,
+        #     top_p=0.9
+        # )
+        
+        # Initialize memory
+        self.memory = ConversationBufferMemory(
+            memory_key="chat_history", 
+            return_messages=True, 
+            output_key='answer'
+        )
+        
+        # Initialize RAG chain
+        self.chain = ConversationalRetrievalChain.from_llm(
+            self.llm, 
+            retriever=self.vector_store.as_retriever(search_kwargs={"k": 6}),
+            combine_docs_chain_kwargs={"prompt": sahabat_prompt},
+            return_source_documents=True, 
+            memory=self.memory
+        )
+        
+        # Initialize evaluator LLM
+        self.ollama_eval = ChatOllama(model="llama3", temperature=0.1)
+        
+        logger.info("PNP RAG Evaluator initialized successfully!")
+    
+    def ask(self, question: str) -> Dict[str, Any]:
+        """Generate answer using RAG chain with error handling"""
+        start_time = time.time()
+        try:
+            result = self.chain({"question": question})
+            result['response_time'] = time.time() - start_time
+            logger.debug(f"RAG response generated in {result['response_time']:.2f}s")
+            return result
+        except Exception as e:
+            logger.error(f"Error in RAG generation for question '{question[:50]}...': {e}")
+            return {
+                'answer': f"Error generating response: {str(e)}",
+                'source_documents': [],
+                'response_time': time.time() - start_time
+            }
+    
+    def evaluate_score(self, prompt: str, metric_name: str, max_retries: int = 3) -> Tuple[float, str]:
+        """Evaluate with enhanced error handling and logging"""
+        for attempt in range(max_retries):
+            try:
+                logger.debug(f"Evaluating {metric_name} (attempt {attempt + 1})")
+                response = self.ollama_eval.invoke(prompt)
+                content = response.content if hasattr(response, 'content') else str(response)
+                
+                # Enhanced parsing with multiple strategies
+                score, explanation = self._parse_evaluation_response(content)
+                
+                if score is not None:
+                    logger.debug(f"{metric_name} evaluation successful: {score:.3f}")
+                    return score, explanation
+                
+                logger.warning(f"Could not parse {metric_name} evaluation (attempt {attempt + 1})")
+                
+            except Exception as e:
+                logger.warning(f"{metric_name} evaluation attempt {attempt + 1} failed: {e}")
+                if attempt == max_retries - 1:
+                    return 0.0, f"Evaluation failed after {max_retries} attempts: {str(e)}"
+                time.sleep(1)
+        
+        return 0.0, "Maximum retries exceeded"
+    
+    def _parse_evaluation_response(self, content: str) -> Tuple[float, str]:
+        """Enhanced parsing for evaluation responses"""
+        try:
+            # Strategy 1: Standard format
+            if "Skor:" in content and "Penjelasan:" in content:
+                score_section = content.split("Skor:")[1].split("Penjelasan:")[0].strip()
+                explanation_section = content.split("Penjelasan:")[1].strip()
+                
+                # Extract numeric score
+                import re
+                score_match = re.search(r'(\d+\.?\d*)', score_section)
+                if score_match:
+                    score = float(score_match.group(1))
+                    # Handle scores > 1 (convert from 0-10 to 0-1 scale if needed)
+                    if score > 1:
+                        score = score / 10.0
+                    return min(max(score, 0), 1), explanation_section
+            
+            # Strategy 2: Look for score in any line
+            lines = content.split('\n')
+            for line in lines:
+                if any(keyword in line.lower() for keyword in ['skor', 'score']):
+                    import re
+                    score_match = re.search(r'(\d+\.?\d*)', line)
+                    if score_match:
+                        score = float(score_match.group(1))
+                        if score > 1:
+                            score = score / 10.0
+                        return min(max(score, 0), 1), content
+            
+            # Strategy 3: Look for decimal numbers in content
+            import re
+            numbers = re.findall(r'\b(0\.\d+|1\.0|1)\b', content)
+            if numbers:
+                score = float(numbers[0])
+                return min(max(score, 0), 1), content
+            
+            return None, content
+            
+        except Exception as e:
+            logger.error(f"Error parsing evaluation response: {e}")
+            return None, f"Parsing error: {str(e)}"
+    
+    def create_evaluation_prompts(self, question: str, answer: str, ground_truth: str, docs_text: str) -> Dict[str, str]:
+        """Create Indonesian evaluation prompts optimized for PNP context"""
+        return {
+            "correctness": f"""Evaluasi KEBENARAN jawaban tentang Politeknik Negeri Padang:
+
+PERTANYAAN: {question}
+JAWABAN REFERENSI (BENAR): {ground_truth}
+JAWABAN YANG DIEVALUASI: {answer}
+
+Berikan skor antara 0.00 (sepenuhnya salah) hingga 1.00 (sepenuhnya benar).
+Pertimbangkan:
+- Apakah fakta dalam jawaban sesuai dengan referensi?
+- Apakah informasi yang diberikan akurat tentang PNP?
+- Apakah ada kesalahan atau ketidaksesuaian data?
+
+Format wajib:
+Skor: <angka_desimal_antara_0_dan_1>
+Penjelasan: <alasan_detail_mengapa_skor_tersebut>""",
+
+            "relevance": f"""Evaluasi RELEVANSI jawaban terhadap pertanyaan tentang PNP:
+
+PERTANYAAN: {question}
+JAWABAN: {answer}
+
+Berikan skor antara 0.00 (tidak relevan sama sekali) hingga 1.00 (sangat relevan dan tepat sasaran).
+Pertimbangkan:
+- Apakah jawaban menjawab langsung pertanyaan yang diajukan?
+- Apakah informasi yang diberikan sesuai dengan konteks PNP?
+- Apakah jawaban fokus dan tidak keluar topik?
+
+Format wajib:
+Skor: <angka_desimal_antara_0_dan_1>
+Penjelasan: <alasan_detail_mengapa_skor_tersebut>""",
+
+            "groundedness": f"""Evaluasi apakah jawaban BERDASAR pada dokumen yang tersedia:
+
+DOKUMEN/KONTEKS:
+{docs_text}
+
+JAWABAN: {answer}
+
+Berikan skor antara 0.00 (tidak berdasar pada dokumen) hingga 1.00 (sepenuhnya berdasar pada dokumen).
+Pertimbangkan:
+- Apakah klaim dalam jawaban didukung oleh dokumen?
+- Apakah ada informasi yang dibuat-buat atau tidak ada di dokumen?
+- Apakah jawaban konsisten dengan fakta dalam dokumen?
+
+Format wajib:
+Skor: <angka_desimal_antara_0_dan_1>
+Penjelasan: <alasan_detail_mengapa_skor_tersebut>""",
+
+            "retrieval": f"""Evaluasi KUALITAS PENGAMBILAN dokumen untuk menjawab pertanyaan:
+
+PERTANYAAN: {question}
+DOKUMEN YANG DIAMBIL:
+{docs_text}
+
+Berikan skor antara 0.00 (dokumen tidak relevan) hingga 1.00 (dokumen sangat relevan dan lengkap).
+Pertimbangkan:
+- Apakah dokumen mengandung informasi yang dibutuhkan untuk menjawab pertanyaan?
+- Apakah ada informasi penting yang tidak terambil?
+- Apakah dokumen yang diambil sesuai dengan topik pertanyaan?
+
+Format wajib:
+Skor: <angka_desimal_antara_0_dan_1>
+Penjelasan: <alasan_detail_mengapa_skor_tersebut>"""
+        }
+    
+    def evaluate_single_item(self, item: Dict[str, Any], index: int, total: int) -> EvaluationResult:
+        """Evaluate a single question-answer pair with progress tracking"""
+        question = item["question"]
+        ground_truth = item["ground_truth"]
+        
+        logger.info(f"[{index}/{total}] Evaluating: {question[:60]}...")
+        
+        # Generate RAG response
+        rag_output = self.ask(question)
+        answer = rag_output['answer']
+        docs = rag_output.get('source_documents', [])
+        response_time = rag_output.get('response_time', 0)
+        
+        # Prepare documents text
+        docs_text = "\n\n".join([
+            f"Dokumen {i+1}:\n{doc.page_content[:500]}{'...' if len(doc.page_content) > 500 else ''}" 
+            for i, doc in enumerate(docs)
+        ])
+        
+        # Create evaluation prompts
+        prompts = self.create_evaluation_prompts(question, answer, ground_truth, docs_text)
+        
+        # Run evaluations with progress logging
+        logger.debug(f"Evaluating correctness...")
+        correctness_score, correctness_exp = self.evaluate_score(prompts["correctness"], "correctness")
+        
+        logger.debug(f"Evaluating relevance...")
+        relevance_score, relevance_exp = self.evaluate_score(prompts["relevance"], "relevance")
+        
+        logger.debug(f"Evaluating groundedness...")
+        groundedness_score, groundedness_exp = self.evaluate_score(prompts["groundedness"], "groundedness")
+        
+        logger.debug(f"Evaluating retrieval...")
+        retrieval_score, retrieval_exp = self.evaluate_score(prompts["retrieval"], "retrieval")
+        
+        result = EvaluationResult(
+            question=question,
+            answer=answer,
+            ground_truth=ground_truth,
+            correctness_score=correctness_score,
+            correctness_explanation=correctness_exp,
+            relevance_score=relevance_score,
+            relevance_explanation=relevance_exp,
+            groundedness_score=groundedness_score,
+            groundedness_explanation=groundedness_exp,
+            retrieval_score=retrieval_score,
+            retrieval_explanation=retrieval_exp,
+            retrieved_docs=[doc.page_content for doc in docs],
+            response_time=response_time,
+            timestamp=datetime.now().isoformat()
+        )
+        
+        logger.info(f"[{index}/{total}] Scores - C:{correctness_score:.3f} R:{relevance_score:.3f} G:{groundedness_score:.3f} Ret:{retrieval_score:.3f}")
+        
+        return result
+    @traceable(name="Evaluasi RAG Sahabat-AI",)
+    def run_evaluation(self, dataset: List[Dict[str, Any]], 
+                      save_path: str = "pnp_evaluation_results.json") -> Dict[str, Any]:
+        """Run evaluation on PNP dataset"""
+        results = []
+        total_items = len(dataset)
+        start_time = time.time()
+        
+        logger.info(f"Starting PNP RAG evaluation of {total_items} items...")
+        logger.info(f"Results will be saved to: {save_path}")
+        
+        for i, item in enumerate(dataset, 1):
+            try:
+                result = self.evaluate_single_item(item, i, total_items)
+                results.append(result)
+                
+                # Save intermediate results every 5 items
+                if i % 5 == 0:
+                    self._save_intermediate_results(results, save_path, i, total_items)
+                
+                # Add delay to avoid rate limiting
+                delay = random.uniform(2, 4)
+                logger.debug(f"Waiting {delay:.1f}s before next evaluation...")
+                time.sleep(delay)
+                
+            except Exception as e:
+                logger.error(f"Error evaluating item {i}: {e}")
+                continue
+        
+        # Calculate final statistics
+        summary = self.calculate_summary_stats(results)
+        summary['evaluation_time'] = time.time() - start_time
+        summary['timestamp'] = datetime.now().isoformat()
+        
+        # Save final results
+        self.save_results(results, summary, save_path)
+        
+        logger.info(f"PNP RAG evaluation completed in {summary['evaluation_time']:.1f}s!")
+        self._print_summary(summary)
+        
+        return {"results": results, "summary": summary}
+    
+    def _save_intermediate_results(self, results: List[EvaluationResult], save_path: str, current: int, total: int):
+        """Save intermediate results during evaluation"""
+        intermediate_path = save_path.replace('.json', f'_intermediate_{current}of{total}.json')
+        partial_summary = self.calculate_summary_stats(results)
+        self.save_results(results, partial_summary, intermediate_path)
+        logger.info(f"Intermediate results saved ({current}/{total}): {intermediate_path}")
+    
+    def calculate_summary_stats(self, results: List[EvaluationResult]) -> Dict[str, Any]:
+        """Calculate comprehensive summary statistics"""
+        if not results:
+            return {"error": "No results to analyze"}
+        
+        def safe_stats(scores):
+            if not scores:
+                return {"mean": 0, "median": 0, "std": 0, "min": 0, "max": 0}
+            return {
+                "mean": statistics.mean(scores),
+                "median": statistics.median(scores),
+                "std": statistics.stdev(scores) if len(scores) > 1 else 0,
+                "min": min(scores),
+                "max": max(scores)
+            }
+        
+        correctness_scores = [r.correctness_score for r in results]
+        relevance_scores = [r.relevance_score for r in results]
+        groundedness_scores = [r.groundedness_score for r in results]
+        retrieval_scores = [r.retrieval_score for r in results]
+        response_times = [r.response_time for r in results]
+        
+        # Overall performance score (weighted average)
+        overall_scores = [
+            (r.correctness_score * 0.3 + 
+             r.relevance_score * 0.25 + 
+             r.groundedness_score * 0.25 + 
+             r.retrieval_score * 0.2)
+            for r in results
+        ]
+        
+        return {
+            "total_evaluations": len(results),
+            "correctness": safe_stats(correctness_scores),
+            "relevance": safe_stats(relevance_scores),
+            "groundedness": safe_stats(groundedness_scores),
+            "retrieval": safe_stats(retrieval_scores),
+            "overall_performance": safe_stats(overall_scores),
+            "performance_metrics": {
+                "avg_response_time": statistics.mean(response_times),
+                "median_response_time": statistics.median(response_times),
+                "total_response_time": sum(response_times),
+                "fastest_response": min(response_times),
+                "slowest_response": max(response_times)
+            },
+            "score_distribution": {
+                "excellent_count": len([s for s in overall_scores if s >= 0.8]),
+                "good_count": len([s for s in overall_scores if 0.6 <= s < 0.8]),
+                "fair_count": len([s for s in overall_scores if 0.4 <= s < 0.6]),
+                "poor_count": len([s for s in overall_scores if s < 0.4])
+            }
+        }
+    
+    def save_results(self, results: List[EvaluationResult], summary: Dict[str, Any], save_path: str):
+        """Save evaluation results with enhanced formatting"""
+        output = {
+            "metadata": {
+                "evaluation_system": "PNP RAG Evaluator",
+                "dataset": "Politeknik Negeri Padang Q&A",
+                "model": "fauziisyrinapridal/sahabat-ai-v1:latest",
+                "evaluator": "llama3",
+                "timestamp": datetime.now().isoformat()
+            },
+            "summary": summary,
+            "detailed_results": [
+                {
+                    "id": i + 1,
+                    "question": r.question,
+                    "answer": r.answer,
+                    "ground_truth": r.ground_truth,
+                    "scores": {
+                        "correctness": round(r.correctness_score, 3),
+                        "relevance": round(r.relevance_score, 3),
+                        "groundedness": round(r.groundedness_score, 3),
+                        "retrieval": round(r.retrieval_score, 3),
+                        "overall": round((r.correctness_score * 0.3 + 
+                                       r.relevance_score * 0.25 + 
+                                       r.groundedness_score * 0.25 + 
+                                       r.retrieval_score * 0.2), 3)
+                    },
+                    "explanations": {
+                        "correctness": r.correctness_explanation,
+                        "relevance": r.relevance_explanation,
+                        "groundedness": r.groundedness_explanation,
+                        "retrieval": r.retrieval_explanation
+                    },
+                    "metrics": {
+                        "response_time": round(r.response_time, 2),
+                        "retrieved_docs_count": len(r.retrieved_docs),
+                        "timestamp": r.timestamp
+                    }
+                }
+                for i, r in enumerate(results)
+            ]
+        }
+        
+        with open(save_path, 'w', encoding='utf-8') as f:
+            json.dump(output, f, ensure_ascii=False, indent=2)
+        
+        logger.info(f"Results saved to {save_path}")
+    
+    def _print_summary(self, summary: Dict[str, Any]):
+        """Print formatted evaluation summary"""
+        print("\n" + "="*60)
+        print("         PNP RAG EVALUATION SUMMARY")
+        print("="*60)
+        print(f"Total Evaluations: {summary['total_evaluations']}")
+        print(f"Evaluation Time: {summary.get('evaluation_time', 0):.1f}s")
+        print("\nSCORE BREAKDOWN:")
+        print(f"  Correctness:  {summary['correctness']['mean']:.3f} ± {summary['correctness']['std']:.3f}")
+        print(f"  Relevance:    {summary['relevance']['mean']:.3f} ± {summary['relevance']['std']:.3f}")
+        print(f"  Groundedness: {summary['groundedness']['mean']:.3f} ± {summary['groundedness']['std']:.3f}")
+        print(f"  Retrieval:    {summary['retrieval']['mean']:.3f} ± {summary['retrieval']['std']:.3f}")
+        print(f"  Overall:      {summary['overall_performance']['mean']:.3f} ± {summary['overall_performance']['std']:.3f}")
+        
+        print("\nPERFORMANCE DISTRIBUTION:")
+        dist = summary['score_distribution']
+        print(f"  Excellent (≥0.8): {dist['excellent_count']} ({dist['excellent_count']/summary['total_evaluations']*100:.1f}%)")
+        print(f"  Good (0.6-0.8):   {dist['good_count']} ({dist['good_count']/summary['total_evaluations']*100:.1f}%)")
+        print(f"  Fair (0.4-0.6):   {dist['fair_count']} ({dist['fair_count']/summary['total_evaluations']*100:.1f}%)")
+        print(f"  Poor (<0.4):      {dist['poor_count']} ({dist['poor_count']/summary['total_evaluations']*100:.1f}%)")
+        
+        print(f"\nRESPONSE TIME STATS:")
+        perf = summary['performance_metrics']
+        print(f"  Average: {perf['avg_response_time']:.2f}s")
+        print(f"  Median:  {perf['median_response_time']:.2f}s")
+        print(f"  Range:   {perf['fastest_response']:.2f}s - {perf['slowest_response']:.2f}s")
+        print("="*60)
+
+# PNP Evaluation Dataset
+evaluation_dataset = [
+    {
+        "question": "Pripiye sistem pendidikan sing diterapake ing Politeknik Negeri Padang?",
+        "ground_truth": "Sistem pendidikan yang diterapkan di Politeknik adalah dengan menggabungkan pendidikan teoritis, praktek (terapan) di Laboratorium dan praktek industry. Pelaksanaan praktik di industri dilakukan oleh mahasiswa selama satu semester untuk menambah wawasan, pengalaman dan pengembangan ilmu guna membentuk tenaga ahli yang terampil dan profesional."
+    },
+    {
+        "question": "Apa wae mata kuliah sing ana ing kurikulum pendidikan Politeknik Negeri Padang?",
+        "ground_truth": "Kurikulum Pendidikan telah disusun berbasis kompetensi dengan kelompok mata kuliah sebagai berikut : - Mata Kuliah Pengembangan Kepribadian (MPK) - Mata Kuliah Keimuan dan Keterampilan (MKK) - Mata Kuliah Berkarya (MKB) - Mata Kuliah Berkehidupan Bermasyarakat (MBB)"
+    },
+    {
+        "question": "Pripiye Politeknik Negeri Padang ndhukung misi tridharma perguruan tinggi?",
+        "ground_truth": "Politeknik Negeri Padang dalam menjalankan misi tridharma perguruan tinggi didukung oleh tenaga pendidik dan tenaga kependidikan yang profesional pada bidangnya. Jumlah dan kualifikasi staf tersebut berdasarkan keadaan Desember 2017 sebagai berikut : - Tenaga Pendidik : S1 = 14 orang, S2 = 256 orang, S3 = 21 orang (Yang sedang menempuh S3 = 7 orang, Yang sedang menempuh S2 = 5 orang) - Tenaga Kependidikan : SD = 5 orang, SMP = 4 orang, SLTA = 71 orang, D3 = 25 orang, S1 = 54 orang, S2 = 15 orang."
+    },
+    {
+        "question": "Pripiye Politeknik Negeri Padang nyediakake akses internet kanggo mahasiswa?",
+        "ground_truth": "Politeknik Negeri Padang telah memiliki Anjungan Internet Mandiri (AIM) yang dapat diakses oleh mahasiswa secara gratis, yang tersedia pada titik-titik strategis. Juga tersedia kawasan hot spot area di sekitar kampus sehingga mahasiswa dapat memanfaatkan internet dengan bebas menggunakan laptop/PC."
+    },
+    {
+        "question": "Apa wae conto kerjasama Politeknik Negeri Padang karo industri?",
+        "ground_truth": "PT. Siemens Indonesia, PT. Toyota Aichi Takaoua Japan, PT. PLN, PT. INTI, Futaba Rashi Siisha Kusho Japan, PT. Sintom, PT. Krakatau Steel, Komatssu Shinge Koumuten, PT. PAL Indonesia, PT. Hexindo, Taishurin Co. Ltd Fukuoaka Japan, PT. Texmaco Perkasa, PT. LEN Industri, PT. Toyota Astra Motor, PT. Indah Kiat, PT. Trakindo Utama, BTN."
+    },
+    {
+        "question": "Pripiye Politeknik Negeri Padang nulungi mahasiswa ing babagan prestasi lan ekonomi?",
+        "ground_truth": "Tersedia bantuan untuk sekitar 800 mahasiswa setiap tahunnya. Beasiswa yang diterima antara lain: - Beasiswa Peningkatan Prestasi Akademik (PPA), - Beasiswa Kerja Mahasiswa (BKM), - Beasiswa Bantuan Belajar Mahasiswa (BBM), - Beasiswa TPSDP, - Beasiswa Kredit Bantuan Belajar Mahasiswa (KBBM), - Beasiswa Depertemen Hankam (ABRI), - Beasiswa PT. Toyota Astra, - Beasiswa ORBIT (ICMI), - Beasiswa Supersemar."
+    },
+    {
+        "question": "Pripiye status akreditasi program studi ing Politeknik Negeri Padang?",
+        "ground_truth": "Program studi di Politeknik Negeri Padang memiliki status akreditasi yang bervariasi seperti Baik, Baik Sekali, hingga Unggul. Contohnya, Teknik Mesin (D3) terakreditasi Baik Sekali hingga 2029, Teknik Manufaktur (D4) terakreditasi Unggul hingga 2028, dan Teknik Sipil (D3) terakreditasi A hingga 2026. Setiap program memiliki SK dan sertifikat akreditasi resmi."
+    },
+    {
+        "question": "Pripiye proses penerimaan mahasiswa anyar ing Politeknik Negeri Padang?",
+        "ground_truth": "Penerimaan mahasiswa baru di Politeknik Negeri Padang dilakukan melalui berbagai jalur seleksi seperti SNBT, SNMPN, dan kelas kerjasama. Tersedia brosur dan informasi detail melalui situs http://penerimaan.pnp.ac.id. Program studi Teknik Alat Berat misalnya memiliki kelas kerjasama dengan PT Trakindo Utama. Jadwal seleksi dan pengumuman dapat diakses secara daring."
+    },
+    {
+        "question": "Apa wujud kerjasama sing dilakoni Politeknik Negeri Padang?",
+        "ground_truth": "Politeknik Negeri Padang menjalin kerjasama dengan industri, pemerintah, BUMN, dan asosiasi profesi baik dalam negeri maupun luar negeri. Bentuk kerjasama mencakup rekrutmen, prakerin (praktik kerja industri), kunjungan industri, bimbingan karir, serta pembuatan MoU. Tujuannya untuk menjaga mutu lulusan dan penyaluran SDM."
+    },
+    {
+        "question": "Sapa direktur ing Politeknik Negeri Padang saiki?",
+        "ground_truth": "Direktur Politeknik Negeri Padang adalah Dr. Ir. Surfa Yondri, S.T., S.ST., M.Kom. Wakil Direktur Bidang Akademik adalah Ir. Revalin Herdianto, ST., M.Sc., Ph.D. Pimpinan lainnya antara lain Nasrullah, ST., M.T., dan Sarmiadi, S.E., M.M. yang memiliki pengalaman panjang dalam jabatan struktural di kampus."
+    },
+    {
+        "question": "Pripiye sejarah singkat berdirinya Politeknik Negeri Padang?",
+        "ground_truth": "Politeknik Negeri Padang didirikan pada tahun 1987 sebagai salah satu dari 17 politeknik pertama di Indonesia. Awalnya bernama Politeknik Engineering Universitas Andalas. Pada 1997 menjadi Politeknik Universitas Andalas lalu berubah menjadi Politeknik Negeri Padang. Saat ini memiliki 32 program studi dari jenjang D3 hingga Magister Terapan."
+    }
+]
+
+def main():
+    
+    """Main execution function"""
+    try:
+        client = Client()  # Inisialisasi client LangSmith
+        print(f"LangSmith Project: {os.getenv('LANGCHAIN_PROJECT')}")
+        # Initialize evaluator
+        evaluator = PNPRAGEvaluator()
+        
+        # Run evaluation
+        results = evaluator.run_evaluation(
+            evaluation_dataset, 
+            "pnp_rag_evaluation_results.json"
+        )
+        
+        print(f"\nEvaluation completed successfully!")
+        print(f"Results saved to: pnp_rag_evaluation_results.json")
+        
+        return results
+        
+    except Exception as e:
+        logger.error(f"Evaluation failed: {e}")
+        raise
+
+if __name__ == "__main__":
+    main()

evaluate_sunda.py

@@ -0,0 +1,542 @@
+from langchain_community.chat_models import ChatOllama
+from app.document_processor import load_vector_store_from_supabase
+from app.prompts import sahabat_prompt
+from app.db import supabase
+from langchain.chains import ConversationalRetrievalChain
+from langchain.memory import ConversationBufferMemory
+from langchain_community.llms import Replicate
+import os, time, json, random, logging
+from typing import List, Dict, Any, Tuple
+from dataclasses import dataclass, asdict
+import statistics
+from datetime import datetime
+from langsmith import traceable
+from langsmith import Client
+
+# Set up logging
+logging.basicConfig(
+    level=logging.INFO,
+    format='%(asctime)s - %(levelname)s - %(message)s'
+)
+logger = logging.getLogger(__name__)
+
+@dataclass
+class EvaluationResult:
+    question: str
+    answer: str
+    ground_truth: str
+    correctness_score: float
+    correctness_explanation: str
+    relevance_score: float
+    relevance_explanation: str
+    groundedness_score: float
+    groundedness_explanation: str
+    retrieval_score: float
+    retrieval_explanation: str
+    retrieved_docs: List[str]
+    response_time: float
+    timestamp: str
+
+class PNPRAGEvaluator:
+    def __init__(self):
+        logger.info("Initializing PNP RAG Evaluator...")
+        
+        # Load vector store
+        self.vector_store = load_vector_store_from_supabase(
+            supabase, "pnp-bot-storage-archive", "vector_store"
+        )
+        
+        # Initialize Replicate LLM
+        self.llm = Replicate(
+            model="fauziisyrinapridal/sahabat-ai-v1:afb9fa89fe786362f619fd4fef34bd1f7a4a4da23073d8a6fbf54dcbe458f216",
+            model_kwargs={"temperature": 0.5, "top_p": 1, "max_new_tokens": 10000},
+            replicate_api_token=os.getenv("REPLICATE_API_TOKEN")
+        )
+
+        # self.llm = ChatOllama(
+        #     model="llama3",
+        #     temperature=0.1,
+        #     max_tokens=10000,
+        #     top_p=0.9
+        # )
+        
+        # Initialize memory
+        self.memory = ConversationBufferMemory(
+            memory_key="chat_history", 
+            return_messages=True, 
+            output_key='answer'
+        )
+        
+        # Initialize RAG chain
+        self.chain = ConversationalRetrievalChain.from_llm(
+            self.llm, 
+            retriever=self.vector_store.as_retriever(search_kwargs={"k": 6}),
+            combine_docs_chain_kwargs={"prompt": sahabat_prompt},
+            return_source_documents=True, 
+            memory=self.memory
+        )
+        
+        # Initialize evaluator LLM
+        self.ollama_eval = ChatOllama(model="llama3", temperature=0.1)
+        
+        logger.info("PNP RAG Evaluator initialized successfully!")
+    
+    def ask(self, question: str) -> Dict[str, Any]:
+        """Generate answer using RAG chain with error handling"""
+        start_time = time.time()
+        try:
+            result = self.chain({"question": question})
+            result['response_time'] = time.time() - start_time
+            logger.debug(f"RAG response generated in {result['response_time']:.2f}s")
+            return result
+        except Exception as e:
+            logger.error(f"Error in RAG generation for question '{question[:50]}...': {e}")
+            return {
+                'answer': f"Error generating response: {str(e)}",
+                'source_documents': [],
+                'response_time': time.time() - start_time
+            }
+    
+    def evaluate_score(self, prompt: str, metric_name: str, max_retries: int = 3) -> Tuple[float, str]:
+        """Evaluate with enhanced error handling and logging"""
+        for attempt in range(max_retries):
+            try:
+                logger.debug(f"Evaluating {metric_name} (attempt {attempt + 1})")
+                response = self.ollama_eval.invoke(prompt)
+                content = response.content if hasattr(response, 'content') else str(response)
+                
+                # Enhanced parsing with multiple strategies
+                score, explanation = self._parse_evaluation_response(content)
+                
+                if score is not None:
+                    logger.debug(f"{metric_name} evaluation successful: {score:.3f}")
+                    return score, explanation
+                
+                logger.warning(f"Could not parse {metric_name} evaluation (attempt {attempt + 1})")
+                
+            except Exception as e:
+                logger.warning(f"{metric_name} evaluation attempt {attempt + 1} failed: {e}")
+                if attempt == max_retries - 1:
+                    return 0.0, f"Evaluation failed after {max_retries} attempts: {str(e)}"
+                time.sleep(1)
+        
+        return 0.0, "Maximum retries exceeded"
+    
+    def _parse_evaluation_response(self, content: str) -> Tuple[float, str]:
+        """Enhanced parsing for evaluation responses"""
+        try:
+            # Strategy 1: Standard format
+            if "Skor:" in content and "Penjelasan:" in content:
+                score_section = content.split("Skor:")[1].split("Penjelasan:")[0].strip()
+                explanation_section = content.split("Penjelasan:")[1].strip()
+                
+                # Extract numeric score
+                import re
+                score_match = re.search(r'(\d+\.?\d*)', score_section)
+                if score_match:
+                    score = float(score_match.group(1))
+                    # Handle scores > 1 (convert from 0-10 to 0-1 scale if needed)
+                    if score > 1:
+                        score = score / 10.0
+                    return min(max(score, 0), 1), explanation_section
+            
+            # Strategy 2: Look for score in any line
+            lines = content.split('\n')
+            for line in lines:
+                if any(keyword in line.lower() for keyword in ['skor', 'score']):
+                    import re
+                    score_match = re.search(r'(\d+\.?\d*)', line)
+                    if score_match:
+                        score = float(score_match.group(1))
+                        if score > 1:
+                            score = score / 10.0
+                        return min(max(score, 0), 1), content
+            
+            # Strategy 3: Look for decimal numbers in content
+            import re
+            numbers = re.findall(r'\b(0\.\d+|1\.0|1)\b', content)
+            if numbers:
+                score = float(numbers[0])
+                return min(max(score, 0), 1), content
+            
+            return None, content
+            
+        except Exception as e:
+            logger.error(f"Error parsing evaluation response: {e}")
+            return None, f"Parsing error: {str(e)}"
+    
+    def create_evaluation_prompts(self, question: str, answer: str, ground_truth: str, docs_text: str) -> Dict[str, str]:
+        """Create Indonesian evaluation prompts optimized for PNP context"""
+        return {
+            "correctness": f"""Evaluasi KEBENARAN jawaban tentang Politeknik Negeri Padang:
+
+PERTANYAAN: {question}
+JAWABAN REFERENSI (BENAR): {ground_truth}
+JAWABAN YANG DIEVALUASI: {answer}
+
+Berikan skor antara 0.0 (sepenuhnya salah) hingga 1.0 (sepenuhnya benar).
+Pertimbangkan:
+- Apakah fakta dalam jawaban sesuai dengan referensi?
+- Apakah informasi yang diberikan akurat tentang PNP?
+- Apakah ada kesalahan atau ketidaksesuaian data?
+
+Format wajib:
+Skor: <angka_desimal_antara_0_dan_1>
+Penjelasan: <alasan_detail_mengapa_skor_tersebut>""",
+
+            "relevance": f"""Evaluasi RELEVANSI jawaban terhadap pertanyaan tentang PNP:
+
+PERTANYAAN: {question}
+JAWABAN: {answer}
+
+Berikan skor antara 0.0 (tidak relevan sama sekali) hingga 1.0 (sangat relevan dan tepat sasaran).
+Pertimbangkan:
+- Apakah jawaban menjawab langsung pertanyaan yang diajukan?
+- Apakah informasi yang diberikan sesuai dengan konteks PNP?
+- Apakah jawaban fokus dan tidak keluar topik?
+
+Format wajib:
+Skor: <angka_desimal_antara_0_dan_1>
+Penjelasan: <alasan_detail_mengapa_skor_tersebut>""",
+
+            "groundedness": f"""Evaluasi apakah jawaban BERDASAR pada dokumen yang tersedia:
+
+DOKUMEN/KONTEKS:
+{docs_text}
+
+JAWABAN: {answer}
+
+Berikan skor antara 0.0 (tidak berdasar pada dokumen) hingga 1.0 (sepenuhnya berdasar pada dokumen).
+Pertimbangkan:
+- Apakah klaim dalam jawaban didukung oleh dokumen?
+- Apakah ada informasi yang dibuat-buat atau tidak ada di dokumen?
+- Apakah jawaban konsisten dengan fakta dalam dokumen?
+
+Format wajib:
+Skor: <angka_desimal_antara_0_dan_1>
+Penjelasan: <alasan_detail_mengapa_skor_tersebut>""",
+
+            "retrieval": f"""Evaluasi KUALITAS PENGAMBILAN dokumen untuk menjawab pertanyaan:
+
+PERTANYAAN: {question}
+DOKUMEN YANG DIAMBIL:
+{docs_text}
+
+Berikan skor antara 0.0 (dokumen tidak relevan) hingga 1.0 (dokumen sangat relevan dan lengkap).
+Pertimbangkan:
+- Apakah dokumen mengandung informasi yang dibutuhkan untuk menjawab pertanyaan?
+- Apakah ada informasi penting yang tidak terambil?
+- Apakah dokumen yang diambil sesuai dengan topik pertanyaan?
+
+Format wajib:
+Skor: <angka_desimal_antara_0_dan_1>
+Penjelasan: <alasan_detail_mengapa_skor_tersebut>"""
+        }
+    
+    def evaluate_single_item(self, item: Dict[str, Any], index: int, total: int) -> EvaluationResult:
+        """Evaluate a single question-answer pair with progress tracking"""
+        question = item["question"]
+        ground_truth = item["ground_truth"]
+        
+        logger.info(f"[{index}/{total}] Evaluating: {question[:60]}...")
+        
+        # Generate RAG response
+        rag_output = self.ask(question)
+        answer = rag_output['answer']
+        docs = rag_output.get('source_documents', [])
+        response_time = rag_output.get('response_time', 0)
+        
+        # Prepare documents text
+        docs_text = "\n\n".join([
+            f"Dokumen {i+1}:\n{doc.page_content[:500]}{'...' if len(doc.page_content) > 500 else ''}" 
+            for i, doc in enumerate(docs)
+        ])
+        
+        # Create evaluation prompts
+        prompts = self.create_evaluation_prompts(question, answer, ground_truth, docs_text)
+        
+        # Run evaluations with progress logging
+        logger.debug(f"Evaluating correctness...")
+        correctness_score, correctness_exp = self.evaluate_score(prompts["correctness"], "correctness")
+        
+        logger.debug(f"Evaluating relevance...")
+        relevance_score, relevance_exp = self.evaluate_score(prompts["relevance"], "relevance")
+        
+        logger.debug(f"Evaluating groundedness...")
+        groundedness_score, groundedness_exp = self.evaluate_score(prompts["groundedness"], "groundedness")
+        
+        logger.debug(f"Evaluating retrieval...")
+        retrieval_score, retrieval_exp = self.evaluate_score(prompts["retrieval"], "retrieval")
+        
+        result = EvaluationResult(
+            question=question,
+            answer=answer,
+            ground_truth=ground_truth,
+            correctness_score=correctness_score,
+            correctness_explanation=correctness_exp,
+            relevance_score=relevance_score,
+            relevance_explanation=relevance_exp,
+            groundedness_score=groundedness_score,
+            groundedness_explanation=groundedness_exp,
+            retrieval_score=retrieval_score,
+            retrieval_explanation=retrieval_exp,
+            retrieved_docs=[doc.page_content for doc in docs],
+            response_time=response_time,
+            timestamp=datetime.now().isoformat()
+        )
+        
+        logger.info(f"[{index}/{total}] Scores - C:{correctness_score:.3f} R:{relevance_score:.3f} G:{groundedness_score:.3f} Ret:{retrieval_score:.3f}")
+        
+        return result
+    @traceable(name="Evaluasi RAG Sahabat-AI",)
+    def run_evaluation(self, dataset: List[Dict[str, Any]], 
+                      save_path: str = "pnp_evaluation_results.json") -> Dict[str, Any]:
+        """Run evaluation on PNP dataset"""
+        results = []
+        total_items = len(dataset)
+        start_time = time.time()
+        
+        logger.info(f"Starting PNP RAG evaluation of {total_items} items...")
+        logger.info(f"Results will be saved to: {save_path}")
+        
+        for i, item in enumerate(dataset, 1):
+            try:
+                result = self.evaluate_single_item(item, i, total_items)
+                results.append(result)
+                
+                # Save intermediate results every 5 items
+                if i % 5 == 0:
+                    self._save_intermediate_results(results, save_path, i, total_items)
+                
+                # Add delay to avoid rate limiting
+                delay = random.uniform(2, 4)
+                logger.debug(f"Waiting {delay:.1f}s before next evaluation...")
+                time.sleep(delay)
+                
+            except Exception as e:
+                logger.error(f"Error evaluating item {i}: {e}")
+                continue
+        
+        # Calculate final statistics
+        summary = self.calculate_summary_stats(results)
+        summary['evaluation_time'] = time.time() - start_time
+        summary['timestamp'] = datetime.now().isoformat()
+        
+        # Save final results
+        self.save_results(results, summary, save_path)
+        
+        logger.info(f"PNP RAG evaluation completed in {summary['evaluation_time']:.1f}s!")
+        self._print_summary(summary)
+        
+        return {"results": results, "summary": summary}
+    
+    def _save_intermediate_results(self, results: List[EvaluationResult], save_path: str, current: int, total: int):
+        """Save intermediate results during evaluation"""
+        intermediate_path = save_path.replace('.json', f'_intermediate_{current}of{total}.json')
+        partial_summary = self.calculate_summary_stats(results)
+        self.save_results(results, partial_summary, intermediate_path)
+        logger.info(f"Intermediate results saved ({current}/{total}): {intermediate_path}")
+    
+    def calculate_summary_stats(self, results: List[EvaluationResult]) -> Dict[str, Any]:
+        """Calculate comprehensive summary statistics"""
+        if not results:
+            return {"error": "No results to analyze"}
+        
+        def safe_stats(scores):
+            if not scores:
+                return {"mean": 0, "median": 0, "std": 0, "min": 0, "max": 0}
+            return {
+                "mean": statistics.mean(scores),
+                "median": statistics.median(scores),
+                "std": statistics.stdev(scores) if len(scores) > 1 else 0,
+                "min": min(scores),
+                "max": max(scores)
+            }
+        
+        correctness_scores = [r.correctness_score for r in results]
+        relevance_scores = [r.relevance_score for r in results]
+        groundedness_scores = [r.groundedness_score for r in results]
+        retrieval_scores = [r.retrieval_score for r in results]
+        response_times = [r.response_time for r in results]
+        
+        # Overall performance score (weighted average)
+        overall_scores = [
+            (r.correctness_score * 0.3 + 
+             r.relevance_score * 0.25 + 
+             r.groundedness_score * 0.25 + 
+             r.retrieval_score * 0.2)
+            for r in results
+        ]
+        
+        return {
+            "total_evaluations": len(results),
+            "correctness": safe_stats(correctness_scores),
+            "relevance": safe_stats(relevance_scores),
+            "groundedness": safe_stats(groundedness_scores),
+            "retrieval": safe_stats(retrieval_scores),
+            "overall_performance": safe_stats(overall_scores),
+            "performance_metrics": {
+                "avg_response_time": statistics.mean(response_times),
+                "median_response_time": statistics.median(response_times),
+                "total_response_time": sum(response_times),
+                "fastest_response": min(response_times),
+                "slowest_response": max(response_times)
+            },
+            "score_distribution": {
+                "excellent_count": len([s for s in overall_scores if s >= 0.8]),
+                "good_count": len([s for s in overall_scores if 0.6 <= s < 0.8]),
+                "fair_count": len([s for s in overall_scores if 0.4 <= s < 0.6]),
+                "poor_count": len([s for s in overall_scores if s < 0.4])
+            }
+        }
+    
+    def save_results(self, results: List[EvaluationResult], summary: Dict[str, Any], save_path: str):
+        """Save evaluation results with enhanced formatting"""
+        output = {
+            "metadata": {
+                "evaluation_system": "PNP RAG Evaluator",
+                "dataset": "Politeknik Negeri Padang Q&A",
+                "model": "fauziisyrinapridal/sahabat-ai-v1:latest",
+                "evaluator": "llama3",
+                "timestamp": datetime.now().isoformat()
+            },
+            "summary": summary,
+            "detailed_results": [
+                {
+                    "id": i + 1,
+                    "question": r.question,
+                    "answer": r.answer,
+                    "ground_truth": r.ground_truth,
+                    "scores": {
+                        "correctness": round(r.correctness_score, 3),
+                        "relevance": round(r.relevance_score, 3),
+                        "groundedness": round(r.groundedness_score, 3),
+                        "retrieval": round(r.retrieval_score, 3),
+                        "overall": round((r.correctness_score * 0.3 + 
+                                       r.relevance_score * 0.25 + 
+                                       r.groundedness_score * 0.25 + 
+                                       r.retrieval_score * 0.2), 3)
+                    },
+                    "explanations": {
+                        "correctness": r.correctness_explanation,
+                        "relevance": r.relevance_explanation,
+                        "groundedness": r.groundedness_explanation,
+                        "retrieval": r.retrieval_explanation
+                    },
+                    "metrics": {
+                        "response_time": round(r.response_time, 2),
+                        "retrieved_docs_count": len(r.retrieved_docs),
+                        "timestamp": r.timestamp
+                    }
+                }
+                for i, r in enumerate(results)
+            ]
+        }
+        
+        with open(save_path, 'w', encoding='utf-8') as f:
+            json.dump(output, f, ensure_ascii=False, indent=2)
+        
+        logger.info(f"Results saved to {save_path}")
+    
+    def _print_summary(self, summary: Dict[str, Any]):
+        """Print formatted evaluation summary"""
+        print("\n" + "="*60)
+        print("         PNP RAG EVALUATION SUMMARY")
+        print("="*60)
+        print(f"Total Evaluations: {summary['total_evaluations']}")
+        print(f"Evaluation Time: {summary.get('evaluation_time', 0):.1f}s")
+        print("\nSCORE BREAKDOWN:")
+        print(f"  Correctness:  {summary['correctness']['mean']:.3f} ± {summary['correctness']['std']:.3f}")
+        print(f"  Relevance:    {summary['relevance']['mean']:.3f} ± {summary['relevance']['std']:.3f}")
+        print(f"  Groundedness: {summary['groundedness']['mean']:.3f} ± {summary['groundedness']['std']:.3f}")
+        print(f"  Retrieval:    {summary['retrieval']['mean']:.3f} ± {summary['retrieval']['std']:.3f}")
+        print(f"  Overall:      {summary['overall_performance']['mean']:.3f} ± {summary['overall_performance']['std']:.3f}")
+        
+        print("\nPERFORMANCE DISTRIBUTION:")
+        dist = summary['score_distribution']
+        print(f"  Excellent (≥0.8): {dist['excellent_count']} ({dist['excellent_count']/summary['total_evaluations']*100:.1f}%)")
+        print(f"  Good (0.6-0.8):   {dist['good_count']} ({dist['good_count']/summary['total_evaluations']*100:.1f}%)")
+        print(f"  Fair (0.4-0.6):   {dist['fair_count']} ({dist['fair_count']/summary['total_evaluations']*100:.1f}%)")
+        print(f"  Poor (<0.4):      {dist['poor_count']} ({dist['poor_count']/summary['total_evaluations']*100:.1f}%)")
+        
+        print(f"\nRESPONSE TIME STATS:")
+        perf = summary['performance_metrics']
+        print(f"  Average: {perf['avg_response_time']:.2f}s")
+        print(f"  Median:  {perf['median_response_time']:.2f}s")
+        print(f"  Range:   {perf['fastest_response']:.2f}s - {perf['slowest_response']:.2f}s")
+        print("="*60)
+
+# PNP Evaluation Dataset
+evaluation_dataset = [
+    {
+        "question": "Kumaha sistem pendidikan anu diterapkeun di Politeknik Negeri Padang?",
+        "ground_truth": "Sistem pendidikan yang diterapkan di Politeknik adalah dengan menggabungkan pendidikan teoritis, praktek (terapan) di Laboratorium dan praktek industry. Pelaksanaan praktik di industri dilakukan oleh mahasiswa selama satu semester untuk menambah wawasan, pengalaman dan pengembangan ilmu guna membentuk tenaga ahli yang terampil dan profesional."
+    },
+    {
+        "question": "Naon wae mata kuliah anu aya dina kurikulum pendidikan Politeknik Negeri Padang?",
+        "ground_truth": "Kurikulum Pendidikan telah disusun berbasis kompetensi dengan kelompok mata kuliah sebagai berikut : - Mata Kuliah Pengembangan Kepribadian (MPK) - Mata Kuliah Keimuan dan Keterampilan (MKK) - Mata Kuliah Berkarya (MKB) - Mata Kuliah Berkehidupan Bermasyarakat (MBB)"
+    },
+    {
+        "question": "Kumaha Politeknik Negeri Padang ngarojong misi tridharma perguruan tinggi?",
+        "ground_truth": "Politeknik Negeri Padang dalam menjalankan misi tridharma perguruan tinggi didukung oleh tenaga pendidik dan tenaga kependidikan yang profesional pada bidangnya. Jumlah dan kualifikasi staf tersebut berdasarkan keadaan Desember 2017 sebagai berikut : - Tenaga Pendidik : S1 = 14 orang, S2 = 256 orang, S3 = 21 orang (Yang sedang menempuh S3 = 7 orang, Yang sedang menempuh S2 = 5 orang) - Tenaga Kependidikan : SD = 5 orang, SMP = 4 orang, SLTA = 71 orang, D3 = 25 orang, S1 = 54 orang, S2 = 15 orang."
+    },
+    {
+        "question": "Kumaha Politeknik Negeri Padang nyayogikeun aksés internét pikeun mahasiswa?",
+        "ground_truth": "Politeknik Negeri Padang telah memiliki Anjungan Internet Mandiri (AIM) yang dapat diakses oleh mahasiswa secara gratis, yang tersedia pada titik-titik strategis. Juga tersedia kawasan hot spot area di sekitar kampus sehingga mahasiswa dapat memanfaatkan internet dengan bebas menggunakan laptop/PC."
+    },
+    {
+        "question": "Naon wae conto gawé bareng Politeknik Negeri Padang sareng industri?",
+        "ground_truth": "PT. Siemens Indonesia, PT. Toyota Aichi Takaoua Japan, PT. PLN, PT. INTI, Futaba Rashi Siisha Kusho Japan, PT. Sintom, PT. Krakatau Steel, Komatssu Shinge Koumuten, PT. PAL Indonesia, PT. Hexindo, Taishurin Co. Ltd Fukuoaka Japan, PT. Texmaco Perkasa, PT. LEN Industri, PT. Toyota Astra Motor, PT. Indah Kiat, PT. Trakindo Utama, BTN."
+    },
+    {
+        "question": "Kumaha Politeknik Negeri Padang ngabantuan mahasiswa dina hal prestasi sareng ékonomi?",
+        "ground_truth": "Tersedia bantuan untuk sekitar 800 mahasiswa setiap tahunnya. Beasiswa yang diterima antara lain: - Beasiswa Peningkatan Prestasi Akademik (PPA), - Beasiswa Kerja Mahasiswa (BKM), - Beasiswa Bantuan Belajar Mahasiswa (BBM), - Beasiswa TPSDP, - Beasiswa Kredit Bantuan Belajar Mahasiswa (KBBM), - Beasiswa Depertemen Hankam (ABRI), - Beasiswa PT. Toyota Astra, - Beasiswa ORBIT (ICMI), - Beasiswa Supersemar."
+    },
+    {
+        "question": "Kumaha status akreditasi program studi di Politeknik Negeri Padang?",
+        "ground_truth": "Program studi di Politeknik Negeri Padang memiliki status akreditasi yang bervariasi seperti Baik, Baik Sekali, hingga Unggul. Contohnya, Teknik Mesin (D3) terakreditasi Baik Sekali hingga 2029, Teknik Manufaktur (D4) terakreditasi Unggul hingga 2028, dan Teknik Sipil (D3) terakreditasi A hingga 2026. Setiap program memiliki SK dan sertifikat akreditasi resmi."
+    },
+    {
+        "question": "Kumaha prosés panarimaan mahasiswa énggal di Politeknik Negeri Padang?",
+        "ground_truth": "Penerimaan mahasiswa baru di Politeknik Negeri Padang dilakukan melalui berbagai jalur seleksi seperti SNBT, SNMPN, dan kelas kerjasama. Tersedia brosur dan informasi detail melalui situs http://penerimaan.pnp.ac.id. Program studi Teknik Alat Berat misalnya memiliki kelas kerjasama dengan PT Trakindo Utama. Jadwal seleksi dan pengumuman dapat diakses secara daring."
+    },
+    {
+        "question": "Naon wujud gawé bareng anu dilakukeun Politeknik Negeri Padang?",
+        "ground_truth": "Politeknik Negeri Padang menjalin kerjasama dengan industri, pemerintah, BUMN, dan asosiasi profesi baik dalam negeri maupun luar negeri. Bentuk kerjasama mencakup rekrutmen, prakerin (praktik kerja industri), kunjungan industri, bimbingan karir, serta pembuatan MoU. Tujuannya untuk menjaga mutu lulusan dan penyaluran SDM."
+    },
+    {
+        "question": "Saha direktur di Politeknik Negeri Padang ayeuna?",
+        "ground_truth": "Direktur Politeknik Negeri Padang adalah Dr. Ir. Surfa Yondri, S.T., S.ST., M.Kom. Wakil Direktur Bidang Akademik adalah Ir. Revalin Herdianto, ST., M.Sc., Ph.D. Pimpinan lainnya antara lain Nasrullah, ST., M.T., dan Sarmiadi, S.E., M.M. yang memiliki pengalaman panjang dalam jabatan struktural di kampus."
+    },
+    {
+        "question": "Kumaha sajarah singget ngadegna Politeknik Negeri Padang?",
+        "ground_truth": "Politeknik Negeri Padang didirikan pada tahun 1987 sebagai salah satu dari 17 politeknik pertama di Indonesia. Awalnya bernama Politeknik Engineering Universitas Andalas. Pada 1997 menjadi Politeknik Universitas Andalas lalu berubah menjadi Politeknik Negeri Padang. Saat ini memiliki 32 program studi dari jenjang D3 hingga Magister Terapan."
+    }
+]
+
+def main():
+    
+    """Main execution function"""
+    try:
+        client = Client()  # Inisialisasi client LangSmith
+        print(f"LangSmith Project: {os.getenv('LANGCHAIN_PROJECT')}")
+        # Initialize evaluator
+        evaluator = PNPRAGEvaluator()
+        
+        # Run evaluation
+        results = evaluator.run_evaluation(
+            evaluation_dataset, 
+            "pnp_rag_evaluation_results.json"
+        )
+        
+        print(f"\nEvaluation completed successfully!")
+        print(f"Results saved to: pnp_rag_evaluation_results.json")
+        
+        return results
+        
+    except Exception as e:
+        logger.error(f"Evaluation failed: {e}")
+        raise
+
+if __name__ == "__main__":
+    main()

hasil_evaluasi/k10/pnp_rag_evaluation_results.json

@@ -1,328 +0,0 @@
-{
-  "metadata": {
-    "evaluation_system": "PNP RAG Evaluator",
-    "dataset": "Politeknik Negeri Padang Q&A",
-    "model": "fauziisyrinapridal/sahabat-ai-v1:latest",
-    "evaluator": "llama3",
-    "timestamp": "2025-07-01T19:26:54.053255"
-  },
-  "summary": {
-    "total_evaluations": 11,
-    "correctness": {
-      "mean": 0.8454545454545455,
-      "median": 0.9,
-      "std": 0.12933395813657264,
-      "min": 0.5,
-      "max": 1.0
-    },
-    "relevance": {
-      "mean": 0.7909090909090909,
-      "median": 0.8,
-      "std": 0.1044465935734187,
-      "min": 0.5,
-      "max": 0.9
-    },
-    "groundedness": {
-      "mean": 0.7454545454545455,
-      "median": 0.8,
-      "std": 0.1213559752433836,
-      "min": 0.5,
-      "max": 0.8
-    },
-    "retrieval": {
-      "mean": 0.8181818181818182,
-      "median": 0.8,
-      "std": 0.06030226891555271,
-      "min": 0.8,
-      "max": 1.0
-    },
-    "overall_performance": {
-      "mean": 0.8013636363636364,
-      "median": 0.8300000000000001,
-      "std": 0.08273726213414695,
-      "min": 0.56,
-      "max": 0.8700000000000001
-    },
-    "performance_metrics": {
-      "avg_response_time": 81.46986872499639,
-      "median_response_time": 79.0960373878479,
-      "total_response_time": 896.1685559749603,
-      "fastest_response": 15.581374883651733,
-      "slowest_response": 174.30432057380676
-    },
-    "score_distribution": {
-      "excellent_count": 9,
-      "good_count": 1,
-      "fair_count": 1,
-      "poor_count": 0
-    },
-    "evaluation_time": 1345.5474064350128,
-    "timestamp": "2025-07-01T19:26:54.053255"
-  },
-  "detailed_results": [
-    {
-      "id": 1,
-      "question": "Bagaimana sistem pendidikan yang diterapkan di Politeknik Negeri Padang?",
-      "answer": "Sistem pendidikan yang diterapkan di Politeknik Negeri Padang adalah dengan menggabungkan pendidikan teoritis, praktek (terapan) di Laboratorium dan praktek industry. Pelaksanaan praktik di industri dilakukan oleh mahasiswa selama satu semester untuk menambah wawasan, pengalaman dan pengembangan ilmu guna membentuk tenaga ahli yang terampil dan profesional.",
-      "ground_truth": "Sistem pendidikan yang diterapkan di Politeknik adalah dengan menggabungkan pendidikan teoritis, praktek (terapan) di Laboratorium dan praktek industry. Pelaksanaan praktik di industri dilakukan oleh mahasiswa selama satu semester untuk menambah wawasan, pengalaman dan pengembangan ilmu guna membentuk tenaga ahli yang terampil dan profesional.",
-      "scores": {
-        "correctness": 1.0,
-        "relevance": 0.8,
-        "groundedness": 0.5,
-        "retrieval": 0.8,
-        "overall": 0.785
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sepenuhnya sesuai dengan referensi. Fakta dalam jawaban sama dengan informasi yang diberikan dalam referensi, yaitu bahwa Politeknik Negeri Padang menggabungkan pendidikan teoritis, praktek (terapan) di Laboratorium dan praktek industry sebagai sistem pendidikan yang diterapkan. Informasi yang diberikan juga akurat tentang PNP, tidak ada kesalahan atau ketidaksesuaian data.",
-        "relevance": "Jawaban ini sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan tentang sistem pendidikan yang diterapkan di Politeknik Negeri Padang. Informasi yang diberikan juga sesuai dengan konteks PNP, yaitu menggabungkan pendidikan teoritis, praktek (terapan) di Laboratorium dan praktek industry. Jawaban ini fokus dan tidak keluar topik, hanya membahas sistem pendidikan yang diterapkan di PNP tanpa menambahkan informasi yang tidak relevan. Namun, jawaban ini tidak sempurna karena tidak menjelaskan lebih lanjut tentang bagaimana pelaksanaan praktik di industri dilakukan oleh mahasiswa dan apa yang mereka lakukan selama satu semester.",
-        "groundedness": "Jawaban tidak sepenuhnya berdasar pada dokumen, namun ada beberapa informasi yang didukung oleh dokumen.\n\nPertama, jawaban menggabungkan pendidikan teoritis, praktek (terapan) di Laboratorium dan praktek industry. Dokumen 1 dan Dokumen 2 tidak secara langsung menyebutkan tentang pelaksanaan praktik di industri, namun Dokumen 2 menjelaskan bahwa Politeknik Negeri Padang telah mendapat izin untuk menyelenggarakan Program D IV dari DIKTI, baik untuk program lanjutan (transfer dari D III), yang dapat diartikan sebagai pelatihan praktek di industri.\n\nKedua, jawaban tidak menjelaskan tentang sistem pendidikan yang diterapkan di Politeknik Negeri Padang. Dokumen 1 dan Dokumen 2 hanya menjelaskan tentang kurikulum pendidikan yang telah disusun berbasis kompetensi dengan kelompok mata kuliah sebagai berikut : Mata Kuliah Pengembangan Kepribadian (MPK), Mata Kuliah dan Keimuan dan Keterampilan (MKK), Mata Kuliah Berkarya (MKB), dan Mata Kulah Berkehidupan Bermasyarakat (MBB).\n\nNamun, jawaban tidak sepenuhnya tidak berdasar pada dokumen karena Dokumen 1 dan Dokumen 2 menjelaskan tentang kurikulum pendidikan yang telah disusun berbasis kompetensi. Oleh karena itu, skor diberikan sebesar 0.5.",
-        "retrieval": "The documents provide a good overview of the education system implemented at Politeknik Negeri Padang. Dokumen 1 provides historical context, while Dokumen 2 describes the curriculum and its focus on competence-based learning. Dokumen 3 mentions the commitment to quality education and the importance of synergy among staff.\n\nHowever, I deduct points because some documents (Dokumen 4-8) appear to be redundant and do not provide new information relevant to the question. Dokumen 9 and 10 seem to be general information about the institution's history and facilities, which is not directly related to the education system implemented at Politeknik Negeri Padang.\n\nOverall, while the documents provide some useful information, they could be more comprehensive and focused on the specific topic of the education system implemented at Politeknik Negeri Padang."
-      },
-      "metrics": {
-        "response_time": 131.91,
-        "retrieved_docs_count": 10,
-        "timestamp": "2025-07-01T19:07:19.737470"
-      }
-    },
-    {
-      "id": 2,
-      "question": "Apa saja mata kuliah yang terdapat dalam kurikulum pendidikan Politeknik Negeri Padang?",
-      "answer": "Mata kuliah yang terdapat dalam kurikulum pendidikan Politeknik Negeri Padang adalah:\n\n1. Mata Kuliah Pengembangan Kepribadian (MPK)\n2. Mata Kuliah dan Keimuan dan Keterampilan (MKK)\n3. Mata Kuliah Berkarya (MKB)\n4. Mata Kulah Berkehidupan Bermasyarakat (MBB)",
-      "ground_truth": "Kurikulum Pendidikan telah disusun berbasis kompetensi dengan kelompok mata kuliah sebagai berikut : - Mata Kuliah Pengembangan Kepribadian (MPK) - Mata Kuliah Keimuan dan Keterampilan (MKK) - Mata Kuliah Berkarya (MKB) - Mata Kuliah Berkehidupan Bermasyarakat (MBB)",
-      "scores": {
-        "correctness": 0.9,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 0.8,
-        "overall": 0.83
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi memiliki kesamaan dengan referensi sebesar 90%. Fakta dalam jawaban sesuai dengan referensi, yaitu terdapat empat mata kuliah yang disebutkan, yakni MPK, MKK, MKB, dan MBB. Informasi yang diberikan tentang PNP juga akurat, karena kurikulum pendidikan Politeknik Negeri Padang memang berbasis kompetensi dengan kelompok mata kuliah tersebut. Namun, terdapat satu kesalahan kecil, yaitu penulisan \"Mata Kulah\" menjadi \"Mata Kuliah\" pada nomor 4. Karena itu, skor yang diberikan adalah 0.9.",
-        "relevance": "Jawaban ini sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan yang diajukan tentang mata kuliah yang terdapat dalam kurikulum pendidikan Politeknik Negeri Padang. Informasi yang diberikan juga sesuai dengan konteks PNP sebagai institusi pendidikan teknologi dan vokasi. Namun, jawaban ini tidak sempurna karena tidak menjelaskan secara rinci tentang mata kuliah apa saja yang terdapat dalam kurikulum PNP, hanya memberikan judul-judul mata kuliah tanpa deskripsi lebih lanjut.",
-        "groundedness": "Jawaban Anda sebagian besar berdasar pada dokumen, tetapi tidak sepenuhnya.\n\nDokumen 1 menjelaskan kurikulum pendidikan Politeknik Negeri Padang yang terdiri dari empat mata kuliah: MPK, MKK, MKB, dan MBB. Jawaban Anda juga mencantumkan empat mata kuliah tersebut, sehingga skor 0.8.\n\nNamun, tidak ada dokumen lain yang secara eksplisit menjelaskan tentang kurikulum pendidikan Politeknik Negeri Padang. Oleh karena itu, jawaban Anda tidak sepenuhnya berdasar pada dokumen, sehingga skor 0.2.\n\nDalam penilaian ini, saya mempertimbangkan apakah klaim dalam jawaban didukung oleh dokumen, apakah ada informasi yang dibuat-buat atau tidak ada di dokumen, dan apakah jawaban konsisten dengan fakta dalam dokumen.",
-        "retrieval": "Dokumen yang diambil terdiri dari beberapa jenis, termasuk informasi tentang kurikulum pendidikan, akreditasi program studi, informasi penerimaan mahasiswa baru, jadwal perkuliahan, dan lain-lain.\n\nInformasi yang relevan dengan pertanyaan \"Apa saja mata kuliah yang terdapat dalam kurikulum pendidikan Politeknik Negeri Padang?\" dapat ditemukan pada Dokumen 1, yaitu Kurikulum Pendidikan telah disusun berbasis kompetensi dengan kelompok mata kuliah sebagai berikut : Mata Kuliah Pengembangan Kepribadian (MPK), Mata Kuliah dan Keimuan dan Keterampilan (MKK), Mata Kuliah Berkarya (MKB), dan Mata Kulah Berkehidupan Bermasyarakat (MBB).\n\nNamun, dokumen lainnya tidak terlalu relevan dengan pertanyaan tersebut. Dokumen 2-5 hanya berisi informasi tentang akreditasi program studi, penerimaan mahasiswa baru, beasiswa, dan lain-lain yang tidak terkait dengan mata kuliah.\n\nDokumen 6-8 berisi jadwal perkuliahan, namun tidak terlalu relevan dengan pertanyaan tersebut. Dokumen 9 berisi informasi tentang tenaga pendidik dan kependidikan, namun tidak terkait dengan mata kuliah.\n\nDokumen 10 berisi jadwal perkuliahan yang lebih spesifik, namun masih tidak relevan dengan pertanyaan tersebut.\n\nOleh karena itu, skor yang diberikan adalah 0.8, karena beberapa dokumen mengandung informasi yang relevan dengan pertanyaan, tetapi tidak semua dokumen terkait dengan mata kuliah."
-      },
-      "metrics": {
-        "response_time": 100.25,
-        "retrieved_docs_count": 10,
-        "timestamp": "2025-07-01T19:09:40.565297"
-      }
-    },
-    {
-      "id": 3,
-      "question": "Bagaimana Politeknik Negeri Padang mendukung misi tridharma perguruan tinggi?",
-      "answer": "Politeknik Negeri Padang mendukung misi tridharma perguruan tinggi melalui beberapa cara. Pertama, dalam bidang pendidikan, Politeknik Negeri Padang menerapkan sistem pendidikan yang konsisten pada jalur pendidikan vokasional dengan menerapkan sistem pembelajaran yang aplikatif serta secara terus menerus menyesuaikan diri dengan perkembangan dunia industri dan dunia usaha. Kedua, dalam bidang penelitian, Politeknik Negeri Padang telah mendapat izin untuk menyelenggarakan Program D IV dari DIKTI, baik untuk program lanjutan (transfer dari D III) dan D IV murni (menampung lulusan SMU/SMK). Ketiga, dalam bidang pengabdian kepada masyarakat, Politeknik Negeri Padang telah menyelenggarakan pendidikan Program D IV dan D III Kerjasama dengan Departemen Kimpraswil, PT. dan juga menyediakan bantuan untuk sekitar 800 orang mahasiswa setiap tahunnya.",
-      "ground_truth": "Politeknik Negeri Padang dalam menjalankan misi tridharma perguruan tinggi didukung oleh tenaga pendidik dan tenaga kependidikan yang profesional pada bidangnya. Jumlah dan kualifikasi staf tersebut berdasarkan keadaan Desember 2017 sebagai berikut : - Tenaga Pendidik : S1 = 14 orang, S2 = 256 orang, S3 = 21 orang (Yang sedang menempuh S3 = 7 orang, Yang sedang menempuh S2 = 5 orang) - Tenaga Kependidikan : SD = 5 orang, SMP = 4 orang, SLTA = 71 orang, D3 = 25 orang, S1 = 54 orang, S2 = 15 orang.",
-      "scores": {
-        "correctness": 0.8,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 0.8,
-        "overall": 0.8
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sebagian besar benar, tetapi terdapat beberapa kesalahan dan ketidaksesuaian data.\n\nFakta dalam jawaban sesuai dengan referensi pada beberapa titik, seperti Politeknik Negeri Padang menerapkan sistem pendidikan yang konsisten pada jalur pendidikan vokasional (benar) dan telah mendapat izin untuk menyelenggarakan Program D IV dari DIKTI (benar).\n\nNamun, terdapat beberapa kesalahan dan ketidaksesuaian data. Misalnya, jawaban tidak menjelaskan bagaimana Politeknik Negeri Padang mendukung misi tridharma perguruan tinggi secara lebih luas, hanya mengutip beberapa contoh saja.\n\nSelain itu, informasi yang diberikan tentang PNP juga kurang akurat. Misalnya, tidak ada informasi tentang jumlah dan kualifikasi staf yang profesional pada bidangnya, seperti yang tercantum dalam referensi.\n\nDalam penilaian skor, saya memberikan nilai 0.8 karena jawaban sebagian besar benar, tetapi terdapat beberapa kesalahan dan ketidaksesuaian data.",
-        "relevance": "Jawaban ini sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan tentang bagaimana PNP mendukung misi tridharma perguruan tinggi. Informasi yang diberikan juga sesuai dengan konteks PNP, seperti sistem pendidikan vokasional, program penelitian, dan pengabdian kepada masyarakat. Jawaban ini fokus dan tidak keluar topik, karena hanya membahas cara-cara PNP mendukung misi tridharma perguruan tinggi tanpa menambahkan informasi yang tidak relevan. Namun, jawaban ini tidak sempurna karena tidak menjelaskan secara lebih detail bagaimana PNP menerapkan sistem pendidikan vokasional dan program penelitian dalam mendukung misi tridharma perguruan tinggi.",
-        "groundedness": "Jawaban tersebut sebagian besar berdasar pada dokumen, tetapi ada beberapa klaim yang tidak didukung oleh dokumen.\n\nPertama, jawaban tersebut tidak menjelaskan bagaimana Politeknik Negeri Padang mendukung misi tridharma perguruan tinggi dalam bidang penelitian. Dokumen 3 hanya menyebutkan bahwa Politeknik Negeri Padang telah mendapat izin untuk menyelenggarakan Program D IV dari DIKTI, tetapi tidak menjelaskan bagaimana program tersebut mendukung misi tridharma.\n\nKedua, jawaban tersebut tidak menjelaskan bagaimana Politeknik Negeri Padang mendukung misi tridharma perguruan tinggi dalam bidang pengabdian kepada masyarakat. Dokumen 4 hanya menyebutkan bahwa Politeknik Negeri Padang telah menyediakan bantuan untuk sekitar 800 orang mahasiswa setiap tahunnya, tetapi tidak menjelaskan bagaimana bantuan tersebut mendukung misi tridharma.\n\nNamun, jawaban tersebut juga berisi beberapa informasi yang didukung oleh dokumen, seperti sistem pendidikan vokasional yang konsisten pada jalur pendidikan vokasional (Dokumen 2) dan program D IV yang telah mendapat izin dari DIKTI (Dokumen 3). Oleh karena itu, skor yang diberikan adalah 0.8.",
-        "retrieval": "Dokumen-dokumen yang diambil terdiri dari berbagai informasi tentang Politeknik Negeri Padang, termasuk visi dan misinya, kurikulum pendidikan, jadwal perkuliahan, dan lain-lain. Dokumen 1-5 mengandung informasi tentang komitmen dan pertanggungjawaban Politeknik Negeri Padang sebagai perguruan tinggi, serta tujuan dan sasaran pendidikan vokasional.\n\nNamun, dokumen-dokumen yang diambil tidak lengkap dalam menjawab pertanyaan. Dokumen 6-10 lebih berfokus pada informasi teknis dan administratif, seperti tata nilai, kebijakan, dan jadwal perkuliahan. Informasi tentang bagaimana Politeknik Negeri Padang mendukung misi tridharma perguruan tinggi tidak terlalu jelas dalam dokumen-dokumen yang diambil.\n\nDalam penilaian kualitas pengambilan dokumen, saya memberikan skor 0.8 karena dokumen-dokumen yang diambil mengandung informasi penting tentang Politeknik Negeri Padang, tetapi tidak lengkap dalam menjawab pertanyaan dan tidak terlalu relevan dengan topik pertanyaan."
-      },
-      "metrics": {
-        "response_time": 174.3,
-        "retrieved_docs_count": 10,
-        "timestamp": "2025-07-01T19:13:19.822511"
-      }
-    },
-    {
-      "id": 4,
-      "question": "Bagaimana Politeknik Negeri Padang menyediakan akses internet bagi mahasiswa?",
-      "answer": "Politeknik Negeri Padang telah memiliki Anjungan Internet Mandiri (AIM) yang dapat di akses oleh mahasiswa Politeknik secara gratis, yang tersedia pada titik-titik strategis. Politeknik Negeri Padang juga memiliki kawasan hot spot area disekitar kampus, sehingga mahasiswa dapat memanfaatkan internet disekitar kampus secara bebas dengan menggunakan laptop/PC.",
-      "ground_truth": "Politeknik Negeri Padang telah memiliki Anjungan Internet Mandiri (AIM) yang dapat diakses oleh mahasiswa secara gratis, yang tersedia pada titik-titik strategis. Juga tersedia kawasan hot spot area di sekitar kampus sehingga mahasiswa dapat memanfaatkan internet dengan bebas menggunakan laptop/PC.",
-      "scores": {
-        "correctness": 0.9,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 1.0,
-        "overall": 0.87
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sangat mirip dengan jawaban referensi, hanya ada sedikit perbedaan pada kalimat \"Politeknik secara gratis\" menjadi \"mahasiswa Politeknik secara gratis\". Keduanya memiliki informasi yang sama tentang Anjungan Internet Mandiri (AIM) dan kawasan hot spot area di sekitar kampus. Informasi yang diberikan juga akurat tentang PNP, tidak ada kesalahan atau ketidaksesuaian data. Namun, karena terdapat sedikit perbedaan pada kalimat, maka skor yang diberikan adalah 0.9.",
-        "relevance": "Jawaban ini sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan tentang bagaimana PNP menyediakan akses internet bagi mahasiswa. Informasi yang diberikan juga sesuai dengan konteks PNP, yaitu tentang Anjungan Internet Mandiri (AIM) dan kawasan hot spot area disekitar kampus. Jawaban ini fokus dan tidak keluar topik, hanya memberikan informasi yang relevan dan berguna untuk menjawab pertanyaan. Namun, jawaban ini tidak sempurna karena tidak menjelaskan lebih lanjut tentang kualitas akses internet atau apakah akses internet tersebut tersedia 24 jam sehari.",
-        "groundedness": "Jawaban tersebut didukung oleh Dokumen 1, yang menyebutkan bahwa Politeknik Negeri Padang memiliki Anjungan Internet Mandiri (AIM) yang dapat diakses oleh mahasiswa secara gratis. Namun, tidak ada informasi tentang kawasan hot spot area disekitar kampus dalam dokumen lainnya.\n\nJawaban tersebut juga tidak konsisten dengan fakta dalam Dokumen 5, yang hanya berisi informasi teknis tentang penggunaan Google Translate dan tidak menyebutkan apapun tentang Anjungan Internet Mandiri (AIM) atau kawasan hot spot area.",
-        "retrieval": "Based on the provided documents, I evaluate the relevance and completeness of each document in answering the question \"How does Politeknik Negeri Padang provide internet access to students?\"\n\n**Dokumen 1**: This document provides information about the number of staff members at Politeknik Negeri Padang, but it is not directly related to providing internet access to students. Score: 0.2 (some information is indirectly relevant)\n\n**Dokumen 2**: This document discusses various forms of assistance and scholarships available to students, including those with academic achievements. While it does not specifically mention internet access, it provides context about the institution's support for students. Score: 0.5 (partially relevant)\n\n**Dokumen 3**: This document appears to be a collection of news articles or announcements related to Politeknik Negeri Padang, including information about technology and community engagement. None of these articles directly address internet access. Score: 0.1 (not relevant)\n\n**Dokumen 4**: This document provides information about the admission process for new students at Politeknik Negeri Padang, but it does not mention internet access. Score: 0.0 (not relevant)\n\n**Dokumen 5**: This document appears to be a translation settings page and is not directly related to providing internet access to students. Score: 0.0 (not relevant)\n\n**Dokumen 6**: This document discusses the link-and-match program between Politeknik Negeri Padang and Ditjen Vokasi, but it does not mention internet access. Score: 0.0 (not relevant)\n\n**Dokumen 7**: This document provides a schedule of classes for students at Politeknik Negeri Padang, including information about IoT and computer security courses. While it does not directly address internet access, it suggests that the institution may offer courses related to technology. Score: 0.3 (somewhat relevant)\n\n**Dokumen 8**: This document discusses the history of Politeknik Negeri Padang and its development as a vocational education institution. It does not mention internet access. Score: 0.0 (not relevant)\n\n**Dokumen 9**: This document is an invitation to students at Politeknik Negeri Padang to participate in a survey about their satisfaction with the institution's services. While it does not directly address internet access, it suggests that the institution values student feedback. Score: 0.2 (some information is indirectly relevant)\n\n**Dokumen 10**: This document provides a schedule of classes for students at Politeknik Negeri Padang, including information about various courses and programs. While it does not directly address internet access, it suggests that the institution may offer courses related to technology. Score: 0.3 (somewhat relevant)\n\nOverall, I would give an average score of 0.2 out of 1.0, indicating that while some documents provide indirect or tangential information about Politeknik Negeri Padang's provision of internet access to students, none of the documents directly address this topic."
-      },
-      "metrics": {
-        "response_time": 79.1,
-        "retrieved_docs_count": 10,
-        "timestamp": "2025-07-01T19:15:23.087586"
-      }
-    },
-    {
-      "id": 5,
-      "question": "Apa saja contoh kerjasama Politeknik Negeri Padang dengan industri?",
-      "answer": "Politeknik Negeri Padang menjalin kerjasama dengan industri dan instansi lainnya untuk menjaga mutu lulusan, pengembangan sumber daya, dan menyalurkan lulusan. Kerjasama ini tidak hanya dilakukan di Indonesia, tetapi juga dengan luar negeri baik di bidang industri maupun perguruan tinggi.",
-      "ground_truth": "PT. Siemens Indonesia, PT. Toyota Aichi Takaoua Japan, PT. PLN, PT. INTI, Futaba Rashi Siisha Kusho Japan, PT. Sintom, PT. Krakatau Steel, Komatssu Shinge Koumuten, PT. PAL Indonesia, PT. Hexindo, Taishurin Co. Ltd Fukuoaka Japan, PT. Texmaco Perkasa, PT. LEN Industri, PT. Toyota Astra Motor, PT. Indah Kiat, PT. Trakindo Utama, BTN.",
-      "scores": {
-        "correctness": 0.9,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 0.8,
-        "overall": 0.83
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sebagian besar benar, namun terdapat beberapa kesalahan kecil.\n\nFakta dalam jawaban sesuai dengan referensi, yaitu Politeknik Negeri Padang menjalin kerjasama dengan industri dan instansi lainnya untuk meningkatkan mutu lulusan, pengembangan sumber daya, dan menyalurkan lulusan. Informasi yang diberikan tentang PNP juga akurat, yaitu bahwa PNP menjalin kerjasama dengan industri domestik maupun internasional.\n\nNamun, terdapat beberapa kesalahan kecil dalam jawaban, seperti:\n\n* Tidak semua nama perusahaan yang disebutkan sebagai mitra kerja PNP adalah benar. Misalnya, PT. Toyota Aichi Takaoua Japan tidak ditemukan sebagai mitra kerja PNP.\n* Tidak ada penjelasan lebih lanjut tentang jenis kerjasama yang dilakukan PNP dengan industri dan instansi lainnya.\n\nDalam skala 0-1, saya memberikan skor 0.9 karena jawaban sebagian besar benar, namun terdapat beberapa kesalahan kecil.",
-        "relevance": "Jawaban ini relevan dan tepat sasaran, karena menjawab langsung pertanyaan tentang contoh kerjasama PNP dengan industri. Informasi yang diberikan juga sesuai dengan konteks PNP sebagai politeknik negeri yang berfokus pada pengembangan sumber daya manusia dan kerjasama dengan industri. Namun, jawaban ini tidak sepenuhnya menjawab pertanyaan karena hanya menyebutkan contoh umum kerjasama tanpa memberikan contoh spesifik PNP dengan industri.",
-        "groundedness": "Jawaban Anda sebagian besar berdasar pada dokumen, tetapi ada beberapa klaim yang tidak didukung oleh dokumen.\n\nKlaim \"Politeknik Negeri Padang menjalin kerjasama dengan industri dan instansi lainnya untuk menjaga mutu lulusan, pengembangan sumber daya, dan menyalurkan lulusan\" didukung oleh Dokumen 1. Namun, klaim \"Kerjasama ini tidak hanya dilakukan di Indonesia, tetapi juga dengan luar negeri baik di bidang industri maupun perguruan tinggi\" tidak didukung oleh dokumen.\n\nDokumen yang tersedia tidak menunjukkan adanya kerjasama dengan luar negeri. Dokumen 2 dan Dokumen 3 hanya berbicara tentang perjanjian kinerja antara Politeknik Negeri Padang dengan Menteri Riset Teknologi Dan Pendidikan Tinggi, tetapi tidak ada informasi tentang kerjasama dengan luar negeri.\n\nKlaim lainnya yang tidak didukung oleh dokumen adalah \"Politeknik Negeri Padang memiliki 476 orang Dosen yang berlatar pendidikan S2/S3 baik dari dalam maupun luar negeri\" (Dokumen 6, Dokumen 7). Dokumen tersebut hanya menunjukkan jumlah dosen dan tingkat pendidikan mereka, tetapi tidak memberikan informasi tentang asal negara pendidikan mereka.\n\nNamun, jawaban Anda sebagian besar berdasar pada dokumen, sehingga skor yang diberikan adalah 0.8.",
-        "retrieval": "Dokumen-dokumen yang diambil terdiri dari berbagai informasi tentang Politeknik Negeri Padang, termasuk sejarah singkat, profil, dan program studi. Namun, tidak ada dokumen yang secara eksplisit menjawab pertanyaan \"Apa saja contoh kerjasama Politeknik Negeri Padang dengan industri?\".\n\nNamun, beberapa dokumen mengandung informasi yang relevan dengan topik kerjasama antara Politeknik Negeri Padang dengan industri. Dokumen 1 berbicara tentang kerjasama PNP dengan industri dan instansi lainnya untuk meningkatkan mutu lulusan dan pengembangan program studi. Dokumen 2 berisi perjanjian kinerja PNP dengan Menteri Riset Teknologi Dan Pendidikan Tinggi, yang mungkin terkait dengan kerjasama antara PNP dengan industri.\n\nDalam penilaian ini, saya memberikan skor 0.8 karena dokumen-dokumen yang diambil tidak secara eksplisit menjawab pertanyaan, namun mengandung informasi yang relevan dan dapat digunakan sebagai referensi untuk menjawab pertanyaan."
-      },
-      "metrics": {
-        "response_time": 33.64,
-        "retrieved_docs_count": 10,
-        "timestamp": "2025-07-01T19:16:39.783635"
-      }
-    },
-    {
-      "id": 6,
-      "question": "Bagaimana Politeknik Negeri Padang membantu mahasiswa dalam bidang prestasi dan ekonomi?",
-      "answer": "Politeknik Negeri Padang menyediakan berbagai beasiswa untuk membantu mahasiswa dalam bidang prestasi dan ekonomi. Beasiswa yang tersedia antara lain: Beasiswa Peningkatan Prestasi Akademik (PPA), Beasiswa Kerja Mahasiswa (BKM), Beasiswa Bantuan Belajar Mahasiswa (BBM), Beasiswa TPSDP, Beasiswa Kredit Bantuan Belajar Mahasiswa (KBBM), Beasiswa Depertemen Hankam (ABRI), Beasiswa PT. Toyota Astra, Beasiswa ORBIT (ICMI), dan Beasiswa Supersemar. Beasiswa ini diberikan kepada mahasiswa yang berprestasi dalam bidang akademik dan prestasi lainnya, serta kepada mahasiswa kurang mampu.",
-      "ground_truth": "Tersedia bantuan untuk sekitar 800 mahasiswa setiap tahunnya. Beasiswa yang diterima antara lain: - Beasiswa Peningkatan Prestasi Akademik (PPA), - Beasiswa Kerja Mahasiswa (BKM), - Beasiswa Bantuan Belajar Mahasiswa (BBM), - Beasiswa TPSDP, - Beasiswa Kredit Bantuan Belajar Mahasiswa (KBBM), - Beasiswa Depertemen Hankam (ABRI), - Beasiswa PT. Toyota Astra, - Beasiswa ORBIT (ICMI), - Beasiswa Supersemar.",
-      "scores": {
-        "correctness": 0.9,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 0.8,
-        "overall": 0.83
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sangat mirip dengan jawaban referensi, hanya saja ada sedikit perbedaan dalam penulisan dan penggunaan kata-kata. Namun, secara keseluruhan, informasi yang diberikan tentang PNP dan beasiswa yang tersedia adalah akurat dan sesuai dengan referensi. Beberapa kata-kata seperti \"dalam bidang akademik dan prestasi lainnya\" dan \"kurang mampu\" tidak terdapat dalam jawaban referensi, namun tidak mengurangi kesesuaian informasi secara umum.",
-        "relevance": "Jawaban ini sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan tentang bagaimana PNP membantu mahasiswa dalam bidang prestasi dan ekonomi. Informasi yang diberikan juga sesuai dengan konteks PNP, yaitu berupa beasiswa yang tersedia untuk membantu mahasiswa. Jawaban ini fokus pada topik yang diajukan dan tidak keluar dari tema. Namun, jawaban ini tidak sepenuhnya tepat sasaran karena hanya menjawab bagian tentang beasiswa tanpa memberikan informasi lebih lanjut tentang bagaimana PNP membantu mahasiswa dalam bidang prestasi dan ekonomi secara lebih luas.",
-        "groundedness": "Jawaban Anda sebagian besar berdasar pada dokumen, namun terdapat beberapa klaim yang tidak didukung oleh dokumen.\n\nKlaim yang tidak didukung oleh dokumen adalah Beasiswa Kredit Bantuan Belajar Mahasiswa (KBBM), Beasiswa Depertemen Hankam (ABRI), Beasiswa PT. Toyota Astra, dan Beasiswa ORBIT (ICMI). Dokumen tidak menyebutkan adanya beasiswa tersebut.\n\nSelain itu, jawaban Anda juga tidak menjelaskan tentang Beasiswa TPSDP yang sebenarnya disebutkan dalam Dokumen 1.\n\nNamun, klaim lainnya seperti Beasiswa Peningkatan Prestasi Akademik (PPA), Beasiswa Kerja Mahasiswa (BKM), Beasiswa Bantuan Belajar Mahasiswa (BBM) dan beberapa beasiswa lainnya didukung oleh dokumen.",
-        "retrieval": "Dokumen-dokumen yang diambil terdiri dari berbagai informasi tentang Politeknik Negeri Padang, termasuk informasi tentang bantuan untuk mahasiswa, program-program pendidikan, dan lain-lain. Dokumen-dokumen ini mengandung informasi yang relevan dengan pertanyaan, seperti bagaimana Politeknik Negeri Padang membantu mahasiswa dalam bidang prestasi dan ekonomi.\n\nNamun, terdapat beberapa dokumen yang tidak langsung terkait dengan pertanyaan, seperti informasi tentang perpustakaan dan pengembangan karier. Dokumen-dokumen lainnya, seperti survey kepuasan masyarakat, juga tidak langsung terkait dengan pertanyaan.\n\nDalam keseluruhan, dokumen-dokumen yang diambil mengandung informasi yang relevan dan lengkap untuk menjawab pertanyaan, namun terdapat beberapa dokumen yang tidak langsung terkait. Oleh karena itu, skor yang diberikan adalah 0.8."
-      },
-      "metrics": {
-        "response_time": 85.76,
-        "retrieved_docs_count": 10,
-        "timestamp": "2025-07-01T19:18:40.941726"
-      }
-    },
-    {
-      "id": 7,
-      "question": "Bagaimana status akreditasi program studi di Politeknik Negeri Padang?",
-      "answer": "Politeknik Negeri Padang memiliki status akreditasi \"Baik Sekali\" berdasarkan Keputusan Badan Akreditasi Nasional Perguruan Tinggi Nomor : 1082/SK/BAN-PT/Akred/PT/XII/2020. Masa berlaku akreditasi ini adalah dari 15 Desember 2020 hingga 15 Desember 2025.",
-      "ground_truth": "Program studi di Politeknik Negeri Padang memiliki status akreditasi yang bervariasi seperti Baik, Baik Sekali, hingga Unggul. Contohnya, Teknik Mesin (D3) terakreditasi Baik Sekali hingga 2029, Teknik Manufaktur (D4) terakreditasi Unggul hingga 2028, dan Teknik Sipil (D3) terakreditasi A hingga 2026. Setiap program memiliki SK dan sertifikat akreditasi resmi.",
-      "scores": {
-        "correctness": 0.8,
-        "relevance": 0.9,
-        "groundedness": 0.8,
-        "retrieval": 0.8,
-        "overall": 0.825
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sebagian benar, sebagian salah. Fakta bahwa Politeknik Negeri Padang memiliki status akreditasi \"Baik Sekali\" sesuai dengan referensi. Namun, informasi tentang masa berlaku akreditasi tidak sesuai dengan referensi, karena referensi hanya mencatat tahun 2020-2025, sedangkan jawaban yang dievaluasi mencatat tanggal 15 Desember 2020 hingga 15 Desember 2025.",
-        "relevance": "Jawaban ini sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan tentang status akreditasi program studi di Politeknik Negeri Padang. Informasi yang diberikan juga sesuai dengan konteks PNP, yaitu informasi tentang Badan Akreditasi Nasional Perguruan Tinggi dan masa berlaku akreditasi. Jawaban ini fokus dan tidak keluar topik, hanya memberikan informasi yang relevan dan penting terkait dengan pertanyaan.",
-        "groundedness": "Jawaban tersebut sebagian besar berdasar pada dokumen, namun terdapat beberapa kekurangan.\n\nPoin positif:\n\n* Jawaban mengacu pada Keputusan Badan Akreditasi Nasional Perguruan Tinggi Nomor : 1082/SK/BAN-PT/Akred/PT/XII/2020, yang dapat ditemukan dalam Dokumen 1.\n* Masa berlaku akreditasi dari 15 Desember 2020 hingga 15 Desember 2025 juga sesuai dengan informasi dalam Dokumen 1.\n\nPoin negatif:\n\n* Tidak ada dokumen yang secara eksplisit menyatakan bahwa Politeknik Negeri Padang memiliki status akreditasi \"Baik Sekali\". Informasi tersebut hanya dapat ditemukan dalam Dokumen 2, tabel data.\n* Jawaban tidak menjelaskan lebih lanjut tentang apa yang dimaksud dengan \"Baik Sekali\" dan bagaimana status akreditasi tersebut dihitung.\n\nDalam skala 0.0-1.0, saya memberikan skor 0.8 karena jawaban sebagian besar berdasar pada dokumen, namun terdapat beberapa kekurangan dalam menjelaskan informasi yang terkait dengan status akreditasi.",
-        "retrieval": "Dokumen 2 dan Dokumen 4 mengandung informasi yang relevan dengan pertanyaan, yaitu status akreditasi program studi Politeknik Negeri Padang. Dokumen 2 menunjukkan bahwa Politeknik Negeri Padang memiliki peringkat akreditasi BAIK SEKALI dan masa berlaku dari 15 Desember 2020 hingga 15 Desember 2025. Dokumen 4 menampilkan Sertifikat Akreditasi Diploma-IV Akuntansi dan Teknologi Sipil PSDKU 2024, yang juga menunjukkan status akreditasi program studi.\n\nNamun, dokumen lainnya tidak terlalu relevan dengan pertanyaan. Dokumen 1 hanya berisi tabel data akreditasi, tapi tidak memberikan informasi tentang status akreditasi program studi. Dokumen 3-9 berisi informasi umum tentang Politeknik Negeri Padang, seperti profil, lokasi, dan kurikulum, tapi tidak terkait dengan pertanyaan.\n\nDokumen 10 sebenarnya memiliki potensi untuk memberikan informasi yang relevan, namun hanya berisi informasi tentang kurikulum program D IV dan tidak menjelaskan status akreditasi program studi. Oleh karena itu, skor yang diberikan adalah 0.8, karena dokumen 2 dan Dokumen 4 memiliki informasi yang relevan dengan pertanyaan, tapi tidak lengkap dan tidak memberikan informasi yang lebih spesifik."
-      },
-      "metrics": {
-        "response_time": 70.73,
-        "retrieved_docs_count": 10,
-        "timestamp": "2025-07-01T19:20:30.010473"
-      }
-    },
-    {
-      "id": 8,
-      "question": "Bagaimana proses penerimaan mahasiswa baru di Politeknik Negeri Padang?",
-      "answer": "Proses penerimaan mahasiswa baru di Politeknik Negeri Padang dapat dilihat pada informasi yang tersedia di situs web resmi mereka, yaitu http://penerimaan.pnp.ac.id/. Di situs tersebut, terdapat informasi mengenai jadwal penerimaan, persyaratan, dan prosedur pendaftaran. Selain itu, juga tersedia informasi mengenai program studi yang ditawarkan, brosur, dan pengumuman hasil seleksi.",
-      "ground_truth": "Penerimaan mahasiswa baru di Politeknik Negeri Padang dilakukan melalui berbagai jalur seleksi seperti SNBT, SNMPN, dan kelas kerjasama. Tersedia brosur dan informasi detail melalui situs http://penerimaan.pnp.ac.id. Program studi Teknik Alat Berat misalnya memiliki kelas kerjasama dengan PT Trakindo Utama. Jadwal seleksi dan pengumuman dapat diakses secara daring.",
-      "scores": {
-        "correctness": 0.9,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 0.8,
-        "overall": 0.83
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sangat mirip dengan jawaban referensi, hanya saja tidak ada perbedaan signifikan antara keduanya. Informasi yang diberikan tentang PNP juga akurat dan sesuai dengan referensi. Namun, untuk mendapatkan skor sempurna (1.0), jawaban harus memiliki keselarasan total dengan referensi, dan dalam kasus ini, tidak ada perbedaan signifikan antara keduanya.",
-        "relevance": "Jawaban tersebut sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan yang diajukan tentang proses penerimaan mahasiswa baru di Politeknik Negeri Padang. Informasi yang diberikan juga sesuai dengan konteks PNP, yaitu situs web resmi mereka yang menyediakan informasi tentang jadwal penerimaan, persyaratan, dan prosedur pendaftaran. Jawaban tersebut fokus dan tidak keluar topik, hanya memberikan informasi yang relevan dan berguna untuk menjawab pertanyaan. Namun, jawaban tersebut tidak sempurna karena tidak memberikan detail lebih lanjut tentang proses penerimaan mahasiswa baru di PNP.",
-        "groundedness": "Jawaban Anda sebagian besar berdasar pada dokumen, namun masih terdapat beberapa klaim yang tidak didukung oleh dokumen.\n\nContoh:\n- Klaim bahwa \"Proses penerimaan mahasiswa baru di Politeknik Negeri Padang dapat dilihat pada informasi yang tersedia di situs web resmi mereka\" didukung oleh dokumen, karena terdapat informasi mengenai proses penerimaan mahasiswa baru di situs web resmi PNP.\n- Klaim bahwa \"Terdapat informasi mengenai program studi yang ditawarkan, brosur, dan pengumuman hasil seleksi\" didukung oleh dokumen, karena terdapat link ke informasi tersebut.\n\nNamun, klaim lainnya tidak didukung oleh dokumen, seperti:\n- Klaim bahwa \"Terdapat informasi mengenai jadwal penerimaan, persyaratan, dan prosedur pendaftaran\" tidak didukung oleh dokumen, karena tidak terdapat informasi tersebut di situs web resmi PNP.\n\nOleh karena itu, skor yang diberikan adalah 0.8, karena jawaban sebagian besar berdasar pada dokumen, namun masih terdapat beberapa klaim yang tidak didukung oleh dokumen.",
-        "retrieval": "Dokumen-dokumen yang diambil terdiri dari informasi tentang penerimaan mahasiswa baru, beasiswa, survey kepuasan masyarakat, data tenaga pendidik dan kependidikan, akreditasi program studi, dan sebagainya. Dokumen 1-3 memang relevan dengan pertanyaan \"Bagaimana proses penerimaan mahasiswa baru di Politeknik Negeri Padang?\" karena mengandung informasi tentang informasi penerimaan mahasiswa baru, program studi, dan brosur penerimaan.\n\nNamun, dokumen 4-10 tidak terlalu relevan dengan pertanyaan tersebut. Dokumen 4-5 memang berhubungan dengan data tenaga pendidik dan kependidikan, tetapi tidak langsung terkait dengan proses penerimaan mahasiswa baru. Dokumen 6-10 lebih berfokus pada akreditasi program studi, pelatihan teknis, dan sebagainya.\n\nDalam penilaian ini, saya memberikan skor 0.8 karena dokumen-dokumen yang diambil memang mengandung informasi yang relevan dengan pertanyaan, tetapi tidak lengkap dan terlalu banyak informasi yang tidak terkait dengan pertanyaan."
-      },
-      "metrics": {
-        "response_time": 55.64,
-        "retrieved_docs_count": 10,
-        "timestamp": "2025-07-01T19:22:03.780706"
-      }
-    },
-    {
-      "id": 9,
-      "question": "Apa bentuk kerjasama yang dilakukan Politeknik Negeri Padang?",
-      "answer": "Politeknik Negeri Padang menjalin kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya. Kerjasama yang dilakukan tidak hanya di Indonesia tapi juga dengan luar negeri baik dibidang industri maupun perguruan tinggi.",
-      "ground_truth": "Politeknik Negeri Padang menjalin kerjasama dengan industri, pemerintah, BUMN, dan asosiasi profesi baik dalam negeri maupun luar negeri. Bentuk kerjasama mencakup rekrutmen, prakerin (praktik kerja industri), kunjungan industri, bimbingan karir, serta pembuatan MoU. Tujuannya untuk menjaga mutu lulusan dan penyaluran SDM.",
-      "scores": {
-        "correctness": 0.9,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 0.8,
-        "overall": 0.83
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi memiliki kesamaan dengan jawaban referensi dalam beberapa hal, seperti menjalin kerjasama dengan industri, pemerintah, BUMN, dan asosiasi profesi baik dalam negeri maupun luar negeri. Namun, terdapat sedikit perbedaan pada kalimat \"stake holder\" yang tidak ada dalam jawaban referensi. Selain itu, informasi yang diberikan tentang PNP juga akurat dan sesuai dengan fakta. Oleh karena itu, skor 0.9 diberikan untuk jawaban yang memiliki kesamaan sebagian besar dengan jawaban referensi.",
-        "relevance": "Jawaban tersebut menjawab langsung pertanyaan yang diajukan, yaitu tentang bentuk kerjasama yang dilakukan Politeknik Negeri Padang. Informasi yang diberikan juga sesuai dengan konteks PNP sebagai politeknik yang berfokus pada kerjasama dengan industri dan lembaga lainnya. Namun, jawaban tersebut tidak menjawab langsung pertanyaan secara eksplisit, sehingga skor 0.8 diberikan.",
-        "groundedness": "Jawaban Anda sebagian besar berdasar pada dokumen, namun terdapat beberapa klaim yang tidak didukung oleh dokumen.\n\nKlaim \"Politeknik Negeri Padang menjalin kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya\" didukung oleh Dokumen 2, yang menyebutkan bahwa Politeknik Negeri Padang telah menjalin berbagai kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya.\n\nNamun, klaim \"Kerjasama yang dilakukan tidak hanya di Indonesia tapi juga dengan luar negeri baik dibidang industri maupun perguruan tinggi\" tidak didukung oleh dokumen. Dokumen 2 hanya menyebutkan kerjasama dengan industri dan instansi lainnya tanpa menjelaskan apakah kerjasama tersebut dilakukan di dalam atau luar negeri.\n\nDalam penilaian, saya memberikan skor 0.8 karena jawaban Anda sebagian besar berdasar pada dokumen, namun terdapat beberapa klaim yang tidak didukung oleh dokumen.",
-        "retrieval": "Dokumen yang diambil terdiri dari berbagai informasi tentang Politeknik Negeri Padang, termasuk sejarah pendirian, jurusan dan program studi, dosen, kampus, dan lain-lain. Dokumen ini mengandung informasi yang relevan untuk menjawab pertanyaan \"Apa bentuk kerjasama yang dilakukan Politeknik Negeri Padang?\".\n\nNamun, dokumen ini tidak lengkap karena tidak ada informasi spesifik tentang bentuk kerjasama yang dilakukan Politeknik Negeri Padang. Dokumen 2 dan Dokumen 6 hanya berisi informasi umum tentang kerjasama dengan industri dan stake holder, serta kurikulum pendidikan.\n\nDokumen lainnya tidak terlalu relevan untuk menjawab pertanyaan ini, kecuali Dokumen 3 yang berisi Perjanjian Kinerja Politeknik Negeri Padang dengan Menteri Riset Teknologi Dan Pendidikan Tinggi Tahun 2019. Namun, informasi dalam dokumen tersebut tidak spesifik tentang bentuk kerjasama.\n\nDalam kesimpulan, skor 0.8 diberikan karena dokumen yang diambil mengandung informasi yang relevan namun tidak lengkap dan tidak spesifik untuk menjawab pertanyaan."
-      },
-      "metrics": {
-        "response_time": 38.34,
-        "retrieved_docs_count": 10,
-        "timestamp": "2025-07-01T19:23:21.775296"
-      }
-    },
-    {
-      "id": 10,
-      "question": "Siapa saja pimpinan di Politeknik Negeri Padang saat ini?",
-      "answer": "Saya tidak memiliki informasi tentang pimpinan Politeknik Negeri Padang saat ini.",
-      "ground_truth": "Direktur Politeknik Negeri Padang adalah Dr. Ir. Surfa Yondri, S.T., S.ST., M.Kom. Wakil Direktur Bidang Akademik adalah Ir. Revalin Herdianto, ST., M.Sc., Ph.D. Pimpinan lainnya antara lain Nasrullah, ST., M.T., dan Sarmiadi, S.E., M.M. yang memiliki pengalaman panjang dalam jabatan struktural di kampus.",
-      "scores": {
-        "correctness": 0.5,
-        "relevance": 0.5,
-        "groundedness": 0.5,
-        "retrieval": 0.8,
-        "overall": 0.56
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi tidak memiliki informasi tentang pimpinan Politeknik Negeri Padang saat ini, sehingga tidak sesuai dengan referensi yang memberikan nama-nama pimpinan PNP. Namun, jawaban tersebut juga tidak salah karena tidak mengklaim bahwa PNP tidak memiliki pimpinan atau tidak memiliki informasi tentang pimpinan PNP. Oleh karena itu, skor 0.5 diberikan karena jawaban tersebut tidak sesuai dengan referensi namun tidak salah secara mutlak.",
-        "relevance": "Jawaban tidak menjawab langsung pertanyaan yang diajukan, namun informasi yang diberikan sesuai dengan konteks PNP (Politeknik Negeri Padang). Jawaban fokus pada informasi yang tidak tersedia, sehingga tidak keluar topik. Namun, jawaban tidak menjawab langsung pertanyaan dan tidak memberikan informasi yang spesifik tentang pimpinan PNP saat ini. Oleh karena itu, skor 0.5 diberikan.",
-        "groundedness": "Jawaban tidak sepenuhnya berdasar pada dokumen, karena saya tidak memiliki informasi tentang pimpinan Politeknik Negeri Padang saat ini. Dokumen tidak menyebutkan nama atau jabatan pimpinan Politeknik Negeri Padang.\n\nNamun, jawaban tidak salah dan tidak membuat-buat informasi yang tidak ada di dokumen. Jawaban hanya mengatakan bahwa saya tidak memiliki informasi tentang pimpinan Politeknik Negeri Padang saat ini, yang sesuai dengan kenyataan bahwa informasi tersebut tidak terdapat dalam dokumen.\n\nDalam skala 0-1, saya memberikan skor 0.5 karena jawaban tidak sepenuhnya berdasar pada dokumen, tetapi tidak membuat-buat informasi yang tidak ada di dokumen.",
-        "retrieval": "Dokumen yang diambil tidak langsung memberikan informasi tentang pimpinan Politeknik Negeri Padang saat ini. Namun, beberapa dokumen mengandung informasi yang relevan dengan topik pertanyaan.\n\nDokumen 1-6 hanya berisi informasi umum tentang Politeknik Negeri Padang, seperti sejarah pendirian, jurusan, program studi, dan kampus. Informasi ini tidak langsung memberikan jawaban pada pertanyaan.\n\nDokumen 7 mengandung informasi yang relevan dengan topik pertanyaan, namun tidak langsung memberikan nama pimpinan Politeknik Negeri Padang saat ini.\n\nDokumen 8-10 berisi jadwal perkuliahan dan tidak memiliki informasi tentang pimpinan Politeknik Negeri Padang.\n\nDalam skor 0.8, saya mempertimbangkan bahwa beberapa dokumen mengandung informasi yang relevan dengan topik pertanyaan, namun tidak langsung memberikan jawaban pada pertanyaan. Untuk mendapatkan skor lebih tinggi, dokumen harus langsung memberikan informasi tentang pimpinan Politeknik Negeri Padang saat ini."
-      },
-      "metrics": {
-        "response_time": 15.58,
-        "retrieved_docs_count": 10,
-        "timestamp": "2025-07-01T19:24:11.793513"
-      }
-    },
-    {
-      "id": 11,
-      "question": "Bagaimana sejarah singkat berdirinya Politeknik Negeri Padang?",
-      "answer": "Politeknik Negeri Padang didirikan pada tahun 1987. Pada awal berdirinya dikenal dengan nama Politeknik Engineering Universitas Andalas, yang hanya menyelenggarakan Program Studi Bidang Rekayasa/keteknikan. Dengan Program Studi Teknik Mesin, Sipil, Listrik dan Elektronika Komunikasi. Tahun 1997 diganti nama menjadi Politeknik Universitas Andalas, dengan pertimbangan karena dibuka Program Studi Bidang Tataniaga (Akuntansi, Administrasi Bisnis). Dalam rangka memenuhi tuntutan dunia kerja maka Politeknik membuka program studi baru, sampai saat ini Politeknik telah mempunyai 32 Program Studi (20 program Diploma 3, 11 program Diploma 4 dan 1 program Magister Terapan). Dalam rangka menuju Kemandiriannya maka Politeknik saat itu mempunyai dua nama yaitu Politeknik Universitas Andalas dan Politeknik Negeri Padang.",
-      "ground_truth": "Politeknik Negeri Padang didirikan pada tahun 1987 sebagai salah satu dari 17 politeknik pertama di Indonesia. Awalnya bernama Politeknik Engineering Universitas Andalas. Pada 1997 menjadi Politeknik Universitas Andalas lalu berubah menjadi Politeknik Negeri Padang. Saat ini memiliki 32 program studi dari jenjang D3 hingga Magister Terapan.",
-      "scores": {
-        "correctness": 0.8,
-        "relevance": 0.9,
-        "groundedness": 0.8,
-        "retrieval": 0.8,
-        "overall": 0.825
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi memiliki beberapa kesamaan dengan jawaban referensi, seperti:\n\n* Politeknik Negeri Padang didirikan pada tahun 1987 (sama dengan jawaban referensi)\n* Awalnya bernama Politeknik Engineering Universitas Andalas (sama dengan jawaban referensi)\n* Pada tahun 1997 diganti nama menjadi Politeknik Universitas Andalas (sama dengan jawaban referensi)\n\nNamun, jawaban yang dievaluasi juga memiliki beberapa kesalahan atau ketidaksesuaian data, seperti:\n\n* Jawaban referensi tidak mengatakan bahwa Politeknik Engineering Universitas Andalas hanya menyelenggarakan Program Studi Bidang Rekayasa/keteknikan. Sebaliknya, jawaban yang dievaluasi menambahkan informasi yang tidak ada dalam jawaban referensi.\n* Jawaban referensi tidak mengatakan bahwa Politeknik membuka program studi baru hingga memiliki 32 Program Studi. Sebaliknya, jawaban yang dievaluasi menambahkan informasi tersebut.\n\nDalam skala 0-1, saya memberikan skor 0.8 karena jawaban yang dievaluasi memiliki beberapa kesamaan dengan jawaban referensi, tetapi juga memiliki beberapa kesalahan atau ketidaksesuaian data.",
-        "relevance": "Jawaban ini sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan tentang sejarah singkat berdirinya Politeknik Negeri Padang. Informasi yang diberikan juga sesuai dengan konteks PNP, termasuk informasi tentang perubahan nama institusi dari Politeknik Engineering Universitas Andalas menjadi Politeknik Universitas Andalas dan kemudian menjadi Politeknik Negeri Padang. Jawaban ini fokus dan tidak keluar topik, hanya memberikan informasi yang relevan dan penting tentang sejarah berdirinya PNP.",
-        "groundedness": "Jawaban memiliki beberapa kebenaran, seperti Politeknik Negeri Padang didirikan pada tahun 1987 dan memiliki 32 Program Studi (20 program Diploma 3, 11 program Diploma 4 dan 1 program Magister Terapan). Namun, jawaban juga memiliki beberapa kesalahan dan informasi yang tidak ada di dokumen.\n\nContoh:\n\n* Jawaban menyebutkan bahwa Politeknik Negeri Padang awalnya dikenal dengan nama Politeknik Engineering Universitas Andalas, namun dokumen 8 hanya menjelaskan bahwa Politeknik Negeri Padang hadir di tengah-tengah masyarakat dengan menerapkan sistem pendidikan yang konsisten pada jalur pendidikan vokasional.\n* Jawaban juga tidak didukung oleh dokumen tentang dua nama yang digunakan Politeknik Negeri Padang, yaitu Politeknik Universitas Andalas dan Politeknik Negeri Padang. Dokumen 8 hanya menjelaskan bahwa Politeknik Negeri Padang hadir di tengah-tengah masyarakat dengan menerapkan sistem pendidikan yang konsisten pada jalur pendidikan vokasional.\n* Jawaban tidak didukung oleh dokumen tentang jumlah Dosen yang berlatar pendidikan S2/S3 baik dari dalam maupun luar negeri. Dokumen 2, 3, 4, 5, 6, dan 7 hanya menjelaskan bahwa Politeknik Negeri Padang memiliki 476 orang Dosen, namun tidak menjelaskan tentang jumlah Dosen yang berlatar pendidikan S2/S3.\n\nDalam kesimpulan, jawaban memiliki beberapa kebenaran, tetapi juga memiliki beberapa kesalahan dan informasi yang tidak ada di dokumen. Oleh karena itu, skor yang diberikan adalah 0.8.",
-        "retrieval": "Dokumen yang diambil sebagian besar relevan dan lengkap untuk menjawab pertanyaan \"Bagaimana sejarah singkat berdirinya Politeknik Negeri Padang?\".\n\nInformasi yang dibutuhkan untuk menjawab pertanyaan, seperti tahun berdirinya (1987), tujuan pendirian, dan perkembangan institusi, dapat ditemukan dalam beberapa dokumen. Dokumen 8 dan Dokumen 1 mengandung informasi tentang sejarah singkat Politeknik Negeri Padang, termasuk tanggal berdirinya dan tujuan pendirian.\n\nNamun, terdapat beberapa kekurangan. Dokumen yang diambil tidak lengkap dalam memberikan informasi penting lainnya, seperti bagaimana institusi tersebut berkembang sejak awal berdirinya hingga saat ini. Informasi tentang perkembangan institusi, seperti penambahan jurusan atau program studi, tidak terlampirkan.\n\nDalam beberapa dokumen, seperti Dokumen 2-6, terdapat informasi yang tidak relevan dengan pertanyaan, seperti informasi tentang perpustakaan, layanan uji kompetensi, dan pengembangan karier. Namun, karena informasi tersebut tidak langsung berhubungan dengan sejarah singkat Politeknik Negeri Padang, maka dapat diabaikan.\n\nDalam kesimpulan, dokumen yang diambil sebagian besar relevan dan lengkap untuk menjawab pertanyaan \"Bagaimana sejarah singkat berdirinya Politeknik Negeri Padang?\". Namun, terdapat beberapa kekurangan dalam memberikan informasi penting lainnya."
-      },
-      "metrics": {
-        "response_time": 110.93,
-        "retrieved_docs_count": 10,
-        "timestamp": "2025-07-01T19:26:50.553242"
-      }
-    }
-  ]
-}

hasil_evaluasi/k10/pnp_rag_evaluation_results_intermediate_10of11.json

@@ -1,302 +0,0 @@
-{
-  "metadata": {
-    "evaluation_system": "PNP RAG Evaluator",
-    "dataset": "Politeknik Negeri Padang Q&A",
-    "model": "fauziisyrinapridal/sahabat-ai-v1:latest",
-    "evaluator": "llama3",
-    "timestamp": "2025-07-01T19:24:11.794859"
-  },
-  "summary": {
-    "total_evaluations": 10,
-    "correctness": {
-      "mean": 0.85,
-      "median": 0.9,
-      "std": 0.13540064007726602,
-      "min": 0.5,
-      "max": 1.0
-    },
-    "relevance": {
-      "mean": 0.78,
-      "median": 0.8,
-      "std": 0.10327955589886446,
-      "min": 0.5,
-      "max": 0.9
-    },
-    "groundedness": {
-      "mean": 0.74,
-      "median": 0.8,
-      "std": 0.1264911064067352,
-      "min": 0.5,
-      "max": 0.8
-    },
-    "retrieval": {
-      "mean": 0.8200000000000001,
-      "median": 0.8,
-      "std": 0.06324555320336757,
-      "min": 0.8,
-      "max": 1.0
-    },
-    "overall_performance": {
-      "mean": 0.799,
-      "median": 0.8300000000000001,
-      "std": 0.08682037651253177,
-      "min": 0.56,
-      "max": 0.8700000000000001
-    },
-    "performance_metrics": {
-      "avg_response_time": 78.52415268421173,
-      "median_response_time": 74.91262137889862,
-      "total_response_time": 785.2415268421173,
-      "fastest_response": 15.581374883651733,
-      "slowest_response": 174.30432057380676
-    },
-    "score_distribution": {
-      "excellent_count": 8,
-      "good_count": 1,
-      "fair_count": 1,
-      "poor_count": 0
-    }
-  },
-  "detailed_results": [
-    {
-      "id": 1,
-      "question": "Bagaimana sistem pendidikan yang diterapkan di Politeknik Negeri Padang?",
-      "answer": "Sistem pendidikan yang diterapkan di Politeknik Negeri Padang adalah dengan menggabungkan pendidikan teoritis, praktek (terapan) di Laboratorium dan praktek industry. Pelaksanaan praktik di industri dilakukan oleh mahasiswa selama satu semester untuk menambah wawasan, pengalaman dan pengembangan ilmu guna membentuk tenaga ahli yang terampil dan profesional.",
-      "ground_truth": "Sistem pendidikan yang diterapkan di Politeknik adalah dengan menggabungkan pendidikan teoritis, praktek (terapan) di Laboratorium dan praktek industry. Pelaksanaan praktik di industri dilakukan oleh mahasiswa selama satu semester untuk menambah wawasan, pengalaman dan pengembangan ilmu guna membentuk tenaga ahli yang terampil dan profesional.",
-      "scores": {
-        "correctness": 1.0,
-        "relevance": 0.8,
-        "groundedness": 0.5,
-        "retrieval": 0.8,
-        "overall": 0.785
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sepenuhnya sesuai dengan referensi. Fakta dalam jawaban sama dengan informasi yang diberikan dalam referensi, yaitu bahwa Politeknik Negeri Padang menggabungkan pendidikan teoritis, praktek (terapan) di Laboratorium dan praktek industry sebagai sistem pendidikan yang diterapkan. Informasi yang diberikan juga akurat tentang PNP, tidak ada kesalahan atau ketidaksesuaian data.",
-        "relevance": "Jawaban ini sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan tentang sistem pendidikan yang diterapkan di Politeknik Negeri Padang. Informasi yang diberikan juga sesuai dengan konteks PNP, yaitu menggabungkan pendidikan teoritis, praktek (terapan) di Laboratorium dan praktek industry. Jawaban ini fokus dan tidak keluar topik, hanya membahas sistem pendidikan yang diterapkan di PNP tanpa menambahkan informasi yang tidak relevan. Namun, jawaban ini tidak sempurna karena tidak menjelaskan lebih lanjut tentang bagaimana pelaksanaan praktik di industri dilakukan oleh mahasiswa dan apa yang mereka lakukan selama satu semester.",
-        "groundedness": "Jawaban tidak sepenuhnya berdasar pada dokumen, namun ada beberapa informasi yang didukung oleh dokumen.\n\nPertama, jawaban menggabungkan pendidikan teoritis, praktek (terapan) di Laboratorium dan praktek industry. Dokumen 1 dan Dokumen 2 tidak secara langsung menyebutkan tentang pelaksanaan praktik di industri, namun Dokumen 2 menjelaskan bahwa Politeknik Negeri Padang telah mendapat izin untuk menyelenggarakan Program D IV dari DIKTI, baik untuk program lanjutan (transfer dari D III), yang dapat diartikan sebagai pelatihan praktek di industri.\n\nKedua, jawaban tidak menjelaskan tentang sistem pendidikan yang diterapkan di Politeknik Negeri Padang. Dokumen 1 dan Dokumen 2 hanya menjelaskan tentang kurikulum pendidikan yang telah disusun berbasis kompetensi dengan kelompok mata kuliah sebagai berikut : Mata Kuliah Pengembangan Kepribadian (MPK), Mata Kuliah dan Keimuan dan Keterampilan (MKK), Mata Kuliah Berkarya (MKB), dan Mata Kulah Berkehidupan Bermasyarakat (MBB).\n\nNamun, jawaban tidak sepenuhnya tidak berdasar pada dokumen karena Dokumen 1 dan Dokumen 2 menjelaskan tentang kurikulum pendidikan yang telah disusun berbasis kompetensi. Oleh karena itu, skor diberikan sebesar 0.5.",
-        "retrieval": "The documents provide a good overview of the education system implemented at Politeknik Negeri Padang. Dokumen 1 provides historical context, while Dokumen 2 describes the curriculum and its focus on competence-based learning. Dokumen 3 mentions the commitment to quality education and the importance of synergy among staff.\n\nHowever, I deduct points because some documents (Dokumen 4-8) appear to be redundant and do not provide new information relevant to the question. Dokumen 9 and 10 seem to be general information about the institution's history and facilities, which is not directly related to the education system implemented at Politeknik Negeri Padang.\n\nOverall, while the documents provide some useful information, they could be more comprehensive and focused on the specific topic of the education system implemented at Politeknik Negeri Padang."
-      },
-      "metrics": {
-        "response_time": 131.91,
-        "retrieved_docs_count": 10,
-        "timestamp": "2025-07-01T19:07:19.737470"
-      }
-    },
-    {
-      "id": 2,
-      "question": "Apa saja mata kuliah yang terdapat dalam kurikulum pendidikan Politeknik Negeri Padang?",
-      "answer": "Mata kuliah yang terdapat dalam kurikulum pendidikan Politeknik Negeri Padang adalah:\n\n1. Mata Kuliah Pengembangan Kepribadian (MPK)\n2. Mata Kuliah dan Keimuan dan Keterampilan (MKK)\n3. Mata Kuliah Berkarya (MKB)\n4. Mata Kulah Berkehidupan Bermasyarakat (MBB)",
-      "ground_truth": "Kurikulum Pendidikan telah disusun berbasis kompetensi dengan kelompok mata kuliah sebagai berikut : - Mata Kuliah Pengembangan Kepribadian (MPK) - Mata Kuliah Keimuan dan Keterampilan (MKK) - Mata Kuliah Berkarya (MKB) - Mata Kuliah Berkehidupan Bermasyarakat (MBB)",
-      "scores": {
-        "correctness": 0.9,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 0.8,
-        "overall": 0.83
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi memiliki kesamaan dengan referensi sebesar 90%. Fakta dalam jawaban sesuai dengan referensi, yaitu terdapat empat mata kuliah yang disebutkan, yakni MPK, MKK, MKB, dan MBB. Informasi yang diberikan tentang PNP juga akurat, karena kurikulum pendidikan Politeknik Negeri Padang memang berbasis kompetensi dengan kelompok mata kuliah tersebut. Namun, terdapat satu kesalahan kecil, yaitu penulisan \"Mata Kulah\" menjadi \"Mata Kuliah\" pada nomor 4. Karena itu, skor yang diberikan adalah 0.9.",
-        "relevance": "Jawaban ini sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan yang diajukan tentang mata kuliah yang terdapat dalam kurikulum pendidikan Politeknik Negeri Padang. Informasi yang diberikan juga sesuai dengan konteks PNP sebagai institusi pendidikan teknologi dan vokasi. Namun, jawaban ini tidak sempurna karena tidak menjelaskan secara rinci tentang mata kuliah apa saja yang terdapat dalam kurikulum PNP, hanya memberikan judul-judul mata kuliah tanpa deskripsi lebih lanjut.",
-        "groundedness": "Jawaban Anda sebagian besar berdasar pada dokumen, tetapi tidak sepenuhnya.\n\nDokumen 1 menjelaskan kurikulum pendidikan Politeknik Negeri Padang yang terdiri dari empat mata kuliah: MPK, MKK, MKB, dan MBB. Jawaban Anda juga mencantumkan empat mata kuliah tersebut, sehingga skor 0.8.\n\nNamun, tidak ada dokumen lain yang secara eksplisit menjelaskan tentang kurikulum pendidikan Politeknik Negeri Padang. Oleh karena itu, jawaban Anda tidak sepenuhnya berdasar pada dokumen, sehingga skor 0.2.\n\nDalam penilaian ini, saya mempertimbangkan apakah klaim dalam jawaban didukung oleh dokumen, apakah ada informasi yang dibuat-buat atau tidak ada di dokumen, dan apakah jawaban konsisten dengan fakta dalam dokumen.",
-        "retrieval": "Dokumen yang diambil terdiri dari beberapa jenis, termasuk informasi tentang kurikulum pendidikan, akreditasi program studi, informasi penerimaan mahasiswa baru, jadwal perkuliahan, dan lain-lain.\n\nInformasi yang relevan dengan pertanyaan \"Apa saja mata kuliah yang terdapat dalam kurikulum pendidikan Politeknik Negeri Padang?\" dapat ditemukan pada Dokumen 1, yaitu Kurikulum Pendidikan telah disusun berbasis kompetensi dengan kelompok mata kuliah sebagai berikut : Mata Kuliah Pengembangan Kepribadian (MPK), Mata Kuliah dan Keimuan dan Keterampilan (MKK), Mata Kuliah Berkarya (MKB), dan Mata Kulah Berkehidupan Bermasyarakat (MBB).\n\nNamun, dokumen lainnya tidak terlalu relevan dengan pertanyaan tersebut. Dokumen 2-5 hanya berisi informasi tentang akreditasi program studi, penerimaan mahasiswa baru, beasiswa, dan lain-lain yang tidak terkait dengan mata kuliah.\n\nDokumen 6-8 berisi jadwal perkuliahan, namun tidak terlalu relevan dengan pertanyaan tersebut. Dokumen 9 berisi informasi tentang tenaga pendidik dan kependidikan, namun tidak terkait dengan mata kuliah.\n\nDokumen 10 berisi jadwal perkuliahan yang lebih spesifik, namun masih tidak relevan dengan pertanyaan tersebut.\n\nOleh karena itu, skor yang diberikan adalah 0.8, karena beberapa dokumen mengandung informasi yang relevan dengan pertanyaan, tetapi tidak semua dokumen terkait dengan mata kuliah."
-      },
-      "metrics": {
-        "response_time": 100.25,
-        "retrieved_docs_count": 10,
-        "timestamp": "2025-07-01T19:09:40.565297"
-      }
-    },
-    {
-      "id": 3,
-      "question": "Bagaimana Politeknik Negeri Padang mendukung misi tridharma perguruan tinggi?",
-      "answer": "Politeknik Negeri Padang mendukung misi tridharma perguruan tinggi melalui beberapa cara. Pertama, dalam bidang pendidikan, Politeknik Negeri Padang menerapkan sistem pendidikan yang konsisten pada jalur pendidikan vokasional dengan menerapkan sistem pembelajaran yang aplikatif serta secara terus menerus menyesuaikan diri dengan perkembangan dunia industri dan dunia usaha. Kedua, dalam bidang penelitian, Politeknik Negeri Padang telah mendapat izin untuk menyelenggarakan Program D IV dari DIKTI, baik untuk program lanjutan (transfer dari D III) dan D IV murni (menampung lulusan SMU/SMK). Ketiga, dalam bidang pengabdian kepada masyarakat, Politeknik Negeri Padang telah menyelenggarakan pendidikan Program D IV dan D III Kerjasama dengan Departemen Kimpraswil, PT. dan juga menyediakan bantuan untuk sekitar 800 orang mahasiswa setiap tahunnya.",
-      "ground_truth": "Politeknik Negeri Padang dalam menjalankan misi tridharma perguruan tinggi didukung oleh tenaga pendidik dan tenaga kependidikan yang profesional pada bidangnya. Jumlah dan kualifikasi staf tersebut berdasarkan keadaan Desember 2017 sebagai berikut : - Tenaga Pendidik : S1 = 14 orang, S2 = 256 orang, S3 = 21 orang (Yang sedang menempuh S3 = 7 orang, Yang sedang menempuh S2 = 5 orang) - Tenaga Kependidikan : SD = 5 orang, SMP = 4 orang, SLTA = 71 orang, D3 = 25 orang, S1 = 54 orang, S2 = 15 orang.",
-      "scores": {
-        "correctness": 0.8,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 0.8,
-        "overall": 0.8
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sebagian besar benar, tetapi terdapat beberapa kesalahan dan ketidaksesuaian data.\n\nFakta dalam jawaban sesuai dengan referensi pada beberapa titik, seperti Politeknik Negeri Padang menerapkan sistem pendidikan yang konsisten pada jalur pendidikan vokasional (benar) dan telah mendapat izin untuk menyelenggarakan Program D IV dari DIKTI (benar).\n\nNamun, terdapat beberapa kesalahan dan ketidaksesuaian data. Misalnya, jawaban tidak menjelaskan bagaimana Politeknik Negeri Padang mendukung misi tridharma perguruan tinggi secara lebih luas, hanya mengutip beberapa contoh saja.\n\nSelain itu, informasi yang diberikan tentang PNP juga kurang akurat. Misalnya, tidak ada informasi tentang jumlah dan kualifikasi staf yang profesional pada bidangnya, seperti yang tercantum dalam referensi.\n\nDalam penilaian skor, saya memberikan nilai 0.8 karena jawaban sebagian besar benar, tetapi terdapat beberapa kesalahan dan ketidaksesuaian data.",
-        "relevance": "Jawaban ini sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan tentang bagaimana PNP mendukung misi tridharma perguruan tinggi. Informasi yang diberikan juga sesuai dengan konteks PNP, seperti sistem pendidikan vokasional, program penelitian, dan pengabdian kepada masyarakat. Jawaban ini fokus dan tidak keluar topik, karena hanya membahas cara-cara PNP mendukung misi tridharma perguruan tinggi tanpa menambahkan informasi yang tidak relevan. Namun, jawaban ini tidak sempurna karena tidak menjelaskan secara lebih detail bagaimana PNP menerapkan sistem pendidikan vokasional dan program penelitian dalam mendukung misi tridharma perguruan tinggi.",
-        "groundedness": "Jawaban tersebut sebagian besar berdasar pada dokumen, tetapi ada beberapa klaim yang tidak didukung oleh dokumen.\n\nPertama, jawaban tersebut tidak menjelaskan bagaimana Politeknik Negeri Padang mendukung misi tridharma perguruan tinggi dalam bidang penelitian. Dokumen 3 hanya menyebutkan bahwa Politeknik Negeri Padang telah mendapat izin untuk menyelenggarakan Program D IV dari DIKTI, tetapi tidak menjelaskan bagaimana program tersebut mendukung misi tridharma.\n\nKedua, jawaban tersebut tidak menjelaskan bagaimana Politeknik Negeri Padang mendukung misi tridharma perguruan tinggi dalam bidang pengabdian kepada masyarakat. Dokumen 4 hanya menyebutkan bahwa Politeknik Negeri Padang telah menyediakan bantuan untuk sekitar 800 orang mahasiswa setiap tahunnya, tetapi tidak menjelaskan bagaimana bantuan tersebut mendukung misi tridharma.\n\nNamun, jawaban tersebut juga berisi beberapa informasi yang didukung oleh dokumen, seperti sistem pendidikan vokasional yang konsisten pada jalur pendidikan vokasional (Dokumen 2) dan program D IV yang telah mendapat izin dari DIKTI (Dokumen 3). Oleh karena itu, skor yang diberikan adalah 0.8.",
-        "retrieval": "Dokumen-dokumen yang diambil terdiri dari berbagai informasi tentang Politeknik Negeri Padang, termasuk visi dan misinya, kurikulum pendidikan, jadwal perkuliahan, dan lain-lain. Dokumen 1-5 mengandung informasi tentang komitmen dan pertanggungjawaban Politeknik Negeri Padang sebagai perguruan tinggi, serta tujuan dan sasaran pendidikan vokasional.\n\nNamun, dokumen-dokumen yang diambil tidak lengkap dalam menjawab pertanyaan. Dokumen 6-10 lebih berfokus pada informasi teknis dan administratif, seperti tata nilai, kebijakan, dan jadwal perkuliahan. Informasi tentang bagaimana Politeknik Negeri Padang mendukung misi tridharma perguruan tinggi tidak terlalu jelas dalam dokumen-dokumen yang diambil.\n\nDalam penilaian kualitas pengambilan dokumen, saya memberikan skor 0.8 karena dokumen-dokumen yang diambil mengandung informasi penting tentang Politeknik Negeri Padang, tetapi tidak lengkap dalam menjawab pertanyaan dan tidak terlalu relevan dengan topik pertanyaan."
-      },
-      "metrics": {
-        "response_time": 174.3,
-        "retrieved_docs_count": 10,
-        "timestamp": "2025-07-01T19:13:19.822511"
-      }
-    },
-    {
-      "id": 4,
-      "question": "Bagaimana Politeknik Negeri Padang menyediakan akses internet bagi mahasiswa?",
-      "answer": "Politeknik Negeri Padang telah memiliki Anjungan Internet Mandiri (AIM) yang dapat di akses oleh mahasiswa Politeknik secara gratis, yang tersedia pada titik-titik strategis. Politeknik Negeri Padang juga memiliki kawasan hot spot area disekitar kampus, sehingga mahasiswa dapat memanfaatkan internet disekitar kampus secara bebas dengan menggunakan laptop/PC.",
-      "ground_truth": "Politeknik Negeri Padang telah memiliki Anjungan Internet Mandiri (AIM) yang dapat diakses oleh mahasiswa secara gratis, yang tersedia pada titik-titik strategis. Juga tersedia kawasan hot spot area di sekitar kampus sehingga mahasiswa dapat memanfaatkan internet dengan bebas menggunakan laptop/PC.",
-      "scores": {
-        "correctness": 0.9,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 1.0,
-        "overall": 0.87
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sangat mirip dengan jawaban referensi, hanya ada sedikit perbedaan pada kalimat \"Politeknik secara gratis\" menjadi \"mahasiswa Politeknik secara gratis\". Keduanya memiliki informasi yang sama tentang Anjungan Internet Mandiri (AIM) dan kawasan hot spot area di sekitar kampus. Informasi yang diberikan juga akurat tentang PNP, tidak ada kesalahan atau ketidaksesuaian data. Namun, karena terdapat sedikit perbedaan pada kalimat, maka skor yang diberikan adalah 0.9.",
-        "relevance": "Jawaban ini sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan tentang bagaimana PNP menyediakan akses internet bagi mahasiswa. Informasi yang diberikan juga sesuai dengan konteks PNP, yaitu tentang Anjungan Internet Mandiri (AIM) dan kawasan hot spot area disekitar kampus. Jawaban ini fokus dan tidak keluar topik, hanya memberikan informasi yang relevan dan berguna untuk menjawab pertanyaan. Namun, jawaban ini tidak sempurna karena tidak menjelaskan lebih lanjut tentang kualitas akses internet atau apakah akses internet tersebut tersedia 24 jam sehari.",
-        "groundedness": "Jawaban tersebut didukung oleh Dokumen 1, yang menyebutkan bahwa Politeknik Negeri Padang memiliki Anjungan Internet Mandiri (AIM) yang dapat diakses oleh mahasiswa secara gratis. Namun, tidak ada informasi tentang kawasan hot spot area disekitar kampus dalam dokumen lainnya.\n\nJawaban tersebut juga tidak konsisten dengan fakta dalam Dokumen 5, yang hanya berisi informasi teknis tentang penggunaan Google Translate dan tidak menyebutkan apapun tentang Anjungan Internet Mandiri (AIM) atau kawasan hot spot area.",
-        "retrieval": "Based on the provided documents, I evaluate the relevance and completeness of each document in answering the question \"How does Politeknik Negeri Padang provide internet access to students?\"\n\n**Dokumen 1**: This document provides information about the number of staff members at Politeknik Negeri Padang, but it is not directly related to providing internet access to students. Score: 0.2 (some information is indirectly relevant)\n\n**Dokumen 2**: This document discusses various forms of assistance and scholarships available to students, including those with academic achievements. While it does not specifically mention internet access, it provides context about the institution's support for students. Score: 0.5 (partially relevant)\n\n**Dokumen 3**: This document appears to be a collection of news articles or announcements related to Politeknik Negeri Padang, including information about technology and community engagement. None of these articles directly address internet access. Score: 0.1 (not relevant)\n\n**Dokumen 4**: This document provides information about the admission process for new students at Politeknik Negeri Padang, but it does not mention internet access. Score: 0.0 (not relevant)\n\n**Dokumen 5**: This document appears to be a translation settings page and is not directly related to providing internet access to students. Score: 0.0 (not relevant)\n\n**Dokumen 6**: This document discusses the link-and-match program between Politeknik Negeri Padang and Ditjen Vokasi, but it does not mention internet access. Score: 0.0 (not relevant)\n\n**Dokumen 7**: This document provides a schedule of classes for students at Politeknik Negeri Padang, including information about IoT and computer security courses. While it does not directly address internet access, it suggests that the institution may offer courses related to technology. Score: 0.3 (somewhat relevant)\n\n**Dokumen 8**: This document discusses the history of Politeknik Negeri Padang and its development as a vocational education institution. It does not mention internet access. Score: 0.0 (not relevant)\n\n**Dokumen 9**: This document is an invitation to students at Politeknik Negeri Padang to participate in a survey about their satisfaction with the institution's services. While it does not directly address internet access, it suggests that the institution values student feedback. Score: 0.2 (some information is indirectly relevant)\n\n**Dokumen 10**: This document provides a schedule of classes for students at Politeknik Negeri Padang, including information about various courses and programs. While it does not directly address internet access, it suggests that the institution may offer courses related to technology. Score: 0.3 (somewhat relevant)\n\nOverall, I would give an average score of 0.2 out of 1.0, indicating that while some documents provide indirect or tangential information about Politeknik Negeri Padang's provision of internet access to students, none of the documents directly address this topic."
-      },
-      "metrics": {
-        "response_time": 79.1,
-        "retrieved_docs_count": 10,
-        "timestamp": "2025-07-01T19:15:23.087586"
-      }
-    },
-    {
-      "id": 5,
-      "question": "Apa saja contoh kerjasama Politeknik Negeri Padang dengan industri?",
-      "answer": "Politeknik Negeri Padang menjalin kerjasama dengan industri dan instansi lainnya untuk menjaga mutu lulusan, pengembangan sumber daya, dan menyalurkan lulusan. Kerjasama ini tidak hanya dilakukan di Indonesia, tetapi juga dengan luar negeri baik di bidang industri maupun perguruan tinggi.",
-      "ground_truth": "PT. Siemens Indonesia, PT. Toyota Aichi Takaoua Japan, PT. PLN, PT. INTI, Futaba Rashi Siisha Kusho Japan, PT. Sintom, PT. Krakatau Steel, Komatssu Shinge Koumuten, PT. PAL Indonesia, PT. Hexindo, Taishurin Co. Ltd Fukuoaka Japan, PT. Texmaco Perkasa, PT. LEN Industri, PT. Toyota Astra Motor, PT. Indah Kiat, PT. Trakindo Utama, BTN.",
-      "scores": {
-        "correctness": 0.9,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 0.8,
-        "overall": 0.83
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sebagian besar benar, namun terdapat beberapa kesalahan kecil.\n\nFakta dalam jawaban sesuai dengan referensi, yaitu Politeknik Negeri Padang menjalin kerjasama dengan industri dan instansi lainnya untuk meningkatkan mutu lulusan, pengembangan sumber daya, dan menyalurkan lulusan. Informasi yang diberikan tentang PNP juga akurat, yaitu bahwa PNP menjalin kerjasama dengan industri domestik maupun internasional.\n\nNamun, terdapat beberapa kesalahan kecil dalam jawaban, seperti:\n\n* Tidak semua nama perusahaan yang disebutkan sebagai mitra kerja PNP adalah benar. Misalnya, PT. Toyota Aichi Takaoua Japan tidak ditemukan sebagai mitra kerja PNP.\n* Tidak ada penjelasan lebih lanjut tentang jenis kerjasama yang dilakukan PNP dengan industri dan instansi lainnya.\n\nDalam skala 0-1, saya memberikan skor 0.9 karena jawaban sebagian besar benar, namun terdapat beberapa kesalahan kecil.",
-        "relevance": "Jawaban ini relevan dan tepat sasaran, karena menjawab langsung pertanyaan tentang contoh kerjasama PNP dengan industri. Informasi yang diberikan juga sesuai dengan konteks PNP sebagai politeknik negeri yang berfokus pada pengembangan sumber daya manusia dan kerjasama dengan industri. Namun, jawaban ini tidak sepenuhnya menjawab pertanyaan karena hanya menyebutkan contoh umum kerjasama tanpa memberikan contoh spesifik PNP dengan industri.",
-        "groundedness": "Jawaban Anda sebagian besar berdasar pada dokumen, tetapi ada beberapa klaim yang tidak didukung oleh dokumen.\n\nKlaim \"Politeknik Negeri Padang menjalin kerjasama dengan industri dan instansi lainnya untuk menjaga mutu lulusan, pengembangan sumber daya, dan menyalurkan lulusan\" didukung oleh Dokumen 1. Namun, klaim \"Kerjasama ini tidak hanya dilakukan di Indonesia, tetapi juga dengan luar negeri baik di bidang industri maupun perguruan tinggi\" tidak didukung oleh dokumen.\n\nDokumen yang tersedia tidak menunjukkan adanya kerjasama dengan luar negeri. Dokumen 2 dan Dokumen 3 hanya berbicara tentang perjanjian kinerja antara Politeknik Negeri Padang dengan Menteri Riset Teknologi Dan Pendidikan Tinggi, tetapi tidak ada informasi tentang kerjasama dengan luar negeri.\n\nKlaim lainnya yang tidak didukung oleh dokumen adalah \"Politeknik Negeri Padang memiliki 476 orang Dosen yang berlatar pendidikan S2/S3 baik dari dalam maupun luar negeri\" (Dokumen 6, Dokumen 7). Dokumen tersebut hanya menunjukkan jumlah dosen dan tingkat pendidikan mereka, tetapi tidak memberikan informasi tentang asal negara pendidikan mereka.\n\nNamun, jawaban Anda sebagian besar berdasar pada dokumen, sehingga skor yang diberikan adalah 0.8.",
-        "retrieval": "Dokumen-dokumen yang diambil terdiri dari berbagai informasi tentang Politeknik Negeri Padang, termasuk sejarah singkat, profil, dan program studi. Namun, tidak ada dokumen yang secara eksplisit menjawab pertanyaan \"Apa saja contoh kerjasama Politeknik Negeri Padang dengan industri?\".\n\nNamun, beberapa dokumen mengandung informasi yang relevan dengan topik kerjasama antara Politeknik Negeri Padang dengan industri. Dokumen 1 berbicara tentang kerjasama PNP dengan industri dan instansi lainnya untuk meningkatkan mutu lulusan dan pengembangan program studi. Dokumen 2 berisi perjanjian kinerja PNP dengan Menteri Riset Teknologi Dan Pendidikan Tinggi, yang mungkin terkait dengan kerjasama antara PNP dengan industri.\n\nDalam penilaian ini, saya memberikan skor 0.8 karena dokumen-dokumen yang diambil tidak secara eksplisit menjawab pertanyaan, namun mengandung informasi yang relevan dan dapat digunakan sebagai referensi untuk menjawab pertanyaan."
-      },
-      "metrics": {
-        "response_time": 33.64,
-        "retrieved_docs_count": 10,
-        "timestamp": "2025-07-01T19:16:39.783635"
-      }
-    },
-    {
-      "id": 6,
-      "question": "Bagaimana Politeknik Negeri Padang membantu mahasiswa dalam bidang prestasi dan ekonomi?",
-      "answer": "Politeknik Negeri Padang menyediakan berbagai beasiswa untuk membantu mahasiswa dalam bidang prestasi dan ekonomi. Beasiswa yang tersedia antara lain: Beasiswa Peningkatan Prestasi Akademik (PPA), Beasiswa Kerja Mahasiswa (BKM), Beasiswa Bantuan Belajar Mahasiswa (BBM), Beasiswa TPSDP, Beasiswa Kredit Bantuan Belajar Mahasiswa (KBBM), Beasiswa Depertemen Hankam (ABRI), Beasiswa PT. Toyota Astra, Beasiswa ORBIT (ICMI), dan Beasiswa Supersemar. Beasiswa ini diberikan kepada mahasiswa yang berprestasi dalam bidang akademik dan prestasi lainnya, serta kepada mahasiswa kurang mampu.",
-      "ground_truth": "Tersedia bantuan untuk sekitar 800 mahasiswa setiap tahunnya. Beasiswa yang diterima antara lain: - Beasiswa Peningkatan Prestasi Akademik (PPA), - Beasiswa Kerja Mahasiswa (BKM), - Beasiswa Bantuan Belajar Mahasiswa (BBM), - Beasiswa TPSDP, - Beasiswa Kredit Bantuan Belajar Mahasiswa (KBBM), - Beasiswa Depertemen Hankam (ABRI), - Beasiswa PT. Toyota Astra, - Beasiswa ORBIT (ICMI), - Beasiswa Supersemar.",
-      "scores": {
-        "correctness": 0.9,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 0.8,
-        "overall": 0.83
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sangat mirip dengan jawaban referensi, hanya saja ada sedikit perbedaan dalam penulisan dan penggunaan kata-kata. Namun, secara keseluruhan, informasi yang diberikan tentang PNP dan beasiswa yang tersedia adalah akurat dan sesuai dengan referensi. Beberapa kata-kata seperti \"dalam bidang akademik dan prestasi lainnya\" dan \"kurang mampu\" tidak terdapat dalam jawaban referensi, namun tidak mengurangi kesesuaian informasi secara umum.",
-        "relevance": "Jawaban ini sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan tentang bagaimana PNP membantu mahasiswa dalam bidang prestasi dan ekonomi. Informasi yang diberikan juga sesuai dengan konteks PNP, yaitu berupa beasiswa yang tersedia untuk membantu mahasiswa. Jawaban ini fokus pada topik yang diajukan dan tidak keluar dari tema. Namun, jawaban ini tidak sepenuhnya tepat sasaran karena hanya menjawab bagian tentang beasiswa tanpa memberikan informasi lebih lanjut tentang bagaimana PNP membantu mahasiswa dalam bidang prestasi dan ekonomi secara lebih luas.",
-        "groundedness": "Jawaban Anda sebagian besar berdasar pada dokumen, namun terdapat beberapa klaim yang tidak didukung oleh dokumen.\n\nKlaim yang tidak didukung oleh dokumen adalah Beasiswa Kredit Bantuan Belajar Mahasiswa (KBBM), Beasiswa Depertemen Hankam (ABRI), Beasiswa PT. Toyota Astra, dan Beasiswa ORBIT (ICMI). Dokumen tidak menyebutkan adanya beasiswa tersebut.\n\nSelain itu, jawaban Anda juga tidak menjelaskan tentang Beasiswa TPSDP yang sebenarnya disebutkan dalam Dokumen 1.\n\nNamun, klaim lainnya seperti Beasiswa Peningkatan Prestasi Akademik (PPA), Beasiswa Kerja Mahasiswa (BKM), Beasiswa Bantuan Belajar Mahasiswa (BBM) dan beberapa beasiswa lainnya didukung oleh dokumen.",
-        "retrieval": "Dokumen-dokumen yang diambil terdiri dari berbagai informasi tentang Politeknik Negeri Padang, termasuk informasi tentang bantuan untuk mahasiswa, program-program pendidikan, dan lain-lain. Dokumen-dokumen ini mengandung informasi yang relevan dengan pertanyaan, seperti bagaimana Politeknik Negeri Padang membantu mahasiswa dalam bidang prestasi dan ekonomi.\n\nNamun, terdapat beberapa dokumen yang tidak langsung terkait dengan pertanyaan, seperti informasi tentang perpustakaan dan pengembangan karier. Dokumen-dokumen lainnya, seperti survey kepuasan masyarakat, juga tidak langsung terkait dengan pertanyaan.\n\nDalam keseluruhan, dokumen-dokumen yang diambil mengandung informasi yang relevan dan lengkap untuk menjawab pertanyaan, namun terdapat beberapa dokumen yang tidak langsung terkait. Oleh karena itu, skor yang diberikan adalah 0.8."
-      },
-      "metrics": {
-        "response_time": 85.76,
-        "retrieved_docs_count": 10,
-        "timestamp": "2025-07-01T19:18:40.941726"
-      }
-    },
-    {
-      "id": 7,
-      "question": "Bagaimana status akreditasi program studi di Politeknik Negeri Padang?",
-      "answer": "Politeknik Negeri Padang memiliki status akreditasi \"Baik Sekali\" berdasarkan Keputusan Badan Akreditasi Nasional Perguruan Tinggi Nomor : 1082/SK/BAN-PT/Akred/PT/XII/2020. Masa berlaku akreditasi ini adalah dari 15 Desember 2020 hingga 15 Desember 2025.",
-      "ground_truth": "Program studi di Politeknik Negeri Padang memiliki status akreditasi yang bervariasi seperti Baik, Baik Sekali, hingga Unggul. Contohnya, Teknik Mesin (D3) terakreditasi Baik Sekali hingga 2029, Teknik Manufaktur (D4) terakreditasi Unggul hingga 2028, dan Teknik Sipil (D3) terakreditasi A hingga 2026. Setiap program memiliki SK dan sertifikat akreditasi resmi.",
-      "scores": {
-        "correctness": 0.8,
-        "relevance": 0.9,
-        "groundedness": 0.8,
-        "retrieval": 0.8,
-        "overall": 0.825
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sebagian benar, sebagian salah. Fakta bahwa Politeknik Negeri Padang memiliki status akreditasi \"Baik Sekali\" sesuai dengan referensi. Namun, informasi tentang masa berlaku akreditasi tidak sesuai dengan referensi, karena referensi hanya mencatat tahun 2020-2025, sedangkan jawaban yang dievaluasi mencatat tanggal 15 Desember 2020 hingga 15 Desember 2025.",
-        "relevance": "Jawaban ini sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan tentang status akreditasi program studi di Politeknik Negeri Padang. Informasi yang diberikan juga sesuai dengan konteks PNP, yaitu informasi tentang Badan Akreditasi Nasional Perguruan Tinggi dan masa berlaku akreditasi. Jawaban ini fokus dan tidak keluar topik, hanya memberikan informasi yang relevan dan penting terkait dengan pertanyaan.",
-        "groundedness": "Jawaban tersebut sebagian besar berdasar pada dokumen, namun terdapat beberapa kekurangan.\n\nPoin positif:\n\n* Jawaban mengacu pada Keputusan Badan Akreditasi Nasional Perguruan Tinggi Nomor : 1082/SK/BAN-PT/Akred/PT/XII/2020, yang dapat ditemukan dalam Dokumen 1.\n* Masa berlaku akreditasi dari 15 Desember 2020 hingga 15 Desember 2025 juga sesuai dengan informasi dalam Dokumen 1.\n\nPoin negatif:\n\n* Tidak ada dokumen yang secara eksplisit menyatakan bahwa Politeknik Negeri Padang memiliki status akreditasi \"Baik Sekali\". Informasi tersebut hanya dapat ditemukan dalam Dokumen 2, tabel data.\n* Jawaban tidak menjelaskan lebih lanjut tentang apa yang dimaksud dengan \"Baik Sekali\" dan bagaimana status akreditasi tersebut dihitung.\n\nDalam skala 0.0-1.0, saya memberikan skor 0.8 karena jawaban sebagian besar berdasar pada dokumen, namun terdapat beberapa kekurangan dalam menjelaskan informasi yang terkait dengan status akreditasi.",
-        "retrieval": "Dokumen 2 dan Dokumen 4 mengandung informasi yang relevan dengan pertanyaan, yaitu status akreditasi program studi Politeknik Negeri Padang. Dokumen 2 menunjukkan bahwa Politeknik Negeri Padang memiliki peringkat akreditasi BAIK SEKALI dan masa berlaku dari 15 Desember 2020 hingga 15 Desember 2025. Dokumen 4 menampilkan Sertifikat Akreditasi Diploma-IV Akuntansi dan Teknologi Sipil PSDKU 2024, yang juga menunjukkan status akreditasi program studi.\n\nNamun, dokumen lainnya tidak terlalu relevan dengan pertanyaan. Dokumen 1 hanya berisi tabel data akreditasi, tapi tidak memberikan informasi tentang status akreditasi program studi. Dokumen 3-9 berisi informasi umum tentang Politeknik Negeri Padang, seperti profil, lokasi, dan kurikulum, tapi tidak terkait dengan pertanyaan.\n\nDokumen 10 sebenarnya memiliki potensi untuk memberikan informasi yang relevan, namun hanya berisi informasi tentang kurikulum program D IV dan tidak menjelaskan status akreditasi program studi. Oleh karena itu, skor yang diberikan adalah 0.8, karena dokumen 2 dan Dokumen 4 memiliki informasi yang relevan dengan pertanyaan, tapi tidak lengkap dan tidak memberikan informasi yang lebih spesifik."
-      },
-      "metrics": {
-        "response_time": 70.73,
-        "retrieved_docs_count": 10,
-        "timestamp": "2025-07-01T19:20:30.010473"
-      }
-    },
-    {
-      "id": 8,
-      "question": "Bagaimana proses penerimaan mahasiswa baru di Politeknik Negeri Padang?",
-      "answer": "Proses penerimaan mahasiswa baru di Politeknik Negeri Padang dapat dilihat pada informasi yang tersedia di situs web resmi mereka, yaitu http://penerimaan.pnp.ac.id/. Di situs tersebut, terdapat informasi mengenai jadwal penerimaan, persyaratan, dan prosedur pendaftaran. Selain itu, juga tersedia informasi mengenai program studi yang ditawarkan, brosur, dan pengumuman hasil seleksi.",
-      "ground_truth": "Penerimaan mahasiswa baru di Politeknik Negeri Padang dilakukan melalui berbagai jalur seleksi seperti SNBT, SNMPN, dan kelas kerjasama. Tersedia brosur dan informasi detail melalui situs http://penerimaan.pnp.ac.id. Program studi Teknik Alat Berat misalnya memiliki kelas kerjasama dengan PT Trakindo Utama. Jadwal seleksi dan pengumuman dapat diakses secara daring.",
-      "scores": {
-        "correctness": 0.9,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 0.8,
-        "overall": 0.83
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sangat mirip dengan jawaban referensi, hanya saja tidak ada perbedaan signifikan antara keduanya. Informasi yang diberikan tentang PNP juga akurat dan sesuai dengan referensi. Namun, untuk mendapatkan skor sempurna (1.0), jawaban harus memiliki keselarasan total dengan referensi, dan dalam kasus ini, tidak ada perbedaan signifikan antara keduanya.",
-        "relevance": "Jawaban tersebut sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan yang diajukan tentang proses penerimaan mahasiswa baru di Politeknik Negeri Padang. Informasi yang diberikan juga sesuai dengan konteks PNP, yaitu situs web resmi mereka yang menyediakan informasi tentang jadwal penerimaan, persyaratan, dan prosedur pendaftaran. Jawaban tersebut fokus dan tidak keluar topik, hanya memberikan informasi yang relevan dan berguna untuk menjawab pertanyaan. Namun, jawaban tersebut tidak sempurna karena tidak memberikan detail lebih lanjut tentang proses penerimaan mahasiswa baru di PNP.",
-        "groundedness": "Jawaban Anda sebagian besar berdasar pada dokumen, namun masih terdapat beberapa klaim yang tidak didukung oleh dokumen.\n\nContoh:\n- Klaim bahwa \"Proses penerimaan mahasiswa baru di Politeknik Negeri Padang dapat dilihat pada informasi yang tersedia di situs web resmi mereka\" didukung oleh dokumen, karena terdapat informasi mengenai proses penerimaan mahasiswa baru di situs web resmi PNP.\n- Klaim bahwa \"Terdapat informasi mengenai program studi yang ditawarkan, brosur, dan pengumuman hasil seleksi\" didukung oleh dokumen, karena terdapat link ke informasi tersebut.\n\nNamun, klaim lainnya tidak didukung oleh dokumen, seperti:\n- Klaim bahwa \"Terdapat informasi mengenai jadwal penerimaan, persyaratan, dan prosedur pendaftaran\" tidak didukung oleh dokumen, karena tidak terdapat informasi tersebut di situs web resmi PNP.\n\nOleh karena itu, skor yang diberikan adalah 0.8, karena jawaban sebagian besar berdasar pada dokumen, namun masih terdapat beberapa klaim yang tidak didukung oleh dokumen.",
-        "retrieval": "Dokumen-dokumen yang diambil terdiri dari informasi tentang penerimaan mahasiswa baru, beasiswa, survey kepuasan masyarakat, data tenaga pendidik dan kependidikan, akreditasi program studi, dan sebagainya. Dokumen 1-3 memang relevan dengan pertanyaan \"Bagaimana proses penerimaan mahasiswa baru di Politeknik Negeri Padang?\" karena mengandung informasi tentang informasi penerimaan mahasiswa baru, program studi, dan brosur penerimaan.\n\nNamun, dokumen 4-10 tidak terlalu relevan dengan pertanyaan tersebut. Dokumen 4-5 memang berhubungan dengan data tenaga pendidik dan kependidikan, tetapi tidak langsung terkait dengan proses penerimaan mahasiswa baru. Dokumen 6-10 lebih berfokus pada akreditasi program studi, pelatihan teknis, dan sebagainya.\n\nDalam penilaian ini, saya memberikan skor 0.8 karena dokumen-dokumen yang diambil memang mengandung informasi yang relevan dengan pertanyaan, tetapi tidak lengkap dan terlalu banyak informasi yang tidak terkait dengan pertanyaan."
-      },
-      "metrics": {
-        "response_time": 55.64,
-        "retrieved_docs_count": 10,
-        "timestamp": "2025-07-01T19:22:03.780706"
-      }
-    },
-    {
-      "id": 9,
-      "question": "Apa bentuk kerjasama yang dilakukan Politeknik Negeri Padang?",
-      "answer": "Politeknik Negeri Padang menjalin kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya. Kerjasama yang dilakukan tidak hanya di Indonesia tapi juga dengan luar negeri baik dibidang industri maupun perguruan tinggi.",
-      "ground_truth": "Politeknik Negeri Padang menjalin kerjasama dengan industri, pemerintah, BUMN, dan asosiasi profesi baik dalam negeri maupun luar negeri. Bentuk kerjasama mencakup rekrutmen, prakerin (praktik kerja industri), kunjungan industri, bimbingan karir, serta pembuatan MoU. Tujuannya untuk menjaga mutu lulusan dan penyaluran SDM.",
-      "scores": {
-        "correctness": 0.9,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 0.8,
-        "overall": 0.83
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi memiliki kesamaan dengan jawaban referensi dalam beberapa hal, seperti menjalin kerjasama dengan industri, pemerintah, BUMN, dan asosiasi profesi baik dalam negeri maupun luar negeri. Namun, terdapat sedikit perbedaan pada kalimat \"stake holder\" yang tidak ada dalam jawaban referensi. Selain itu, informasi yang diberikan tentang PNP juga akurat dan sesuai dengan fakta. Oleh karena itu, skor 0.9 diberikan untuk jawaban yang memiliki kesamaan sebagian besar dengan jawaban referensi.",
-        "relevance": "Jawaban tersebut menjawab langsung pertanyaan yang diajukan, yaitu tentang bentuk kerjasama yang dilakukan Politeknik Negeri Padang. Informasi yang diberikan juga sesuai dengan konteks PNP sebagai politeknik yang berfokus pada kerjasama dengan industri dan lembaga lainnya. Namun, jawaban tersebut tidak menjawab langsung pertanyaan secara eksplisit, sehingga skor 0.8 diberikan.",
-        "groundedness": "Jawaban Anda sebagian besar berdasar pada dokumen, namun terdapat beberapa klaim yang tidak didukung oleh dokumen.\n\nKlaim \"Politeknik Negeri Padang menjalin kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya\" didukung oleh Dokumen 2, yang menyebutkan bahwa Politeknik Negeri Padang telah menjalin berbagai kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya.\n\nNamun, klaim \"Kerjasama yang dilakukan tidak hanya di Indonesia tapi juga dengan luar negeri baik dibidang industri maupun perguruan tinggi\" tidak didukung oleh dokumen. Dokumen 2 hanya menyebutkan kerjasama dengan industri dan instansi lainnya tanpa menjelaskan apakah kerjasama tersebut dilakukan di dalam atau luar negeri.\n\nDalam penilaian, saya memberikan skor 0.8 karena jawaban Anda sebagian besar berdasar pada dokumen, namun terdapat beberapa klaim yang tidak didukung oleh dokumen.",
-        "retrieval": "Dokumen yang diambil terdiri dari berbagai informasi tentang Politeknik Negeri Padang, termasuk sejarah pendirian, jurusan dan program studi, dosen, kampus, dan lain-lain. Dokumen ini mengandung informasi yang relevan untuk menjawab pertanyaan \"Apa bentuk kerjasama yang dilakukan Politeknik Negeri Padang?\".\n\nNamun, dokumen ini tidak lengkap karena tidak ada informasi spesifik tentang bentuk kerjasama yang dilakukan Politeknik Negeri Padang. Dokumen 2 dan Dokumen 6 hanya berisi informasi umum tentang kerjasama dengan industri dan stake holder, serta kurikulum pendidikan.\n\nDokumen lainnya tidak terlalu relevan untuk menjawab pertanyaan ini, kecuali Dokumen 3 yang berisi Perjanjian Kinerja Politeknik Negeri Padang dengan Menteri Riset Teknologi Dan Pendidikan Tinggi Tahun 2019. Namun, informasi dalam dokumen tersebut tidak spesifik tentang bentuk kerjasama.\n\nDalam kesimpulan, skor 0.8 diberikan karena dokumen yang diambil mengandung informasi yang relevan namun tidak lengkap dan tidak spesifik untuk menjawab pertanyaan."
-      },
-      "metrics": {
-        "response_time": 38.34,
-        "retrieved_docs_count": 10,
-        "timestamp": "2025-07-01T19:23:21.775296"
-      }
-    },
-    {
-      "id": 10,
-      "question": "Siapa saja pimpinan di Politeknik Negeri Padang saat ini?",
-      "answer": "Saya tidak memiliki informasi tentang pimpinan Politeknik Negeri Padang saat ini.",
-      "ground_truth": "Direktur Politeknik Negeri Padang adalah Dr. Ir. Surfa Yondri, S.T., S.ST., M.Kom. Wakil Direktur Bidang Akademik adalah Ir. Revalin Herdianto, ST., M.Sc., Ph.D. Pimpinan lainnya antara lain Nasrullah, ST., M.T., dan Sarmiadi, S.E., M.M. yang memiliki pengalaman panjang dalam jabatan struktural di kampus.",
-      "scores": {
-        "correctness": 0.5,
-        "relevance": 0.5,
-        "groundedness": 0.5,
-        "retrieval": 0.8,
-        "overall": 0.56
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi tidak memiliki informasi tentang pimpinan Politeknik Negeri Padang saat ini, sehingga tidak sesuai dengan referensi yang memberikan nama-nama pimpinan PNP. Namun, jawaban tersebut juga tidak salah karena tidak mengklaim bahwa PNP tidak memiliki pimpinan atau tidak memiliki informasi tentang pimpinan PNP. Oleh karena itu, skor 0.5 diberikan karena jawaban tersebut tidak sesuai dengan referensi namun tidak salah secara mutlak.",
-        "relevance": "Jawaban tidak menjawab langsung pertanyaan yang diajukan, namun informasi yang diberikan sesuai dengan konteks PNP (Politeknik Negeri Padang). Jawaban fokus pada informasi yang tidak tersedia, sehingga tidak keluar topik. Namun, jawaban tidak menjawab langsung pertanyaan dan tidak memberikan informasi yang spesifik tentang pimpinan PNP saat ini. Oleh karena itu, skor 0.5 diberikan.",
-        "groundedness": "Jawaban tidak sepenuhnya berdasar pada dokumen, karena saya tidak memiliki informasi tentang pimpinan Politeknik Negeri Padang saat ini. Dokumen tidak menyebutkan nama atau jabatan pimpinan Politeknik Negeri Padang.\n\nNamun, jawaban tidak salah dan tidak membuat-buat informasi yang tidak ada di dokumen. Jawaban hanya mengatakan bahwa saya tidak memiliki informasi tentang pimpinan Politeknik Negeri Padang saat ini, yang sesuai dengan kenyataan bahwa informasi tersebut tidak terdapat dalam dokumen.\n\nDalam skala 0-1, saya memberikan skor 0.5 karena jawaban tidak sepenuhnya berdasar pada dokumen, tetapi tidak membuat-buat informasi yang tidak ada di dokumen.",
-        "retrieval": "Dokumen yang diambil tidak langsung memberikan informasi tentang pimpinan Politeknik Negeri Padang saat ini. Namun, beberapa dokumen mengandung informasi yang relevan dengan topik pertanyaan.\n\nDokumen 1-6 hanya berisi informasi umum tentang Politeknik Negeri Padang, seperti sejarah pendirian, jurusan, program studi, dan kampus. Informasi ini tidak langsung memberikan jawaban pada pertanyaan.\n\nDokumen 7 mengandung informasi yang relevan dengan topik pertanyaan, namun tidak langsung memberikan nama pimpinan Politeknik Negeri Padang saat ini.\n\nDokumen 8-10 berisi jadwal perkuliahan dan tidak memiliki informasi tentang pimpinan Politeknik Negeri Padang.\n\nDalam skor 0.8, saya mempertimbangkan bahwa beberapa dokumen mengandung informasi yang relevan dengan topik pertanyaan, namun tidak langsung memberikan jawaban pada pertanyaan. Untuk mendapatkan skor lebih tinggi, dokumen harus langsung memberikan informasi tentang pimpinan Politeknik Negeri Padang saat ini."
-      },
-      "metrics": {
-        "response_time": 15.58,
-        "retrieved_docs_count": 10,
-        "timestamp": "2025-07-01T19:24:11.793513"
-      }
-    }
-  ]
-}

hasil_evaluasi/k10/pnp_rag_evaluation_results_intermediate_5of11.json

@@ -1,182 +0,0 @@
-{
-  "metadata": {
-    "evaluation_system": "PNP RAG Evaluator",
-    "dataset": "Politeknik Negeri Padang Q&A",
-    "model": "fauziisyrinapridal/sahabat-ai-v1:latest",
-    "evaluator": "llama3",
-    "timestamp": "2025-07-01T19:16:39.784626"
-  },
-  "summary": {
-    "total_evaluations": 5,
-    "correctness": {
-      "mean": 0.9,
-      "median": 0.9,
-      "std": 0.07071067811865474,
-      "min": 0.8,
-      "max": 1.0
-    },
-    "relevance": {
-      "mean": 0.8,
-      "median": 0.8,
-      "std": 0.0,
-      "min": 0.8,
-      "max": 0.8
-    },
-    "groundedness": {
-      "mean": 0.74,
-      "median": 0.8,
-      "std": 0.1341640786499874,
-      "min": 0.5,
-      "max": 0.8
-    },
-    "retrieval": {
-      "mean": 0.8400000000000001,
-      "median": 0.8,
-      "std": 0.08944271909999157,
-      "min": 0.8,
-      "max": 1.0
-    },
-    "overall_performance": {
-      "mean": 0.8230000000000001,
-      "median": 0.8300000000000001,
-      "std": 0.03271085446759228,
-      "min": 0.785,
-      "max": 0.8700000000000001
-    },
-    "performance_metrics": {
-      "avg_response_time": 103.83831400871277,
-      "median_response_time": 100.24822497367859,
-      "total_response_time": 519.1915700435638,
-      "fastest_response": 33.63759756088257,
-      "slowest_response": 174.30432057380676
-    },
-    "score_distribution": {
-      "excellent_count": 4,
-      "good_count": 1,
-      "fair_count": 0,
-      "poor_count": 0
-    }
-  },
-  "detailed_results": [
-    {
-      "id": 1,
-      "question": "Bagaimana sistem pendidikan yang diterapkan di Politeknik Negeri Padang?",
-      "answer": "Sistem pendidikan yang diterapkan di Politeknik Negeri Padang adalah dengan menggabungkan pendidikan teoritis, praktek (terapan) di Laboratorium dan praktek industry. Pelaksanaan praktik di industri dilakukan oleh mahasiswa selama satu semester untuk menambah wawasan, pengalaman dan pengembangan ilmu guna membentuk tenaga ahli yang terampil dan profesional.",
-      "ground_truth": "Sistem pendidikan yang diterapkan di Politeknik adalah dengan menggabungkan pendidikan teoritis, praktek (terapan) di Laboratorium dan praktek industry. Pelaksanaan praktik di industri dilakukan oleh mahasiswa selama satu semester untuk menambah wawasan, pengalaman dan pengembangan ilmu guna membentuk tenaga ahli yang terampil dan profesional.",
-      "scores": {
-        "correctness": 1.0,
-        "relevance": 0.8,
-        "groundedness": 0.5,
-        "retrieval": 0.8,
-        "overall": 0.785
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sepenuhnya sesuai dengan referensi. Fakta dalam jawaban sama dengan informasi yang diberikan dalam referensi, yaitu bahwa Politeknik Negeri Padang menggabungkan pendidikan teoritis, praktek (terapan) di Laboratorium dan praktek industry sebagai sistem pendidikan yang diterapkan. Informasi yang diberikan juga akurat tentang PNP, tidak ada kesalahan atau ketidaksesuaian data.",
-        "relevance": "Jawaban ini sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan tentang sistem pendidikan yang diterapkan di Politeknik Negeri Padang. Informasi yang diberikan juga sesuai dengan konteks PNP, yaitu menggabungkan pendidikan teoritis, praktek (terapan) di Laboratorium dan praktek industry. Jawaban ini fokus dan tidak keluar topik, hanya membahas sistem pendidikan yang diterapkan di PNP tanpa menambahkan informasi yang tidak relevan. Namun, jawaban ini tidak sempurna karena tidak menjelaskan lebih lanjut tentang bagaimana pelaksanaan praktik di industri dilakukan oleh mahasiswa dan apa yang mereka lakukan selama satu semester.",
-        "groundedness": "Jawaban tidak sepenuhnya berdasar pada dokumen, namun ada beberapa informasi yang didukung oleh dokumen.\n\nPertama, jawaban menggabungkan pendidikan teoritis, praktek (terapan) di Laboratorium dan praktek industry. Dokumen 1 dan Dokumen 2 tidak secara langsung menyebutkan tentang pelaksanaan praktik di industri, namun Dokumen 2 menjelaskan bahwa Politeknik Negeri Padang telah mendapat izin untuk menyelenggarakan Program D IV dari DIKTI, baik untuk program lanjutan (transfer dari D III), yang dapat diartikan sebagai pelatihan praktek di industri.\n\nKedua, jawaban tidak menjelaskan tentang sistem pendidikan yang diterapkan di Politeknik Negeri Padang. Dokumen 1 dan Dokumen 2 hanya menjelaskan tentang kurikulum pendidikan yang telah disusun berbasis kompetensi dengan kelompok mata kuliah sebagai berikut : Mata Kuliah Pengembangan Kepribadian (MPK), Mata Kuliah dan Keimuan dan Keterampilan (MKK), Mata Kuliah Berkarya (MKB), dan Mata Kulah Berkehidupan Bermasyarakat (MBB).\n\nNamun, jawaban tidak sepenuhnya tidak berdasar pada dokumen karena Dokumen 1 dan Dokumen 2 menjelaskan tentang kurikulum pendidikan yang telah disusun berbasis kompetensi. Oleh karena itu, skor diberikan sebesar 0.5.",
-        "retrieval": "The documents provide a good overview of the education system implemented at Politeknik Negeri Padang. Dokumen 1 provides historical context, while Dokumen 2 describes the curriculum and its focus on competence-based learning. Dokumen 3 mentions the commitment to quality education and the importance of synergy among staff.\n\nHowever, I deduct points because some documents (Dokumen 4-8) appear to be redundant and do not provide new information relevant to the question. Dokumen 9 and 10 seem to be general information about the institution's history and facilities, which is not directly related to the education system implemented at Politeknik Negeri Padang.\n\nOverall, while the documents provide some useful information, they could be more comprehensive and focused on the specific topic of the education system implemented at Politeknik Negeri Padang."
-      },
-      "metrics": {
-        "response_time": 131.91,
-        "retrieved_docs_count": 10,
-        "timestamp": "2025-07-01T19:07:19.737470"
-      }
-    },
-    {
-      "id": 2,
-      "question": "Apa saja mata kuliah yang terdapat dalam kurikulum pendidikan Politeknik Negeri Padang?",
-      "answer": "Mata kuliah yang terdapat dalam kurikulum pendidikan Politeknik Negeri Padang adalah:\n\n1. Mata Kuliah Pengembangan Kepribadian (MPK)\n2. Mata Kuliah dan Keimuan dan Keterampilan (MKK)\n3. Mata Kuliah Berkarya (MKB)\n4. Mata Kulah Berkehidupan Bermasyarakat (MBB)",
-      "ground_truth": "Kurikulum Pendidikan telah disusun berbasis kompetensi dengan kelompok mata kuliah sebagai berikut : - Mata Kuliah Pengembangan Kepribadian (MPK) - Mata Kuliah Keimuan dan Keterampilan (MKK) - Mata Kuliah Berkarya (MKB) - Mata Kuliah Berkehidupan Bermasyarakat (MBB)",
-      "scores": {
-        "correctness": 0.9,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 0.8,
-        "overall": 0.83
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi memiliki kesamaan dengan referensi sebesar 90%. Fakta dalam jawaban sesuai dengan referensi, yaitu terdapat empat mata kuliah yang disebutkan, yakni MPK, MKK, MKB, dan MBB. Informasi yang diberikan tentang PNP juga akurat, karena kurikulum pendidikan Politeknik Negeri Padang memang berbasis kompetensi dengan kelompok mata kuliah tersebut. Namun, terdapat satu kesalahan kecil, yaitu penulisan \"Mata Kulah\" menjadi \"Mata Kuliah\" pada nomor 4. Karena itu, skor yang diberikan adalah 0.9.",
-        "relevance": "Jawaban ini sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan yang diajukan tentang mata kuliah yang terdapat dalam kurikulum pendidikan Politeknik Negeri Padang. Informasi yang diberikan juga sesuai dengan konteks PNP sebagai institusi pendidikan teknologi dan vokasi. Namun, jawaban ini tidak sempurna karena tidak menjelaskan secara rinci tentang mata kuliah apa saja yang terdapat dalam kurikulum PNP, hanya memberikan judul-judul mata kuliah tanpa deskripsi lebih lanjut.",
-        "groundedness": "Jawaban Anda sebagian besar berdasar pada dokumen, tetapi tidak sepenuhnya.\n\nDokumen 1 menjelaskan kurikulum pendidikan Politeknik Negeri Padang yang terdiri dari empat mata kuliah: MPK, MKK, MKB, dan MBB. Jawaban Anda juga mencantumkan empat mata kuliah tersebut, sehingga skor 0.8.\n\nNamun, tidak ada dokumen lain yang secara eksplisit menjelaskan tentang kurikulum pendidikan Politeknik Negeri Padang. Oleh karena itu, jawaban Anda tidak sepenuhnya berdasar pada dokumen, sehingga skor 0.2.\n\nDalam penilaian ini, saya mempertimbangkan apakah klaim dalam jawaban didukung oleh dokumen, apakah ada informasi yang dibuat-buat atau tidak ada di dokumen, dan apakah jawaban konsisten dengan fakta dalam dokumen.",
-        "retrieval": "Dokumen yang diambil terdiri dari beberapa jenis, termasuk informasi tentang kurikulum pendidikan, akreditasi program studi, informasi penerimaan mahasiswa baru, jadwal perkuliahan, dan lain-lain.\n\nInformasi yang relevan dengan pertanyaan \"Apa saja mata kuliah yang terdapat dalam kurikulum pendidikan Politeknik Negeri Padang?\" dapat ditemukan pada Dokumen 1, yaitu Kurikulum Pendidikan telah disusun berbasis kompetensi dengan kelompok mata kuliah sebagai berikut : Mata Kuliah Pengembangan Kepribadian (MPK), Mata Kuliah dan Keimuan dan Keterampilan (MKK), Mata Kuliah Berkarya (MKB), dan Mata Kulah Berkehidupan Bermasyarakat (MBB).\n\nNamun, dokumen lainnya tidak terlalu relevan dengan pertanyaan tersebut. Dokumen 2-5 hanya berisi informasi tentang akreditasi program studi, penerimaan mahasiswa baru, beasiswa, dan lain-lain yang tidak terkait dengan mata kuliah.\n\nDokumen 6-8 berisi jadwal perkuliahan, namun tidak terlalu relevan dengan pertanyaan tersebut. Dokumen 9 berisi informasi tentang tenaga pendidik dan kependidikan, namun tidak terkait dengan mata kuliah.\n\nDokumen 10 berisi jadwal perkuliahan yang lebih spesifik, namun masih tidak relevan dengan pertanyaan tersebut.\n\nOleh karena itu, skor yang diberikan adalah 0.8, karena beberapa dokumen mengandung informasi yang relevan dengan pertanyaan, tetapi tidak semua dokumen terkait dengan mata kuliah."
-      },
-      "metrics": {
-        "response_time": 100.25,
-        "retrieved_docs_count": 10,
-        "timestamp": "2025-07-01T19:09:40.565297"
-      }
-    },
-    {
-      "id": 3,
-      "question": "Bagaimana Politeknik Negeri Padang mendukung misi tridharma perguruan tinggi?",
-      "answer": "Politeknik Negeri Padang mendukung misi tridharma perguruan tinggi melalui beberapa cara. Pertama, dalam bidang pendidikan, Politeknik Negeri Padang menerapkan sistem pendidikan yang konsisten pada jalur pendidikan vokasional dengan menerapkan sistem pembelajaran yang aplikatif serta secara terus menerus menyesuaikan diri dengan perkembangan dunia industri dan dunia usaha. Kedua, dalam bidang penelitian, Politeknik Negeri Padang telah mendapat izin untuk menyelenggarakan Program D IV dari DIKTI, baik untuk program lanjutan (transfer dari D III) dan D IV murni (menampung lulusan SMU/SMK). Ketiga, dalam bidang pengabdian kepada masyarakat, Politeknik Negeri Padang telah menyelenggarakan pendidikan Program D IV dan D III Kerjasama dengan Departemen Kimpraswil, PT. dan juga menyediakan bantuan untuk sekitar 800 orang mahasiswa setiap tahunnya.",
-      "ground_truth": "Politeknik Negeri Padang dalam menjalankan misi tridharma perguruan tinggi didukung oleh tenaga pendidik dan tenaga kependidikan yang profesional pada bidangnya. Jumlah dan kualifikasi staf tersebut berdasarkan keadaan Desember 2017 sebagai berikut : - Tenaga Pendidik : S1 = 14 orang, S2 = 256 orang, S3 = 21 orang (Yang sedang menempuh S3 = 7 orang, Yang sedang menempuh S2 = 5 orang) - Tenaga Kependidikan : SD = 5 orang, SMP = 4 orang, SLTA = 71 orang, D3 = 25 orang, S1 = 54 orang, S2 = 15 orang.",
-      "scores": {
-        "correctness": 0.8,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 0.8,
-        "overall": 0.8
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sebagian besar benar, tetapi terdapat beberapa kesalahan dan ketidaksesuaian data.\n\nFakta dalam jawaban sesuai dengan referensi pada beberapa titik, seperti Politeknik Negeri Padang menerapkan sistem pendidikan yang konsisten pada jalur pendidikan vokasional (benar) dan telah mendapat izin untuk menyelenggarakan Program D IV dari DIKTI (benar).\n\nNamun, terdapat beberapa kesalahan dan ketidaksesuaian data. Misalnya, jawaban tidak menjelaskan bagaimana Politeknik Negeri Padang mendukung misi tridharma perguruan tinggi secara lebih luas, hanya mengutip beberapa contoh saja.\n\nSelain itu, informasi yang diberikan tentang PNP juga kurang akurat. Misalnya, tidak ada informasi tentang jumlah dan kualifikasi staf yang profesional pada bidangnya, seperti yang tercantum dalam referensi.\n\nDalam penilaian skor, saya memberikan nilai 0.8 karena jawaban sebagian besar benar, tetapi terdapat beberapa kesalahan dan ketidaksesuaian data.",
-        "relevance": "Jawaban ini sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan tentang bagaimana PNP mendukung misi tridharma perguruan tinggi. Informasi yang diberikan juga sesuai dengan konteks PNP, seperti sistem pendidikan vokasional, program penelitian, dan pengabdian kepada masyarakat. Jawaban ini fokus dan tidak keluar topik, karena hanya membahas cara-cara PNP mendukung misi tridharma perguruan tinggi tanpa menambahkan informasi yang tidak relevan. Namun, jawaban ini tidak sempurna karena tidak menjelaskan secara lebih detail bagaimana PNP menerapkan sistem pendidikan vokasional dan program penelitian dalam mendukung misi tridharma perguruan tinggi.",
-        "groundedness": "Jawaban tersebut sebagian besar berdasar pada dokumen, tetapi ada beberapa klaim yang tidak didukung oleh dokumen.\n\nPertama, jawaban tersebut tidak menjelaskan bagaimana Politeknik Negeri Padang mendukung misi tridharma perguruan tinggi dalam bidang penelitian. Dokumen 3 hanya menyebutkan bahwa Politeknik Negeri Padang telah mendapat izin untuk menyelenggarakan Program D IV dari DIKTI, tetapi tidak menjelaskan bagaimana program tersebut mendukung misi tridharma.\n\nKedua, jawaban tersebut tidak menjelaskan bagaimana Politeknik Negeri Padang mendukung misi tridharma perguruan tinggi dalam bidang pengabdian kepada masyarakat. Dokumen 4 hanya menyebutkan bahwa Politeknik Negeri Padang telah menyediakan bantuan untuk sekitar 800 orang mahasiswa setiap tahunnya, tetapi tidak menjelaskan bagaimana bantuan tersebut mendukung misi tridharma.\n\nNamun, jawaban tersebut juga berisi beberapa informasi yang didukung oleh dokumen, seperti sistem pendidikan vokasional yang konsisten pada jalur pendidikan vokasional (Dokumen 2) dan program D IV yang telah mendapat izin dari DIKTI (Dokumen 3). Oleh karena itu, skor yang diberikan adalah 0.8.",
-        "retrieval": "Dokumen-dokumen yang diambil terdiri dari berbagai informasi tentang Politeknik Negeri Padang, termasuk visi dan misinya, kurikulum pendidikan, jadwal perkuliahan, dan lain-lain. Dokumen 1-5 mengandung informasi tentang komitmen dan pertanggungjawaban Politeknik Negeri Padang sebagai perguruan tinggi, serta tujuan dan sasaran pendidikan vokasional.\n\nNamun, dokumen-dokumen yang diambil tidak lengkap dalam menjawab pertanyaan. Dokumen 6-10 lebih berfokus pada informasi teknis dan administratif, seperti tata nilai, kebijakan, dan jadwal perkuliahan. Informasi tentang bagaimana Politeknik Negeri Padang mendukung misi tridharma perguruan tinggi tidak terlalu jelas dalam dokumen-dokumen yang diambil.\n\nDalam penilaian kualitas pengambilan dokumen, saya memberikan skor 0.8 karena dokumen-dokumen yang diambil mengandung informasi penting tentang Politeknik Negeri Padang, tetapi tidak lengkap dalam menjawab pertanyaan dan tidak terlalu relevan dengan topik pertanyaan."
-      },
-      "metrics": {
-        "response_time": 174.3,
-        "retrieved_docs_count": 10,
-        "timestamp": "2025-07-01T19:13:19.822511"
-      }
-    },
-    {
-      "id": 4,
-      "question": "Bagaimana Politeknik Negeri Padang menyediakan akses internet bagi mahasiswa?",
-      "answer": "Politeknik Negeri Padang telah memiliki Anjungan Internet Mandiri (AIM) yang dapat di akses oleh mahasiswa Politeknik secara gratis, yang tersedia pada titik-titik strategis. Politeknik Negeri Padang juga memiliki kawasan hot spot area disekitar kampus, sehingga mahasiswa dapat memanfaatkan internet disekitar kampus secara bebas dengan menggunakan laptop/PC.",
-      "ground_truth": "Politeknik Negeri Padang telah memiliki Anjungan Internet Mandiri (AIM) yang dapat diakses oleh mahasiswa secara gratis, yang tersedia pada titik-titik strategis. Juga tersedia kawasan hot spot area di sekitar kampus sehingga mahasiswa dapat memanfaatkan internet dengan bebas menggunakan laptop/PC.",
-      "scores": {
-        "correctness": 0.9,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 1.0,
-        "overall": 0.87
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sangat mirip dengan jawaban referensi, hanya ada sedikit perbedaan pada kalimat \"Politeknik secara gratis\" menjadi \"mahasiswa Politeknik secara gratis\". Keduanya memiliki informasi yang sama tentang Anjungan Internet Mandiri (AIM) dan kawasan hot spot area di sekitar kampus. Informasi yang diberikan juga akurat tentang PNP, tidak ada kesalahan atau ketidaksesuaian data. Namun, karena terdapat sedikit perbedaan pada kalimat, maka skor yang diberikan adalah 0.9.",
-        "relevance": "Jawaban ini sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan tentang bagaimana PNP menyediakan akses internet bagi mahasiswa. Informasi yang diberikan juga sesuai dengan konteks PNP, yaitu tentang Anjungan Internet Mandiri (AIM) dan kawasan hot spot area disekitar kampus. Jawaban ini fokus dan tidak keluar topik, hanya memberikan informasi yang relevan dan berguna untuk menjawab pertanyaan. Namun, jawaban ini tidak sempurna karena tidak menjelaskan lebih lanjut tentang kualitas akses internet atau apakah akses internet tersebut tersedia 24 jam sehari.",
-        "groundedness": "Jawaban tersebut didukung oleh Dokumen 1, yang menyebutkan bahwa Politeknik Negeri Padang memiliki Anjungan Internet Mandiri (AIM) yang dapat diakses oleh mahasiswa secara gratis. Namun, tidak ada informasi tentang kawasan hot spot area disekitar kampus dalam dokumen lainnya.\n\nJawaban tersebut juga tidak konsisten dengan fakta dalam Dokumen 5, yang hanya berisi informasi teknis tentang penggunaan Google Translate dan tidak menyebutkan apapun tentang Anjungan Internet Mandiri (AIM) atau kawasan hot spot area.",
-        "retrieval": "Based on the provided documents, I evaluate the relevance and completeness of each document in answering the question \"How does Politeknik Negeri Padang provide internet access to students?\"\n\n**Dokumen 1**: This document provides information about the number of staff members at Politeknik Negeri Padang, but it is not directly related to providing internet access to students. Score: 0.2 (some information is indirectly relevant)\n\n**Dokumen 2**: This document discusses various forms of assistance and scholarships available to students, including those with academic achievements. While it does not specifically mention internet access, it provides context about the institution's support for students. Score: 0.5 (partially relevant)\n\n**Dokumen 3**: This document appears to be a collection of news articles or announcements related to Politeknik Negeri Padang, including information about technology and community engagement. None of these articles directly address internet access. Score: 0.1 (not relevant)\n\n**Dokumen 4**: This document provides information about the admission process for new students at Politeknik Negeri Padang, but it does not mention internet access. Score: 0.0 (not relevant)\n\n**Dokumen 5**: This document appears to be a translation settings page and is not directly related to providing internet access to students. Score: 0.0 (not relevant)\n\n**Dokumen 6**: This document discusses the link-and-match program between Politeknik Negeri Padang and Ditjen Vokasi, but it does not mention internet access. Score: 0.0 (not relevant)\n\n**Dokumen 7**: This document provides a schedule of classes for students at Politeknik Negeri Padang, including information about IoT and computer security courses. While it does not directly address internet access, it suggests that the institution may offer courses related to technology. Score: 0.3 (somewhat relevant)\n\n**Dokumen 8**: This document discusses the history of Politeknik Negeri Padang and its development as a vocational education institution. It does not mention internet access. Score: 0.0 (not relevant)\n\n**Dokumen 9**: This document is an invitation to students at Politeknik Negeri Padang to participate in a survey about their satisfaction with the institution's services. While it does not directly address internet access, it suggests that the institution values student feedback. Score: 0.2 (some information is indirectly relevant)\n\n**Dokumen 10**: This document provides a schedule of classes for students at Politeknik Negeri Padang, including information about various courses and programs. While it does not directly address internet access, it suggests that the institution may offer courses related to technology. Score: 0.3 (somewhat relevant)\n\nOverall, I would give an average score of 0.2 out of 1.0, indicating that while some documents provide indirect or tangential information about Politeknik Negeri Padang's provision of internet access to students, none of the documents directly address this topic."
-      },
-      "metrics": {
-        "response_time": 79.1,
-        "retrieved_docs_count": 10,
-        "timestamp": "2025-07-01T19:15:23.087586"
-      }
-    },
-    {
-      "id": 5,
-      "question": "Apa saja contoh kerjasama Politeknik Negeri Padang dengan industri?",
-      "answer": "Politeknik Negeri Padang menjalin kerjasama dengan industri dan instansi lainnya untuk menjaga mutu lulusan, pengembangan sumber daya, dan menyalurkan lulusan. Kerjasama ini tidak hanya dilakukan di Indonesia, tetapi juga dengan luar negeri baik di bidang industri maupun perguruan tinggi.",
-      "ground_truth": "PT. Siemens Indonesia, PT. Toyota Aichi Takaoua Japan, PT. PLN, PT. INTI, Futaba Rashi Siisha Kusho Japan, PT. Sintom, PT. Krakatau Steel, Komatssu Shinge Koumuten, PT. PAL Indonesia, PT. Hexindo, Taishurin Co. Ltd Fukuoaka Japan, PT. Texmaco Perkasa, PT. LEN Industri, PT. Toyota Astra Motor, PT. Indah Kiat, PT. Trakindo Utama, BTN.",
-      "scores": {
-        "correctness": 0.9,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 0.8,
-        "overall": 0.83
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sebagian besar benar, namun terdapat beberapa kesalahan kecil.\n\nFakta dalam jawaban sesuai dengan referensi, yaitu Politeknik Negeri Padang menjalin kerjasama dengan industri dan instansi lainnya untuk meningkatkan mutu lulusan, pengembangan sumber daya, dan menyalurkan lulusan. Informasi yang diberikan tentang PNP juga akurat, yaitu bahwa PNP menjalin kerjasama dengan industri domestik maupun internasional.\n\nNamun, terdapat beberapa kesalahan kecil dalam jawaban, seperti:\n\n* Tidak semua nama perusahaan yang disebutkan sebagai mitra kerja PNP adalah benar. Misalnya, PT. Toyota Aichi Takaoua Japan tidak ditemukan sebagai mitra kerja PNP.\n* Tidak ada penjelasan lebih lanjut tentang jenis kerjasama yang dilakukan PNP dengan industri dan instansi lainnya.\n\nDalam skala 0-1, saya memberikan skor 0.9 karena jawaban sebagian besar benar, namun terdapat beberapa kesalahan kecil.",
-        "relevance": "Jawaban ini relevan dan tepat sasaran, karena menjawab langsung pertanyaan tentang contoh kerjasama PNP dengan industri. Informasi yang diberikan juga sesuai dengan konteks PNP sebagai politeknik negeri yang berfokus pada pengembangan sumber daya manusia dan kerjasama dengan industri. Namun, jawaban ini tidak sepenuhnya menjawab pertanyaan karena hanya menyebutkan contoh umum kerjasama tanpa memberikan contoh spesifik PNP dengan industri.",
-        "groundedness": "Jawaban Anda sebagian besar berdasar pada dokumen, tetapi ada beberapa klaim yang tidak didukung oleh dokumen.\n\nKlaim \"Politeknik Negeri Padang menjalin kerjasama dengan industri dan instansi lainnya untuk menjaga mutu lulusan, pengembangan sumber daya, dan menyalurkan lulusan\" didukung oleh Dokumen 1. Namun, klaim \"Kerjasama ini tidak hanya dilakukan di Indonesia, tetapi juga dengan luar negeri baik di bidang industri maupun perguruan tinggi\" tidak didukung oleh dokumen.\n\nDokumen yang tersedia tidak menunjukkan adanya kerjasama dengan luar negeri. Dokumen 2 dan Dokumen 3 hanya berbicara tentang perjanjian kinerja antara Politeknik Negeri Padang dengan Menteri Riset Teknologi Dan Pendidikan Tinggi, tetapi tidak ada informasi tentang kerjasama dengan luar negeri.\n\nKlaim lainnya yang tidak didukung oleh dokumen adalah \"Politeknik Negeri Padang memiliki 476 orang Dosen yang berlatar pendidikan S2/S3 baik dari dalam maupun luar negeri\" (Dokumen 6, Dokumen 7). Dokumen tersebut hanya menunjukkan jumlah dosen dan tingkat pendidikan mereka, tetapi tidak memberikan informasi tentang asal negara pendidikan mereka.\n\nNamun, jawaban Anda sebagian besar berdasar pada dokumen, sehingga skor yang diberikan adalah 0.8.",
-        "retrieval": "Dokumen-dokumen yang diambil terdiri dari berbagai informasi tentang Politeknik Negeri Padang, termasuk sejarah singkat, profil, dan program studi. Namun, tidak ada dokumen yang secara eksplisit menjawab pertanyaan \"Apa saja contoh kerjasama Politeknik Negeri Padang dengan industri?\".\n\nNamun, beberapa dokumen mengandung informasi yang relevan dengan topik kerjasama antara Politeknik Negeri Padang dengan industri. Dokumen 1 berbicara tentang kerjasama PNP dengan industri dan instansi lainnya untuk meningkatkan mutu lulusan dan pengembangan program studi. Dokumen 2 berisi perjanjian kinerja PNP dengan Menteri Riset Teknologi Dan Pendidikan Tinggi, yang mungkin terkait dengan kerjasama antara PNP dengan industri.\n\nDalam penilaian ini, saya memberikan skor 0.8 karena dokumen-dokumen yang diambil tidak secara eksplisit menjawab pertanyaan, namun mengandung informasi yang relevan dan dapat digunakan sebagai referensi untuk menjawab pertanyaan."
-      },
-      "metrics": {
-        "response_time": 33.64,
-        "retrieved_docs_count": 10,
-        "timestamp": "2025-07-01T19:16:39.783635"
-      }
-    }
-  ]
-}

hasil_evaluasi/k10/summary.txt

@@ -1,27 +0,0 @@
-============================================================
-         PNP RAG EVALUATION SUMMARY
-============================================================
-Total Evaluations: 11
-Evaluation Time: 1345.5s
-
-SCORE BREAKDOWN:
-  Correctness:  0.845 ± 0.129
-  Relevance:    0.791 ± 0.104
-  Groundedness: 0.745 ± 0.121
-  Retrieval:    0.818 ± 0.060
-  Overall:      0.801 ± 0.083
-
-PERFORMANCE DISTRIBUTION:
-  Excellent (≥0.8): 9 (81.8%)
-  Good (0.6-0.8):   1 (9.1%)
-  Fair (0.4-0.6):   1 (9.1%)
-  Poor (<0.4):      0 (0.0%)
-
-RESPONSE TIME STATS:
-  Average: 81.47s
-  Median:  79.10s
-  Range:   15.58s - 174.30s
-============================================================
-
-Evaluation completed successfully!
-Results saved to: pnp_rag_evaluation_results.json

hasil_evaluasi/k4/pnp_rag_evaluation_results.json

@@ -1,328 +0,0 @@
-{
-  "metadata": {
-    "evaluation_system": "PNP RAG Evaluator",
-    "dataset": "Politeknik Negeri Padang Q&A",
-    "model": "fauziisyrinapridal/sahabat-ai-v1:latest",
-    "evaluator": "llama3",
-    "timestamp": "2025-07-01T18:16:15.656174"
-  },
-  "summary": {
-    "total_evaluations": 11,
-    "correctness": {
-      "mean": 0.8363636363636364,
-      "median": 0.9,
-      "std": 0.12862913567871995,
-      "min": 0.5,
-      "max": 1.0
-    },
-    "relevance": {
-      "mean": 0.7818181818181819,
-      "median": 0.8,
-      "std": 0.12504544628399564,
-      "min": 0.5,
-      "max": 0.9
-    },
-    "groundedness": {
-      "mean": 0.7090909090909091,
-      "median": 0.8,
-      "std": 0.22115399817568507,
-      "min": 0.2,
-      "max": 1.0
-    },
-    "retrieval": {
-      "mean": 0.75,
-      "median": 0.8,
-      "std": 0.1746424919657298,
-      "min": 0.35,
-      "max": 1.0
-    },
-    "overall_performance": {
-      "mean": 0.7736363636363637,
-      "median": 0.8,
-      "std": 0.09179027478689965,
-      "min": 0.56,
-      "max": 0.8700000000000001
-    },
-    "performance_metrics": {
-      "avg_response_time": 24.76003523306413,
-      "median_response_time": 28.615976095199585,
-      "total_response_time": 272.36038756370544,
-      "fastest_response": 6.592749118804932,
-      "slowest_response": 43.192989110946655
-    },
-    "score_distribution": {
-      "excellent_count": 7,
-      "good_count": 3,
-      "fair_count": 1,
-      "poor_count": 0
-    },
-    "evaluation_time": 705.2260022163391,
-    "timestamp": "2025-07-01T18:16:15.656174"
-  },
-  "detailed_results": [
-    {
-      "id": 1,
-      "question": "Bagaimana sistem pendidikan yang diterapkan di Politeknik Negeri Padang?",
-      "answer": "Politeknik Negeri Padang menerapkan sistem pendidikan yang konsisten pada jalur pendidikan vokasional dengan menerapkan sistem pembelajaran yang aplikatif serta secara terus menerus menyesuaikan diri dengan perkembangan dunia industri dan dunia usaha yang ada untuk menghasilkan tenaga kerja yang berkompeten sesuai dengan permintaan pasar dan mampu bersaing pada era persaingan global.",
-      "ground_truth": "Sistem pendidikan yang diterapkan di Politeknik adalah dengan menggabungkan pendidikan teoritis, praktek (terapan) di Laboratorium dan praktek industry. Pelaksanaan praktik di industri dilakukan oleh mahasiswa selama satu semester untuk menambah wawasan, pengalaman dan pengembangan ilmu guna membentuk tenaga ahli yang terampil dan profesional.",
-      "scores": {
-        "correctness": 0.8,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 0.8,
-        "overall": 0.8
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sebagian besar benar, tetapi tidak sepenuhnya benar. Fakta bahwa Politeknik Negeri Padang menerapkan sistem pendidikan vokasional dan aplikatif sesuai dengan referensi. Informasi tentang PNP juga akurat, seperti pelaksanaan praktik di industri oleh mahasiswa.\n\nNamun, jawaban yang dievaluasi tidak sepenuhnya benar karena tidak menjelaskan secara spesifik bagaimana sistem pendidikan teoritis dan praktek (terapan) di Laboratorium diterapkan. Selain itu, jawaban juga tidak menjelaskan secara detail bagaimana PNP menyesuaikan diri dengan perkembangan dunia industri dan dunia usaha.\n\nDalam skala 0-1, saya memberikan skor 0.8 karena jawaban yang dievaluasi sebagian besar benar, tetapi tidak sepenuhnya benar.",
-        "relevance": "Jawaban tersebut sebagian besar menjawab langsung pertanyaan yang diajukan, yaitu bagaimana sistem pendidikan yang diterapkan di Politeknik Negeri Padang. Informasi yang diberikan juga sesuai dengan konteks PNP sebagai politeknik vokasional yang berfokus pada pengembangan tenaga kerja yang berkompeten dan mampu bersaing. Namun, jawaban tersebut tidak sepenuhnya menjawab langsung pertanyaan karena tidak memberikan detail tentang sistem pendidikan yang diterapkan secara spesifik di PNP. Fokus jawaban juga relatif terhadap topik, tetapi masih perlu lebih jelas dan spesifik dalam menjawab pertanyaan.",
-        "groundedness": "Jawaban Anda sebagian besar berdasar pada dokumen, namun masih ada beberapa klaim yang tidak didukung oleh dokumen.\n\nKlaim yang didukung oleh dokumen adalah bahwa Politeknik Negeri Padang menerapkan sistem pendidikan yang konsisten pada jalur pendidikan vokasional dengan menerapkan sistem pembelajaran yang aplikatif serta secara terus menerus menyesuaikan diri dengan perkembangan dunia industri dan dunia usaha yang ada. Hal ini didukung oleh Dokumen 1, yang menjelaskan bahwa Politeknik Negeri Padang hadir di tengah-tengah masyarakat dengan menerapkan sistem pendidikan yang konsisten pada jalur pendidikan vokasional.\n\nNamun, klaim lainnya seperti \"mampu bersaing pada era persaingan global\" tidak didukung oleh dokumen. Dokumen 1 hanya menjelaskan bahwa Politeknik Negeri Padang menyesuaikan diri dengan perkembangan dunia industri dan dunia usaha, namun tidak menjelaskan bagaimana mereka mampu bersaing pada era persaingan global.\n\nKlaim lainnya seperti \"sesuai dengan permintaan pasar\" juga tidak didukung oleh dokumen. Dokumen 2 hanya menjelaskan tentang kurikulum pendidikan yang disusun berbasis kompetensi, namun tidak menjelaskan bagaimana program-program mereka sesuai dengan permintaan pasar.\n\nDalam kesimpulan, jawaban Anda sebagian besar berdasar pada dokumen, namun masih ada beberapa klaim yang tidak didukung oleh dokumen. Oleh karena itu, skor yang diberikan adalah 0.8.",
-        "retrieval": "Dokumen 1 dan Dokumen 2 mengandung informasi yang relevan dengan pertanyaan, yaitu tentang sistem pendidikan yang diterapkan di Politeknik Negeri Padang. Dokumen 1 menjelaskan bahwa Politeknik Negeri Padang menerapkan sistem pendidikan vokasional dengan aplikatif dan menyesuaikan diri dengan perkembangan dunia industri dan usaha. Dokumen 2 juga menjelaskan tentang kurikulum berbasis kompetensi yang diterapkan di Politeknik Negeri Padang.\n\nNamun, Dokumen 1 tidak terlalu relevan karena hanya menjelaskan sejarah Politeknik Negeri Padang dan Dokumen 2 tidak mencukupi karena hanya menjelaskan kurikulum berbasis kompetensi tanpa menjelaskan lebih lanjut tentang sistem pendidikan yang diterapkan.\n\nDokumen 3 tidak relevan dengan pertanyaan, karena dokumen ini lebih berkaitan dengan perjanjian kinerja antara Direktur Politeknik Negeri Padang dengan Ditjen Vokasi.\n\nDokumen 4 tidak relevan dengan pertanyaan, karena dokumen ini hanya berisi informasi tentang lokasi kampus Politeknik Negeri Padang dan tidak memiliki informasi yang terkait dengan sistem pendidikan yang diterapkan di Politeknik Negeri Padang.\n\nDalam kesimpulan, Dokumen 1 dan Dokumen 2 mengandung informasi yang relevan dengan pertanyaan, namun Dokumen 3 dan Dokumen 4 tidak relevan. Oleh karena itu, skor yang diberikan adalah 0.8."
-      },
-      "metrics": {
-        "response_time": 43.19,
-        "retrieved_docs_count": 4,
-        "timestamp": "2025-07-01T18:05:58.761430"
-      }
-    },
-    {
-      "id": 2,
-      "question": "Apa saja mata kuliah yang terdapat dalam kurikulum pendidikan Politeknik Negeri Padang?",
-      "answer": "Mata kuliah yang terdapat dalam kurikulum pendidikan Politeknik Negeri Padang adalah:\n- Mata Kuliah Pengembangan Kepribadian (MPK)\n- Mata Kuliah dan Keimuan dan Keterampilan (MKK)\n- Mata Kuliah Berkarya (MKB)\n- Mata Kulah Berkehidupan Bermasyarakat (MBB)",
-      "ground_truth": "Kurikulum Pendidikan telah disusun berbasis kompetensi dengan kelompok mata kuliah sebagai berikut : - Mata Kuliah Pengembangan Kepribadian (MPK) - Mata Kuliah Keimuan dan Keterampilan (MKK) - Mata Kuliah Berkarya (MKB) - Mata Kuliah Berkehidupan Bermasyarakat (MBB)",
-      "scores": {
-        "correctness": 0.9,
-        "relevance": 0.9,
-        "groundedness": 1.0,
-        "retrieval": 0.35,
-        "overall": 0.815
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi memiliki kesamaan dengan jawaban referensi sebesar 90%. Kesamaan tersebut terlihat pada empat mata kuliah yang disebutkan, yaitu MPK, MKK, MKB, dan MBB. Namun, perlu diingat bahwa ada satu kesalahan kecil, yaitu penggunaan \"dan\" antara \"Keimuan\" dan \"Keterampilan\", sehingga menjadi \"Mata Kuliah Keimuan dan Keterampilan (MKK)\" bukan \"Mata Kuliah dan Keimuan dan Keterampilan\".",
-        "relevance": "Jawaban ini sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan yang diajukan tentang mata kuliah yang terdapat dalam kurikulum pendidikan Politeknik Negeri Padang. Informasi yang diberikan juga sesuai dengan konteks PNP, yaitu nama-nama mata kuliah yang terkait dengan pendidikan politeknik. Jawaban ini fokus dan tidak keluar topik, hanya memberikan informasi tentang mata kuliah yang terdapat dalam kurikulum PNP tanpa menambahkan informasi lain yang tidak relevan. Namun, perlu diingat bahwa jawaban ini tidak menjawab secara eksplisit pertanyaan tentang apakah mata kuliah tersebut sesuai dengan kebutuhan industri atau masyarakat, sehingga skornya tidak sempurna.",
-        "groundedness": "Jawaban tersebut sepenuhnya berdasar pada dokumen. Dokumen 1 menjelaskan bahwa kurikulum pendidikan Politeknik Negeri Padang telah disusun berbasis kompetensi dengan kelompok mata kuliah yang terdiri dari MPK, MKK, MKB, dan MBB. Jawaban tersebut tidak menambahkan informasi yang tidak ada di dokumen dan konsisten dengan fakta dalam dokumen.",
-        "retrieval": "Based on the evaluation criteria, I would give the following scores:\n\nDokumen 1: 0.7\nPenjelasan: Dokumen 1 contains some relevant information about the curriculum of Politeknik Negeri Padang, specifically mentioning four types of courses (MPK, MKK, MKB, and MBB). However, it does not directly answer the question about the types of courses offered in the curriculum. The document is somewhat relevant but lacks specific details.\n\nDokumen 2: 0.3\nPenjelasan: Dokumen 2 is an accreditation report that provides information on the program study at Politeknik Negeri Padang, but it does not contain any information about the types of courses offered in the curriculum. The document is not relevant to answering the question.\n\nDokumen 3: 0.1\nPenjelasan: Dokumen 3 contains general information about the campus location and contact details of Politeknik Negeri Padang, but it does not provide any information about the types of courses offered in the curriculum. The document is not relevant to answering the question.\n\nDokumen 4: 0.5\nPenjelasan: Dokumen 4 provides information on scholarships and financial assistance available to students at Politeknik Negeri Padang, but it does not directly answer the question about the types of courses offered in the curriculum. The document is somewhat relevant but lacks specific details.\n\nOverall, I would give an average score of 0.35 out of 1.0."
-      },
-      "metrics": {
-        "response_time": 15.7,
-        "retrieved_docs_count": 4,
-        "timestamp": "2025-07-01T18:06:49.951806"
-      }
-    },
-    {
-      "id": 3,
-      "question": "Bagaimana Politeknik Negeri Padang mendukung misi tridharma perguruan tinggi?",
-      "answer": "Politeknik Negeri Padang didukung oleh tenaga pendidik dan tenaga kependidikan yang profesional pada bidangnya. Jumlah dan kualifikasi staf tersebut berdasarkan keadaan Desember 2017 sebagai berikut :\n\n1. Tenaga Pendidik : S1 = 14 orang S2 = 256 S3 = 21 orang   Yang sedangmenempuh S3 = 7 orang   Yang sdang menempuh S2 = 5 orang\n\n2. Tenaga Kependidikan : SD = 5 orang, SMP = 4 orang, SLTA = 71 orang, D3 = 25 orang,   S1 = 54 orang S2 = 15 orang",
-      "ground_truth": "Politeknik Negeri Padang dalam menjalankan misi tridharma perguruan tinggi didukung oleh tenaga pendidik dan tenaga kependidikan yang profesional pada bidangnya. Jumlah dan kualifikasi staf tersebut berdasarkan keadaan Desember 2017 sebagai berikut : - Tenaga Pendidik : S1 = 14 orang, S2 = 256 orang, S3 = 21 orang (Yang sedang menempuh S3 = 7 orang, Yang sedang menempuh S2 = 5 orang) - Tenaga Kependidikan : SD = 5 orang, SMP = 4 orang, SLTA = 71 orang, D3 = 25 orang, S1 = 54 orang, S2 = 15 orang.",
-      "scores": {
-        "correctness": 0.9,
-        "relevance": 0.6,
-        "groundedness": 0.5,
-        "retrieval": 0.8,
-        "overall": 0.705
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi memiliki kesamaan dengan referensi sebesar 90%. Fakta dalam jawaban sesuai dengan referensi, yaitu jumlah dan kualifikasi staf Politeknik Negeri Padang pada bidangnya. Informasi yang diberikan juga akurat tentang PNP.\n\nNamun, terdapat beberapa ketidaksesuaian data yang kecil. Contohnya, dalam referensi tidak ada informasi tentang jumlah staf S1, S2, dan S3 untuk tenaga pendidik, sedangkan jawaban yang dievaluasi memberikan detail tersebut. Selain itu, tidak ada informasi tentang kualifikasi staf lainnya seperti D4 atau S3.\n\nDalam skor 0.9, saya berdasarkan pada kesamaan antara jawaban dengan referensi, serta akurasi informasi yang diberikan. Namun, saya juga mempertimbangkan ketidaksesuaian data yang kecil dan tidak signifikan.",
-        "relevance": "Jawaban tersebut tidak langsung menjawab pertanyaan yang diajukan, karena pertanyaan mengenai bagaimana PNP mendukung misi tridharma perguruan tinggi, sedangkan jawaban hanya memberikan informasi tentang jumlah dan kualifikasi tenaga pendidik dan kependidikan. Informasi tersebut tidak langsung terkait dengan konsep tridharma perguruan tinggi.\n\nNamun, jawaban tersebut masih memiliki relevansi dengan PNP karena memberikan gambaran tentang sumber daya manusia yang dimiliki oleh PNP. Oleh karena itu, skor 0.6 diberikan untuk jawaban tersebut.",
-        "groundedness": "Jawaban tersebut tidak sepenuhnya berdasar pada dokumen, karena:\n\n* Dokumen tidak menyebutkan tentang \"tenaga pendidik dan tenaga kependidikan yang profesional\" sebagai support Politeknik Negeri Padang.\n* Dokumen juga tidak memuat informasi tentang jumlah dan kualifikasi staf yang diperkenalkan dalam jawaban.\n\nNamun, jawaban tersebut masih memiliki beberapa unsur yang berdasar pada dokumen, seperti:\n\n* Dokumen 1 mengajak tenaga pendidik dan kependidikan untuk bersinergi demi tercapainya tujuan.\n* Dokumen 3 tidak menyebutkan tentang jumlah staf, tetapi menjelaskan kurikulum pendidikan yang telah disusun.\n\nKarena jawaban tersebut memiliki unsur-unsur yang berdasar pada dokumen, namun juga memiliki beberapa bagian yang tidak didukung oleh dokumen, maka skor yang diberikan adalah 0.5.",
-        "retrieval": "Dokumen 1 dan Dokumen 3 memberikan informasi yang relevan dengan pertanyaan, yaitu bagaimana Politeknik Negeri Padang mendukung misi tridharma perguruan tinggi. Dokumen 1 menjelaskan tentang komitmen dan pertanggungjawaban kepada Pemerintah dan Masyarakat, serta tujuan penyelenggaraan pendidikan di Politeknik Negeri Padang. Dokumen 3 memberikan informasi tentang kurikulum pendidikan yang disusun berbasis kompetensi, yang menunjukkan bahwa Politeknik Negeri Padang telah mempertahankan misi tridharma perguruan tinggi.\n\nNamun, Dokumen 2 dan Dokumen 4 tidak terlalu relevan dengan pertanyaan. Dokumen 2 hanya menjelaskan tentang sejarah Politeknik Negeri Padang, sedangkan Dokumen 4 memberikan informasi tentang beasiswa yang tersedia untuk mahasiswa.\n\nDalam penilaian kualitas pengambilan dokumen, saya mempertimbangkan apakah dokumen mengandung informasi yang dibutuhkan untuk menjawab pertanyaan, apakah ada informasi penting yang tidak terambil, dan apakah dokumen yang diambil sesuai dengan topik pertanyaan. Berdasarkan kriteria tersebut, saya memberikan skor 0.8 karena Dokumen 1 dan Dokumen 3 memberikan informasi yang relevan dan lengkap, namun Dokumen 2 dan Dokumen 4 tidak terlalu relevan dengan pertanyaan."
-      },
-      "metrics": {
-        "response_time": 36.49,
-        "retrieved_docs_count": 4,
-        "timestamp": "2025-07-01T18:08:05.436656"
-      }
-    },
-    {
-      "id": 4,
-      "question": "Bagaimana Politeknik Negeri Padang menyediakan akses internet bagi mahasiswa?",
-      "answer": "Politeknik Negeri Padang menyediakan akses internet bagi mahasiswa melalui Anjungan Internet Mandiri (AIM) yang dapat diakses secara gratis di titik-titik strategis kampus. Selain itu, Politeknik Negeri Padang juga memiliki kawasan hot spot area di sekitar kampus, sehingga mahasiswa dapat memanfaatkan internet secara bebas dengan menggunakan laptop/PC.",
-      "ground_truth": "Politeknik Negeri Padang telah memiliki Anjungan Internet Mandiri (AIM) yang dapat diakses oleh mahasiswa secara gratis, yang tersedia pada titik-titik strategis. Juga tersedia kawasan hot spot area di sekitar kampus sehingga mahasiswa dapat memanfaatkan internet dengan bebas menggunakan laptop/PC.",
-      "scores": {
-        "correctness": 1.0,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 0.8,
-        "overall": 0.86
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sepenuhnya sesuai dengan referensi. Fakta-fakta yang diberikan dalam jawaban, seperti adanya Anjungan Internet Mandiri (AIM) dan kawasan hot spot area di sekitar kampus, juga akurat tentang Politeknik Negeri Padang. Tidak ada kesalahan atau ketidaksesuaian data yang terlihat dalam jawaban.",
-        "relevance": "Jawaban ini sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan yang diajukan tentang bagaimana PNP menyediakan akses internet bagi mahasiswa. Informasi yang diberikan juga sesuai dengan konteks PNP, yaitu tentang Anjungan Internet Mandiri (AIM) dan kawasan hot spot area di sekitar kampus. Jawaban ini fokus dan tidak keluar topik, hanya memberikan informasi yang relevan dan berguna untuk menjawab pertanyaan. Namun, jawaban ini tidak sempurna karena tidak memberikan detail lebih lanjut tentang Anjungan Internet Mandiri (AIM) dan kawasan hot spot area, sehingga skor 0.8 diberikan.",
-        "groundedness": "Jawaban Anda sebagian besar berdasar pada dokumen, namun ada beberapa klaim yang tidak didukung oleh dokumen.\n\nPertama, jawaban Anda menyebutkan bahwa Politeknik Negeri Padang memiliki kawasan hot spot area di sekitar kampus. Namun, tidak ada informasi tentang kawasan hot spot area dalam dokumen 1 dan 2. Dokumen 3 hanya berbicara tentang kunjungan Wali Nagari Tanjung Bonai Aur ke PNP, tetapi tidak terkait dengan akses internet.\n\nKedua, jawaban Anda tidak menjelaskan apakah Anjungan Internet Mandiri (AIM) dapat diakses secara gratis di titik-titik strategis kampus. Dokumen 1 hanya berbicara tentang AIM sebagai sarana akses internet bagi mahasiswa Politeknik, tetapi tidak memberikan informasi tentang biaya akses.\n\nNamun, jawaban Anda sebagian besar berdasar pada dokumen, karena Anda mengutip informasi tentang AIM dan kampus Politeknik Negeri Padang. Oleh karena itu, skor yang diberikan adalah 0.8.",
-        "retrieval": "Dokumen 1 dan Dokumen 2 tidak langsung relevan dengan pertanyaan \"Bagaimana Politeknik Negeri Padang menyediakan akses internet bagi mahasiswa?\" Kedua dokumen tersebut lebih berfokus pada informasi tentang tenaga pendidik, kependidikan, dan beasiswa.\n\nDokumen 3 tidak langsung relevan dengan pertanyaan karena isi dokumen tersebut lebih berfokus pada kunjungan, pelatihan, dan penelitian yang tidak terkait dengan akses internet bagi mahasiswa.\n\nHanya Dokumen 4 yang memiliki informasi yang relevan dengan pertanyaan. Dokumen ini memberikan informasi tentang penerimaan mahasiswa baru, termasuk informasi tentang akses internet yang tersedia untuk mahasiswa. Namun, dokumen ini tidak lengkap karena hanya memberikan informasi tentang penerimaan mahasiswa baru dan tidak menjelaskan bagaimana Politeknik Negeri Padang menyediakan akses internet bagi mahasiswa.\n\nOleh karena itu, skor yang diberikan adalah 0.8, karena Dokumen 4 memiliki informasi yang relevan dengan pertanyaan, namun tidak lengkap dan tidak menjelaskan bagaimana Politeknik Negeri Padang menyediakan akses internet bagi mahasiswa."
-      },
-      "metrics": {
-        "response_time": 28.62,
-        "retrieved_docs_count": 4,
-        "timestamp": "2025-07-01T18:09:10.250498"
-      }
-    },
-    {
-      "id": 5,
-      "question": "Apa saja contoh kerjasama Politeknik Negeri Padang dengan industri?",
-      "answer": "Politeknik Negeri Padang menjalin kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya. Kerjasama yang dilakukan tidak hanya di Indonesia tapi juga dengan luar negeri baik dibidang industri maupun perguruan tinggi.",
-      "ground_truth": "PT. Siemens Indonesia, PT. Toyota Aichi Takaoua Japan, PT. PLN, PT. INTI, Futaba Rashi Siisha Kusho Japan, PT. Sintom, PT. Krakatau Steel, Komatssu Shinge Koumuten, PT. PAL Indonesia, PT. Hexindo, Taishurin Co. Ltd Fukuoaka Japan, PT. Texmaco Perkasa, PT. LEN Industri, PT. Toyota Astra Motor, PT. Indah Kiat, PT. Trakindo Utama, BTN.",
-      "scores": {
-        "correctness": 0.8,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 0.8,
-        "overall": 0.8
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sebagian benar, sebagian salah. PNP memang menjalin kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya, seperti terlihat dalam daftar nama-nama perusahaan yang disebutkan. Namun, informasi tentang kerjasama luar negeri tidak sesuai dengan referensi, karena tidak ada bukti bahwa PNP memiliki kerjasama dengan perusahaan-perusahaan Jepang seperti Futaba Rashi Siisha Kusho Japan, Taishurin Co. Ltd Fukuoaka Japan, dan Komatssu Shinge Koumuten.\n\nKesalahan lainnya adalah adanya nama-nama perusahaan yang tidak relevan dengan PNP, seperti PT. PAL Indonesia dan BTN, yang seharusnya tidak termasuk dalam daftar kerjasama PNP. Oleh karena itu, skor 0.8 diberikan karena jawaban sebagian benar namun juga memiliki kesalahan signifikan.",
-        "relevance": "Jawaban tersebut tidak menjawab langsung pertanyaan yang diajukan, karena pertanyaan mengharapkan contoh kerjasama PNP dengan industri, sedangkan jawaban memberikan informasi tentang berbagai jenis kerjasama yang dilakukan PNP, baik domestik maupun internasional. Meskipun demikian, jawaban tersebut masih relevan dan tepat sasaran karena memberikan gambaran umum tentang scope kerjasama PNP dengan industri.",
-        "groundedness": "Jawaban Anda sebagian besar berdasar pada dokumen, namun ada beberapa klaim yang tidak didukung oleh dokumen.\n\nKlaim \"Politeknik Negeri Padang menjalin kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya\" didukung oleh Dokumen 1. Namun, klaim \"Kerjasama yang dilakukan tidak hanya di Indonesia tapi juga dengan luar negeri baik dibidang industri maupun perguruan tinggi\" tidak didukung oleh dokumen. Dokumen tidak menyebutkan kerjasama dengan luar negeri.\n\nJawaban Anda juga tidak konsisten dengan fakta dalam Dokumen 3, yang menjelaskan bahwa Politeknik Negeri Padang hadir di tengah-tengah masyarakat dengan menerapkan sistem pendidikan yang konsisten pada jalur pendidikan vokasional. Jawaban Anda tidak menyebutkan hal ini.\n\nNamun, jawaban Anda sebagian besar berdasar pada dokumen dan memiliki beberapa klaim yang didukung oleh dokumen. Oleh karena itu, skor 0.8 diberikan.",
-        "retrieval": "Dokumen 1 dan Dokumen 3 tidak langsung menjawab pertanyaan, namun memberikan informasi tentang Politeknik Negeri Padang sebagai institusi pendidikan vokasional yang berfokus pada pengembangan tenaga kerja. Dokumen 2 tidak relevan dengan pertanyaan karena perjanjian kinerja antara Politeknik Negeri Padang dengan Menteri Riset Teknologi Dan Pendidikan Tinggi Tahun 2019 tidak menjawab pertanyaan tentang contoh kerjasama Politeknik Negeri Padang dengan industri.\n\nDokumen 4 sebagian menjawab pertanyaan, namun informasinya tidak lengkap dan tidak spesifik tentang contoh kerjasama Politeknik Negeri Padang dengan industri. Oleh karena itu, skor yang diberikan adalah 0.8, karena dokumen 1 dan Dokumen 3 memberikan informasi umum tentang Politeknik Negeri Padang, sementara Dokumen 4 sebagian menjawab pertanyaan namun tidak lengkap."
-      },
-      "metrics": {
-        "response_time": 16.66,
-        "retrieved_docs_count": 4,
-        "timestamp": "2025-07-01T18:10:05.339111"
-      }
-    },
-    {
-      "id": 6,
-      "question": "Bagaimana Politeknik Negeri Padang membantu mahasiswa dalam bidang prestasi dan ekonomi?",
-      "answer": "Politeknik Negeri Padang menyediakan bantuan untuk sekitar 800 orang mahasiswa setiap tahunnya. Bantuan ini diberikan kepada mahasiswa yang berprestasi dalam bidang akademik dan prestasi lainya, serta mahasiswa kurang mampu. Beasiswa yang diterima mahasiswa Politeknik Negeri Padang antara lain: Beasiswa Peningkatan Prestasi Akademik (PPA), Beasiswa Kerja Mahasiswa (BKM), Beasiswa Bantuan Belajar Mahasiswa (BBM), Beasiswa TPSDP (Technological and Professional Skill Development Sector Project), Beasiswa Kredit Bantuan Belajar Mahasiswa (KBBM), Beasiswa Depertemen Hankam (ABRI), Beasiswa PT. Toyota Astra, Beasiswa ORBIT (ICMI), Beasiswa Supersemar.",
-      "ground_truth": "Tersedia bantuan untuk sekitar 800 mahasiswa setiap tahunnya. Beasiswa yang diterima antara lain: - Beasiswa Peningkatan Prestasi Akademik (PPA), - Beasiswa Kerja Mahasiswa (BKM), - Beasiswa Bantuan Belajar Mahasiswa (BBM), - Beasiswa TPSDP, - Beasiswa Kredit Bantuan Belajar Mahasiswa (KBBM), - Beasiswa Depertemen Hankam (ABRI), - Beasiswa PT. Toyota Astra, - Beasiswa ORBIT (ICMI), - Beasiswa Supersemar.",
-      "scores": {
-        "correctness": 0.9,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 1.0,
-        "overall": 0.87
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi memiliki kesamaan dengan referensi sebesar 90%. Keduanya menyebutkan bahwa Politeknik Negeri Padang memberikan bantuan untuk sekitar 800 orang mahasiswa setiap tahunnya, serta beberapa jenis beasiswa yang diterima oleh mahasiswa. Namun, terdapat beberapa perbedaan kecil antara keduanya.\n\nPertama, referensi tidak menyebutkan bahwa bantuan tersebut diberikan kepada mahasiswa yang berprestasi dalam bidang akademik dan prestasi lainnya, serta mahasiswa kurang mampu. Kedua, referensi tidak menjelaskan tentang Beasiswa TPSDP (Technological and Professional Skill Development Sector Project).\n\nKesalahan atau ketidaksesuaian data terdapat pada penulisan \"Depertemen Hankam\" yang seharusnya ditulis sebagai \"Departemen Hankam\". Selain itu, jawaban yang dievaluasi tidak memiliki kesalahan signifikan lainnya.\n\nDalam skala 0.0-1.0, saya memberikan skor 0.9 karena jawaban yang dievaluasi memiliki kesamaan dengan referensi sebesar 90%, namun terdapat beberapa perbedaan kecil dan kesalahan kecil dalam penulisan.",
-        "relevance": "Jawaban ini relevan dan tepat sasaran karena menjawab langsung pertanyaan tentang bagaimana PNP membantu mahasiswa dalam bidang prestasi dan ekonomi. Informasi yang diberikan juga sesuai dengan konteks PNP, yaitu menyediakan bantuan untuk sekitar 800 orang mahasiswa setiap tahunnya dan berbagai jenis beasiswa yang diterima oleh mahasiswa. Jawaban ini fokus pada bagaimana PNP membantu mahasiswa, tidak keluar topik, dan memberikan informasi yang relevan dan tepat sasaran. Namun, jawaban ini tidak sepenuhnya menjawab pertanyaan karena tidak menjelaskan secara rinci bagaimana bantuan tersebut membantu mahasiswa dalam meningkatkan prestasi dan ekonomi.",
-        "groundedness": "Jawaban Anda sebagian besar berdasar pada dokumen, namun terdapat beberapa klaim yang tidak didukung oleh dokumen.\n\n1. Klaim bahwa Politeknik Negeri Padang menyediakan bantuan untuk sekitar 800 orang mahasiswa setiap tahunnya didukung oleh Dokumen 1.\n2. Beasiswa yang diterima mahasiswa Politeknik Negeri Padang, seperti PPA, BKM, BBM, dan TPSDP, juga didukung oleh Dokumen 1.\n\nNamun, terdapat beberapa klaim yang tidak didukung oleh dokumen:\n\n1. Beasiswa Kredit Bantuan Belajar Mahasiswa (KBBM), Beasiswa Depertemen Hankam (ABRI), Beasiswa PT. Toyota Astra, Beasiswa ORBIT (ICMI), dan Beasiswa Supersemar tidak tercantum dalam Dokumen 1.\n2. Tidak ada informasi tentang jumlah bantuan yang diberikan Politeknik Negeri Padang dalam Dokumen 1.\n\nKarena jawaban Anda sebagian besar berdasar pada dokumen, namun juga mengandung beberapa klaim yang tidak didukung oleh dokumen, maka skor yang diberikan adalah 0.8.",
-        "retrieval": "Based on the documents provided, I evaluate their relevance and completeness in answering the question \"Bagaimana Politeknik Negeri Padang membantu mahasiswa dalam bidang prestasi dan ekonomi?\"\n\nDokumen 1: Skor = 0.8\nPenjelasan: Dokumen 1 provides information on the types of scholarships available to students at Politeknik Negeri Padang, which is relevant to the question about how the institution helps students in terms of academic performance and economy. However, it does not provide a comprehensive overview of the institution's efforts to support students.\n\nDokumen 2: Skor = 0.6\nPenjelasan: Dokumen 2 discusses the commitment of Politeknik Negeri Padang to its stakeholders, including students, but does not specifically address how the institution helps students in terms of academic performance and economy.\n\nDokumen 3: Skor = 0.4\nPenjelasan: Dokumen 3 provides a brief overview of the history of Politeknik Negeri Padang, but does not contain information relevant to the question about how the institution helps students in terms of academic performance and economy.\n\nDokumen 4: Skor = 1.0\nPenjelasan: Dokumen 4 is a survey that directly addresses the question about how Politeknik Negeri Padang helps students, specifically asking about student satisfaction with the institution's services. This document provides valuable information on the institution's efforts to support students and is therefore highly relevant to the question.\n\nOverall, I would give an average score of 0.7 out of 1.0, indicating that the documents are generally relevant but could be more comprehensive in their coverage of the topic."
-      },
-      "metrics": {
-        "response_time": 33.51,
-        "retrieved_docs_count": 4,
-        "timestamp": "2025-07-01T18:11:22.876673"
-      }
-    },
-    {
-      "id": 7,
-      "question": "Bagaimana status akreditasi program studi di Politeknik Negeri Padang?",
-      "answer": "Politeknik Negeri Padang memiliki status akreditasi Baik Sekali.",
-      "ground_truth": "Program studi di Politeknik Negeri Padang memiliki status akreditasi yang bervariasi seperti Baik, Baik Sekali, hingga Unggul. Contohnya, Teknik Mesin (D3) terakreditasi Baik Sekali hingga 2029, Teknik Manufaktur (D4) terakreditasi Unggul hingga 2028, dan Teknik Sipil (D3) terakreditasi A hingga 2026. Setiap program memiliki SK dan sertifikat akreditasi resmi.",
-      "scores": {
-        "correctness": 0.8,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 0.8,
-        "overall": 0.8
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sebagian benar, sebagian salah. Fakta bahwa Politeknik Negeri Padang memiliki status akreditasi Baik Sekali adalah benar, karena referensi juga menyebutkan beberapa program studi memiliki status akreditasi Baik Sekali. Namun, informasi yang diberikan tidak akurat dan lengkap, karena referensi juga mencatat bahwa beberapa program studi memiliki status akreditasi yang berbeda (Baik, Baik Sekali, atau Unggul). Oleh karena itu, skor 0.8 diberikan karena jawaban sebagian benar namun tidak sepenuhnya akurat dan lengkap.",
-        "relevance": "Jawaban tersebut sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan tentang status akreditasi program studi di Politeknik Negeri Padang. Informasi yang diberikan juga sesuai dengan konteks PNP, yaitu mengenai status akreditasi institusi. Jawaban tersebut fokus dan tidak keluar topik, hanya menjawab pertanyaan tanpa menambahkan informasi yang tidak relevan. Namun, jawaban tersebut tidak sempurna karena tidak memberikan detail lebih lanjut tentang apa yang dimaksud dengan \"Baik Sekali\" dalam konteks akreditasi program studi PNP.",
-        "groundedness": "Jawaban \"Politeknik Negeri Padang memiliki status akreditasi Baik Sekali\" didukung oleh Dokumen 1, yang berisi informasi tentang akreditasi Program Studi di Politeknik Negeri Padang dengan peringkat Baik Sekali. Namun, tidak ada dokumen lain yang secara eksplisit menyatakan bahwa Politeknik Negeri Padang memiliki status akreditasi Baik Sekali secara umum.\n\nDokumen 2 hanya berisi informasi tentang akreditasi Program Studi di Politeknik Negeri Padang untuk periode tertentu (15 Desember 2020 s/d 15 Desember 2025), tidak ada informasi yang menunjukkan bahwa status akreditasi tersebut berlaku secara umum.\n\nDokumen 3 dan Dokumen 4 tidak memiliki relevansi dengan status akreditasi Politeknik Negeri Padang.\n\nKarena jawaban hanya didukung oleh satu dokumen, dan tidak ada dokumen lain yang mendukung klaim tersebut, maka skor saya adalah 0.8.",
-        "retrieval": "Dokumen 1 dan Dokumen 2 mengandung informasi yang relevan untuk menjawab pertanyaan tentang status akreditasi program studi di Politeknik Negeri Padang. Dokumen 1 menampilkan tabel data yang memperlihatkan peringkat akreditasi BAIK SEKALI dan masa berlaku dari 15 Desember 2020 hingga 15 Desember 2025. Dokumen 2 menampilkan informasi lebih rinci tentang akreditasi, termasuk keputusan Badan Akreditasi Nasional Perguruan Tinggi Nomor : 1082/SK/BAN- PT/Akred/PT/XII/2020.\n\nNamun, dokumen lainnya tidak terlalu relevan untuk menjawab pertanyaan. Dokumen 3 dan Dokumen 4 mengandung informasi tentang penerimaan mahasiswa baru dan sertifikat akreditasi, tetapi tidak langsung terkait dengan status akreditasi program studi.\n\nDalam penilaian ini, saya memberikan skor 0.8 karena dokumen 1 dan Dokumen 2 mengandung informasi yang relevan dan lengkap untuk menjawab pertanyaan, namun dokumen lainnya tidak terlalu relevan."
-      },
-      "metrics": {
-        "response_time": 10.09,
-        "retrieved_docs_count": 4,
-        "timestamp": "2025-07-01T18:12:09.535238"
-      }
-    },
-    {
-      "id": 8,
-      "question": "Bagaimana proses penerimaan mahasiswa baru di Politeknik Negeri Padang?",
-      "answer": "Proses penerimaan mahasiswa baru di Politeknik Negeri Padang dapat diakses melalui situs resmi mereka di http://penerimaan.pnp.ac.id/. Di situs tersebut, terdapat informasi lengkap mengenai persyaratan, jadwal, dan tahapan seleksi penerimaan mahasiswa baru. Selain itu, tersedia juga daftar program studi yang tersedia dan brosur yang berisi informasi lebih lanjut tentang Politeknik Negeri Padang.",
-      "ground_truth": "Penerimaan mahasiswa baru di Politeknik Negeri Padang dilakukan melalui berbagai jalur seleksi seperti SNBT, SNMPN, dan kelas kerjasama. Tersedia brosur dan informasi detail melalui situs http://penerimaan.pnp.ac.id. Program studi Teknik Alat Berat misalnya memiliki kelas kerjasama dengan PT Trakindo Utama. Jadwal seleksi dan pengumuman dapat diakses secara daring.",
-      "scores": {
-        "correctness": 0.9,
-        "relevance": 0.9,
-        "groundedness": 0.8,
-        "retrieval": 0.5,
-        "overall": 0.795
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sebagian besar sesuai dengan referensi, namun ada beberapa perbedaan kecil. Fakta bahwa proses penerimaan mahasiswa baru di Politeknik Negeri Padang dapat diakses melalui situs resmi mereka di http://penerimaan.pnp.ac.id/ dan terdapat informasi lengkap mengenai persyaratan, jadwal, dan tahapan seleksi penerimaan mahasiswa baru sesuai dengan referensi. Informasi tentang daftar program studi yang tersedia dan brosur yang berisi informasi lebih lanjut tentang Politeknik Negeri Padang juga akurat. Namun, jawaban yang dievaluasi tidak menjelaskan secara spesifik jalur seleksi seperti SNBT, SNMPN, dan kelas kerjasama, sehingga skor 0.9 diberikan.",
-        "relevance": "Jawaban ini sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan tentang proses penerimaan mahasiswa baru di Politeknik Negeri Padang. Informasi yang diberikan juga sesuai dengan konteks PNP, yaitu mengenai situs resmi PNP untuk akses informasi penerimaan mahasiswa baru, persyaratan, jadwal, dan tahapan seleksi. Jawaban ini fokus dan tidak keluar topik, hanya memberikan informasi yang relevan dan berguna bagi orang yang ingin mengetahui proses penerimaan mahasiswa baru di PNP.",
-        "groundedness": "Jawaban Anda sebagian besar berdasar pada dokumen, tetapi ada beberapa klaim yang tidak didukung oleh dokumen.\n\nPertama, Anda mengklaim bahwa proses penerimaan mahasiswa baru dapat diakses melalui situs resmi Politeknik Negeri Padang di http://penerimaan.pnp.ac.id/. Klaim ini didukung oleh Dokumen 1, yang menjelaskan bahwa informasi penerimaan mahasiswa baru dapat diunduh dan daftar program studi serta brosur tersedia.\n\nKedua, Anda juga mengklaim bahwa terdapat informasi lengkap mengenai persyaratan, jadwal, dan tahapan seleksi penerimaan mahasiswa baru. Klaim ini didukung oleh Dokumen 1, yang menjelaskan bahwa informasi tersebut dapat diunduh.\n\nNamun, klaim Anda tentang tersedia daftar program studi dan brosur tidak didukung oleh Dokumen 2 dan Dokumen 3, karena dokumen-dokumen tersebut tidak berisi informasi tersebut. Oleh karena itu, skor saya adalah 0.8, karena jawaban Anda sebagian besar berdasar pada dokumen, tetapi ada beberapa klaim yang tidak didukung oleh dokumen.",
-        "retrieval": "Based on the evaluation criteria, I would give the following scores:\n\nDokumen 1: 0.8\nPenjelasan: Dokumen 1 mengandung informasi yang relevan untuk menjawab pertanyaan tentang proses penerimaan mahasiswa baru di Politeknik Negeri Padang. Informasi seperti tanggal, URL, dan link ke informasi penerimaan mahasiswa baru, program studi, dan brosur penerimaan mahasiswa PNP Tahun Akademik 2025/2026 sangat relevan untuk menjawab pertanyaan. Namun, dokumen ini tidak lengkap karena tidak mengandung informasi tentang proses penerimaan mahasiswa baru secara detail.\n\nDokumen 2: 0.4\nPenjelasan: Dokumen 2 mengandung informasi yang kurang relevan untuk menjawab pertanyaan tentang proses penerimaan mahasiswa baru di Politeknik Negeri Padang. Informasi tentang beasiswa yang tersedia bagi mahasiswa PNP tidak terkait dengan proses penerimaan mahasiswa baru.\n\nDokumen 3: 0.2\nPenjelasan: Dokumen 3 mengandung informasi yang sangat kurang relevan untuk menjawab pertanyaan tentang proses penerimaan mahasiswa baru di Politeknik Negeri Padang. Survey kepuasan masyarakat tidak terkait dengan proses penerimaan mahasiswa baru.\n\nDokumen 4: 0.6\nPenjelasan: Dokumen 4 mengandung informasi yang relevan untuk menjawab pertanyaan tentang proses penerimaan mahasiswa baru di Politeknik Negeri Padang. Informasi tentang tenaga pendidik dan kependidikan, serta Anjungan Internet Mandiri (AIM) dan kawasan hot spot area disekitar kampus sangat relevan untuk menjawab pertanyaan. Namun, dokumen ini tidak lengkap karena tidak mengandung informasi tentang proses penerimaan mahasiswa baru secara detail.\n\nSkor rata-rata: 0.5"
-      },
-      "metrics": {
-        "response_time": 29.9,
-        "retrieved_docs_count": 4,
-        "timestamp": "2025-07-01T18:13:21.266338"
-      }
-    },
-    {
-      "id": 9,
-      "question": "Apa bentuk kerjasama yang dilakukan Politeknik Negeri Padang?",
-      "answer": "Politeknik Negeri Padang menjalin kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya. Kerjasama yang dilakukan tidak hanya di Indonesia tapi juga dengan luar negeri baik dibidang industri maupun perguruan tinggi.",
-      "ground_truth": "Politeknik Negeri Padang menjalin kerjasama dengan industri, pemerintah, BUMN, dan asosiasi profesi baik dalam negeri maupun luar negeri. Bentuk kerjasama mencakup rekrutmen, prakerin (praktik kerja industri), kunjungan industri, bimbingan karir, serta pembuatan MoU. Tujuannya untuk menjaga mutu lulusan dan penyaluran SDM.",
-      "scores": {
-        "correctness": 0.9,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 0.8,
-        "overall": 0.83
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi memiliki kesamaan dengan jawaban referensi dalam beberapa hal, seperti menjalin kerjasama dengan industri, pemerintah, BUMN, dan asosiasi profesi baik dalam negeri maupun luar negeri. Namun, terdapat sedikit perbedaan dalam penggunaan kata \"stake holder\" yang tidak ditemukan dalam jawaban referensi. Selain itu, informasi yang diberikan juga akurat tentang PNP dan tidak ada kesalahan atau ketidaksesuaian data. Oleh karena itu, skor 0.9 diberikan untuk jawaban yang dievaluasi.",
-        "relevance": "Jawaban tersebut menjawab langsung pertanyaan yang diajukan, yaitu bentuk kerjasama yang dilakukan Politeknik Negeri Padang. Informasi yang diberikan juga sesuai dengan konteks PNP sebagai politeknik negeri yang berfokus pada kerjasama dengan industri dan lembaga lainnya. Namun, jawaban tersebut tidak sepenuhnya fokus dan keluar topik sedikit karena menjelaskan kerjasama luar negeri, yang tidak langsung terkait dengan pertanyaan asli.",
-        "groundedness": "Jawaban Anda sebagian besar berdasar pada dokumen, namun terdapat beberapa klaim yang tidak didukung oleh dokumen.\n\nKlaim \"Politeknik Negeri Padang menjalin kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya\" didukung oleh Dokumen 2 yang menyatakan bahwa Politeknik Negeri Padang telah menjalin berbagai kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya.\n\nNamun, klaim \"Kerjasama yang dilakukan tidak hanya di Indonesia tapi juga dengan luar negeri baik dibidang industri maupun perguruan tinggi\" tidak didukung oleh dokumen. Dokumen 2 hanya menyatakan bahwa Politeknik Negeri Padang telah menjalin berbagai kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya di Indonesia, tidak ada informasi tentang kerjasama dengan luar negeri.\n\nKonsistensi jawaban dengan fakta dalam dokumen juga perlu dipertimbangkan. Jawaban Anda sebagian besar konsisten dengan fakta dalam Dokumen 2, namun klaim tentang kerjasama dengan luar negeri tidak didukung oleh dokumen.\n\nDalam penilaian skor, saya memberikan nilai 0.8 karena jawaban Anda sebagian besar berdasar pada dokumen, namun terdapat beberapa klaim yang tidak didukung oleh dokumen.",
-        "retrieval": "Dokumen 1 dan Dokumen 4 tidak langsung menjawab pertanyaan tentang bentuk kerjasama yang dilakukan Politeknik Negeri Padang. Namun, Dokumen 2 dan Dokumen 3 memberikan informasi yang relevan.\n\nDokumen 2 mengatakan bahwa saat ini Politeknik Negeri Padang telah menjalin berbagai kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya. Informasi ini sangat relevan untuk menjawab pertanyaan.\n\nDokumen 3 adalah Perjanjian Kinerja Politeknik Negeri Padang dengan Menteri Riset Teknologi Dan Pendidikan Tinggi, yang menunjukkan bahwa Politeknik Negeri Padang telah berkomitmen untuk meningkatkan kualitas pendidikan dan pengembangan. Informasi ini juga relevan untuk menjawab pertanyaan.\n\nNamun, Dokumen 1 dan Dokumen 4 tidak terlalu relevan untuk menjawab pertanyaan. Oleh karena itu, skor yang diberikan adalah 0.8, karena dokumen yang diambil sebagian besar relevan dan lengkap."
-      },
-      "metrics": {
-        "response_time": 17.27,
-        "retrieved_docs_count": 4,
-        "timestamp": "2025-07-01T18:14:18.331306"
-      }
-    },
-    {
-      "id": 10,
-      "question": "Siapa saja pimpinan di Politeknik Negeri Padang saat ini?",
-      "answer": "Saya tidak memiliki informasi tentang pimpinan Politeknik Negeri Padang saat ini.",
-      "ground_truth": "Direktur Politeknik Negeri Padang adalah Dr. Ir. Surfa Yondri, S.T., S.ST., M.Kom. Wakil Direktur Bidang Akademik adalah Ir. Revalin Herdianto, ST., M.Sc., Ph.D. Pimpinan lainnya antara lain Nasrullah, ST., M.T., dan Sarmiadi, S.E., M.M. yang memiliki pengalaman panjang dalam jabatan struktural di kampus.",
-      "scores": {
-        "correctness": 0.5,
-        "relevance": 0.5,
-        "groundedness": 0.5,
-        "retrieval": 0.8,
-        "overall": 0.56
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi tidak memiliki informasi tentang pimpinan Politeknik Negeri Padang saat ini, sehingga tidak sesuai dengan referensi yang memberikan nama-nama pimpinan PNP. Namun, jawaban tersebut juga tidak salah sepenuhnya karena tidak menyinggung atau mengklaim bahwa PNP tidak memiliki pimpinan. Oleh karena itu, skor 0.5 diberikan sebagai kompromi antara kebenaran dan ketidakbenaran.",
-        "relevance": "Jawaban tidak menjawab langsung pertanyaan yang diajukan, namun informasi yang diberikan masih relevan dengan konteks PNP. Jawaban \"Saya tidak memiliki informasi tentang pimpinan Politeknik Negeri Padang saat ini\" tidak keluar topik dan fokus pada pertanyaan. Meskipun jawaban tidak memberikan informasi yang spesifik, namun masih menunjukkan bahwa jawabannya tidak memiliki informasi yang relevan dengan pertanyaan.",
-        "groundedness": "Jawaban tidak sepenuhnya berdasar pada dokumen, karena tidak ada informasi tentang pimpinan Politeknik Negeri Padang saat ini di dalam dokumen. Dokumen hanya menyajikan informasi umum tentang PNP, seperti tanggal didirikan, jurusan dan program studi yang tersedia, jumlah dosen, dan alamat kampus. Informasi tentang pimpinan tidak tercantum di dalam dokumen. Oleh karena itu, jawaban tidak berdasar pada dokumen secara keseluruhan, tetapi hanya sebagian kecil.",
-        "retrieval": "Dokumen yang diambil (Dokumen 1, Dokumen 2, Dokumen 3, dan Dokumen 4) mengandung informasi yang relevan untuk menjawab pertanyaan \"Siapa saja pimpinan di Politeknik Negeri Padang saat ini?\" Namun, tidak ada informasi yang langsung menjawab pertanyaan tersebut.\n\nDokumen-dokumen tersebut lebih banyak membahas tentang sejarah Politeknik Negeri Padang, jumlah jurusan dan program studi, serta lokasi kampus. Informasi tentang pimpinan Politeknik Negeri Padang tidak tercantum dalam dokumen-dokumen tersebut.\n\nNamun, karena informasi yang terkandung dalam dokumen-dokumen tersebut dapat membantu mengetahui lebih lanjut tentang Politeknik Negeri Padang, maka skor diberikan 0.8."
-      },
-      "metrics": {
-        "response_time": 6.59,
-        "retrieved_docs_count": 4,
-        "timestamp": "2025-07-01T18:14:55.146687"
-      }
-    },
-    {
-      "id": 11,
-      "question": "Bagaimana sejarah singkat berdirinya Politeknik Negeri Padang?",
-      "answer": "Politeknik Negeri Padang didirikan pada tahun 1987. Pada awal berdirinya dikenal dengan nama Politeknik Engineering Universitas Andalas, yang hanya menyelenggarakan Program Studi Bidang Rekayasa/keteknikan. Dengan Program Studi Teknik Mesin, Sipil, Listrik dan Elektronika Komunikasi. Tahun 1997 diganti nama menjadi Politeknik Universitas Andalas, dengan pertimbangan karena dibuka Program Studi Bidang Tataniaga (Akuntansi, Administrasi Bisnis). Dalam rangka memenuhi tuntutan dunia kerja maka Politeknik membuka program studi baru, sampai saat ini Politeknik telah mempunyai 32 Program Studi (20 program Diploma 3, 11 program Diploma 4 dan 1 program Magister Terapan). Dalam rangka menuju Kemandiriannya maka Politeknik saat itu mempunyai dua nama yaitu Politeknik Universitas Andalas dan Politeknik Negeri Padang.",
-      "ground_truth": "Politeknik Negeri Padang didirikan pada tahun 1987 sebagai salah satu dari 17 politeknik pertama di Indonesia. Awalnya bernama Politeknik Engineering Universitas Andalas. Pada 1997 menjadi Politeknik Universitas Andalas lalu berubah menjadi Politeknik Negeri Padang. Saat ini memiliki 32 program studi dari jenjang D3 hingga Magister Terapan.",
-      "scores": {
-        "correctness": 0.8,
-        "relevance": 0.9,
-        "groundedness": 0.2,
-        "retrieval": 0.8,
-        "overall": 0.675
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi memiliki beberapa kesamaan dengan jawaban referensi, seperti:\n\n* Politeknik Negeri Padang didirikan pada tahun 1987 (sama dengan jawaban referensi)\n* Awalnya bernama Politeknik Engineering Universitas Andalas (sama dengan jawaban referensi)\n* Pada 1997 diganti nama menjadi Politeknik Universitas Andalas (sama dengan jawaban referensi)\n\nNamun, jawaban yang dievaluasi juga memiliki beberapa kesalahan atau ketidaksesuaian data, seperti:\n\n* Jawaban referensi tidak mengatakan bahwa Politeknik Engineering Universitas Andalas hanya menyelenggarakan Program Studi Bidang Rekayasa/keteknikan. Sebaliknya, jawaban yang dievaluasi menambahkan informasi yang tidak ada dalam jawaban referensi.\n* Jawaban referensi tidak mengatakan bahwa Politeknik membuka program studi baru hingga memiliki 32 Program Studi. Sebaliknya, jawaban yang dievaluasi menambahkan informasi yang tidak ada dalam jawaban referensi.\n\nDalam keseluruhan, jawaban yang dievaluasi memiliki beberapa kesamaan dengan jawaban referensi, tetapi juga memiliki beberapa kesalahan atau ketidaksesuaian data. Oleh karena itu, skor yang diberikan adalah 0.8.",
-        "relevance": "Jawaban ini sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan tentang sejarah singkat berdirinya Politeknik Negeri Padang. Informasi yang diberikan juga sesuai dengan konteks PNP, termasuk informasi tentang perubahan nama institusi dari Politeknik Engineering Universitas Andalas menjadi Politeknik Universitas Andalas dan kemudian menjadi Politeknik Negeri Padang. Jawaban ini fokus dan tidak keluar topik, hanya memberikan informasi yang relevan dan penting tentang sejarah berdirinya PNP.",
-        "groundedness": "Jawaban tidak sepenuhnya berdasar pada dokumen, namun ada beberapa informasi yang didukung oleh dokumen.\n\n* \"Politeknik Negeri Padang didirikan pada tahun 1987\" - Didukung oleh Dokumen 1 dan 2.\n* \"Pada awal berdirinya dikenal dengan nama Politeknik Engineering Universitas Andalas\" - Tidak ada informasi tentang nama asli Politeknik Negeri Padang dalam dokumen.\n* \"Dengan Program Studi Teknik Mesin, Sipil, Listrik dan Elektronika Komunikasi\" - Tidak ada informasi tentang program studi awal Politeknik Negeri Padang dalam dokumen.\n* \"Tahun 1997 diganti nama menjadi Politeknik Universitas Andalas\" - Tidak ada informasi tentang perubahan nama Politeknik Negeri Padang dalam dokumen.\n* \"Dalam rangka memenuhi tuntutan dunia kerja maka Politeknik membuka program studi baru, sampai saat ini Politeknik telah mempunyai 32 Program Studi\" - Tidak ada informasi tentang jumlah program studi Politeknik Negeri Padang dalam dokumen.\n* \"Dalam rangka menuju Kemandiriannya maka Politeknik saat itu mempunyai dua nama yaitu Politeknik Universitas Andalas dan Politeknik Negeri Padang\" - Tidak ada informasi tentang dua nama Politeknik Negeri Padang dalam dokumen.\n\nDalam keseluruhan, jawaban tidak konsisten dengan fakta dalam dokumen dan terdapat beberapa informasi yang dibuat-buat. Oleh karena itu, skor 0.2 diberikan.",
-        "retrieval": "Dokumen 1 dan Dokumen 2-4 mengandung informasi yang relevan untuk menjawab pertanyaan \"Bagaimana sejarah singkat berdirinya Politeknik Negeri Padang?\" Keduanya memuat informasi tentang tahun berdirinya Politeknik Negeri Padang, yaitu 1987. Dokumen 1 juga memberikan penjelasan tentang tujuan berdirinya Politeknik sebagai salah satu dari 17 Politeknik pertama di Indonesia.\n\nNamun, tidak ada informasi penting yang terambil dalam dokumen-dokumen tersebut. Informasi yang diperoleh hanya sebatas tanggal berdiri dan tujuan berdiri, tanpa memberikan detail lebih lanjut tentang sejarah singkat Politeknik Negeri Padang.\n\nDalam hal ini, skor 0.8 diberikan karena dokumen-dokumen tersebut mengandung informasi yang relevan namun tidak lengkap dan tidak terinci."
-      },
-      "metrics": {
-        "response_time": 34.33,
-        "retrieved_docs_count": 4,
-        "timestamp": "2025-07-01T18:16:12.953488"
-      }
-    }
-  ]
-}

hasil_evaluasi/k4/pnp_rag_evaluation_results_intermediate_10of11.json

@@ -1,302 +0,0 @@
-{
-  "metadata": {
-    "evaluation_system": "PNP RAG Evaluator",
-    "dataset": "Politeknik Negeri Padang Q&A",
-    "model": "fauziisyrinapridal/sahabat-ai-v1:latest",
-    "evaluator": "llama3",
-    "timestamp": "2025-07-01T18:14:55.147386"
-  },
-  "summary": {
-    "total_evaluations": 10,
-    "correctness": {
-      "mean": 0.8400000000000001,
-      "median": 0.9,
-      "std": 0.1349897115421106,
-      "min": 0.5,
-      "max": 1.0
-    },
-    "relevance": {
-      "mean": 0.77,
-      "median": 0.8,
-      "std": 0.12516655570345728,
-      "min": 0.5,
-      "max": 0.9
-    },
-    "groundedness": {
-      "mean": 0.76,
-      "median": 0.8,
-      "std": 0.1505545305418162,
-      "min": 0.5,
-      "max": 1.0
-    },
-    "retrieval": {
-      "mean": 0.745,
-      "median": 0.8,
-      "std": 0.1832575600987128,
-      "min": 0.35,
-      "max": 1.0
-    },
-    "overall_performance": {
-      "mean": 0.7835000000000001,
-      "median": 0.8,
-      "std": 0.09040188051141414,
-      "min": 0.56,
-      "max": 0.8700000000000001
-    },
-    "performance_metrics": {
-      "avg_response_time": 23.802874946594237,
-      "median_response_time": 22.944796323776245,
-      "total_response_time": 238.02874946594238,
-      "fastest_response": 6.592749118804932,
-      "slowest_response": 43.192989110946655
-    },
-    "score_distribution": {
-      "excellent_count": 7,
-      "good_count": 2,
-      "fair_count": 1,
-      "poor_count": 0
-    }
-  },
-  "detailed_results": [
-    {
-      "id": 1,
-      "question": "Bagaimana sistem pendidikan yang diterapkan di Politeknik Negeri Padang?",
-      "answer": "Politeknik Negeri Padang menerapkan sistem pendidikan yang konsisten pada jalur pendidikan vokasional dengan menerapkan sistem pembelajaran yang aplikatif serta secara terus menerus menyesuaikan diri dengan perkembangan dunia industri dan dunia usaha yang ada untuk menghasilkan tenaga kerja yang berkompeten sesuai dengan permintaan pasar dan mampu bersaing pada era persaingan global.",
-      "ground_truth": "Sistem pendidikan yang diterapkan di Politeknik adalah dengan menggabungkan pendidikan teoritis, praktek (terapan) di Laboratorium dan praktek industry. Pelaksanaan praktik di industri dilakukan oleh mahasiswa selama satu semester untuk menambah wawasan, pengalaman dan pengembangan ilmu guna membentuk tenaga ahli yang terampil dan profesional.",
-      "scores": {
-        "correctness": 0.8,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 0.8,
-        "overall": 0.8
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sebagian besar benar, tetapi tidak sepenuhnya benar. Fakta bahwa Politeknik Negeri Padang menerapkan sistem pendidikan vokasional dan aplikatif sesuai dengan referensi. Informasi tentang PNP juga akurat, seperti pelaksanaan praktik di industri oleh mahasiswa.\n\nNamun, jawaban yang dievaluasi tidak sepenuhnya benar karena tidak menjelaskan secara spesifik bagaimana sistem pendidikan teoritis dan praktek (terapan) di Laboratorium diterapkan. Selain itu, jawaban juga tidak menjelaskan secara detail bagaimana PNP menyesuaikan diri dengan perkembangan dunia industri dan dunia usaha.\n\nDalam skala 0-1, saya memberikan skor 0.8 karena jawaban yang dievaluasi sebagian besar benar, tetapi tidak sepenuhnya benar.",
-        "relevance": "Jawaban tersebut sebagian besar menjawab langsung pertanyaan yang diajukan, yaitu bagaimana sistem pendidikan yang diterapkan di Politeknik Negeri Padang. Informasi yang diberikan juga sesuai dengan konteks PNP sebagai politeknik vokasional yang berfokus pada pengembangan tenaga kerja yang berkompeten dan mampu bersaing. Namun, jawaban tersebut tidak sepenuhnya menjawab langsung pertanyaan karena tidak memberikan detail tentang sistem pendidikan yang diterapkan secara spesifik di PNP. Fokus jawaban juga relatif terhadap topik, tetapi masih perlu lebih jelas dan spesifik dalam menjawab pertanyaan.",
-        "groundedness": "Jawaban Anda sebagian besar berdasar pada dokumen, namun masih ada beberapa klaim yang tidak didukung oleh dokumen.\n\nKlaim yang didukung oleh dokumen adalah bahwa Politeknik Negeri Padang menerapkan sistem pendidikan yang konsisten pada jalur pendidikan vokasional dengan menerapkan sistem pembelajaran yang aplikatif serta secara terus menerus menyesuaikan diri dengan perkembangan dunia industri dan dunia usaha yang ada. Hal ini didukung oleh Dokumen 1, yang menjelaskan bahwa Politeknik Negeri Padang hadir di tengah-tengah masyarakat dengan menerapkan sistem pendidikan yang konsisten pada jalur pendidikan vokasional.\n\nNamun, klaim lainnya seperti \"mampu bersaing pada era persaingan global\" tidak didukung oleh dokumen. Dokumen 1 hanya menjelaskan bahwa Politeknik Negeri Padang menyesuaikan diri dengan perkembangan dunia industri dan dunia usaha, namun tidak menjelaskan bagaimana mereka mampu bersaing pada era persaingan global.\n\nKlaim lainnya seperti \"sesuai dengan permintaan pasar\" juga tidak didukung oleh dokumen. Dokumen 2 hanya menjelaskan tentang kurikulum pendidikan yang disusun berbasis kompetensi, namun tidak menjelaskan bagaimana program-program mereka sesuai dengan permintaan pasar.\n\nDalam kesimpulan, jawaban Anda sebagian besar berdasar pada dokumen, namun masih ada beberapa klaim yang tidak didukung oleh dokumen. Oleh karena itu, skor yang diberikan adalah 0.8.",
-        "retrieval": "Dokumen 1 dan Dokumen 2 mengandung informasi yang relevan dengan pertanyaan, yaitu tentang sistem pendidikan yang diterapkan di Politeknik Negeri Padang. Dokumen 1 menjelaskan bahwa Politeknik Negeri Padang menerapkan sistem pendidikan vokasional dengan aplikatif dan menyesuaikan diri dengan perkembangan dunia industri dan usaha. Dokumen 2 juga menjelaskan tentang kurikulum berbasis kompetensi yang diterapkan di Politeknik Negeri Padang.\n\nNamun, Dokumen 1 tidak terlalu relevan karena hanya menjelaskan sejarah Politeknik Negeri Padang dan Dokumen 2 tidak mencukupi karena hanya menjelaskan kurikulum berbasis kompetensi tanpa menjelaskan lebih lanjut tentang sistem pendidikan yang diterapkan.\n\nDokumen 3 tidak relevan dengan pertanyaan, karena dokumen ini lebih berkaitan dengan perjanjian kinerja antara Direktur Politeknik Negeri Padang dengan Ditjen Vokasi.\n\nDokumen 4 tidak relevan dengan pertanyaan, karena dokumen ini hanya berisi informasi tentang lokasi kampus Politeknik Negeri Padang dan tidak memiliki informasi yang terkait dengan sistem pendidikan yang diterapkan di Politeknik Negeri Padang.\n\nDalam kesimpulan, Dokumen 1 dan Dokumen 2 mengandung informasi yang relevan dengan pertanyaan, namun Dokumen 3 dan Dokumen 4 tidak relevan. Oleh karena itu, skor yang diberikan adalah 0.8."
-      },
-      "metrics": {
-        "response_time": 43.19,
-        "retrieved_docs_count": 4,
-        "timestamp": "2025-07-01T18:05:58.761430"
-      }
-    },
-    {
-      "id": 2,
-      "question": "Apa saja mata kuliah yang terdapat dalam kurikulum pendidikan Politeknik Negeri Padang?",
-      "answer": "Mata kuliah yang terdapat dalam kurikulum pendidikan Politeknik Negeri Padang adalah:\n- Mata Kuliah Pengembangan Kepribadian (MPK)\n- Mata Kuliah dan Keimuan dan Keterampilan (MKK)\n- Mata Kuliah Berkarya (MKB)\n- Mata Kulah Berkehidupan Bermasyarakat (MBB)",
-      "ground_truth": "Kurikulum Pendidikan telah disusun berbasis kompetensi dengan kelompok mata kuliah sebagai berikut : - Mata Kuliah Pengembangan Kepribadian (MPK) - Mata Kuliah Keimuan dan Keterampilan (MKK) - Mata Kuliah Berkarya (MKB) - Mata Kuliah Berkehidupan Bermasyarakat (MBB)",
-      "scores": {
-        "correctness": 0.9,
-        "relevance": 0.9,
-        "groundedness": 1.0,
-        "retrieval": 0.35,
-        "overall": 0.815
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi memiliki kesamaan dengan jawaban referensi sebesar 90%. Kesamaan tersebut terlihat pada empat mata kuliah yang disebutkan, yaitu MPK, MKK, MKB, dan MBB. Namun, perlu diingat bahwa ada satu kesalahan kecil, yaitu penggunaan \"dan\" antara \"Keimuan\" dan \"Keterampilan\", sehingga menjadi \"Mata Kuliah Keimuan dan Keterampilan (MKK)\" bukan \"Mata Kuliah dan Keimuan dan Keterampilan\".",
-        "relevance": "Jawaban ini sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan yang diajukan tentang mata kuliah yang terdapat dalam kurikulum pendidikan Politeknik Negeri Padang. Informasi yang diberikan juga sesuai dengan konteks PNP, yaitu nama-nama mata kuliah yang terkait dengan pendidikan politeknik. Jawaban ini fokus dan tidak keluar topik, hanya memberikan informasi tentang mata kuliah yang terdapat dalam kurikulum PNP tanpa menambahkan informasi lain yang tidak relevan. Namun, perlu diingat bahwa jawaban ini tidak menjawab secara eksplisit pertanyaan tentang apakah mata kuliah tersebut sesuai dengan kebutuhan industri atau masyarakat, sehingga skornya tidak sempurna.",
-        "groundedness": "Jawaban tersebut sepenuhnya berdasar pada dokumen. Dokumen 1 menjelaskan bahwa kurikulum pendidikan Politeknik Negeri Padang telah disusun berbasis kompetensi dengan kelompok mata kuliah yang terdiri dari MPK, MKK, MKB, dan MBB. Jawaban tersebut tidak menambahkan informasi yang tidak ada di dokumen dan konsisten dengan fakta dalam dokumen.",
-        "retrieval": "Based on the evaluation criteria, I would give the following scores:\n\nDokumen 1: 0.7\nPenjelasan: Dokumen 1 contains some relevant information about the curriculum of Politeknik Negeri Padang, specifically mentioning four types of courses (MPK, MKK, MKB, and MBB). However, it does not directly answer the question about the types of courses offered in the curriculum. The document is somewhat relevant but lacks specific details.\n\nDokumen 2: 0.3\nPenjelasan: Dokumen 2 is an accreditation report that provides information on the program study at Politeknik Negeri Padang, but it does not contain any information about the types of courses offered in the curriculum. The document is not relevant to answering the question.\n\nDokumen 3: 0.1\nPenjelasan: Dokumen 3 contains general information about the campus location and contact details of Politeknik Negeri Padang, but it does not provide any information about the types of courses offered in the curriculum. The document is not relevant to answering the question.\n\nDokumen 4: 0.5\nPenjelasan: Dokumen 4 provides information on scholarships and financial assistance available to students at Politeknik Negeri Padang, but it does not directly answer the question about the types of courses offered in the curriculum. The document is somewhat relevant but lacks specific details.\n\nOverall, I would give an average score of 0.35 out of 1.0."
-      },
-      "metrics": {
-        "response_time": 15.7,
-        "retrieved_docs_count": 4,
-        "timestamp": "2025-07-01T18:06:49.951806"
-      }
-    },
-    {
-      "id": 3,
-      "question": "Bagaimana Politeknik Negeri Padang mendukung misi tridharma perguruan tinggi?",
-      "answer": "Politeknik Negeri Padang didukung oleh tenaga pendidik dan tenaga kependidikan yang profesional pada bidangnya. Jumlah dan kualifikasi staf tersebut berdasarkan keadaan Desember 2017 sebagai berikut :\n\n1. Tenaga Pendidik : S1 = 14 orang S2 = 256 S3 = 21 orang   Yang sedangmenempuh S3 = 7 orang   Yang sdang menempuh S2 = 5 orang\n\n2. Tenaga Kependidikan : SD = 5 orang, SMP = 4 orang, SLTA = 71 orang, D3 = 25 orang,   S1 = 54 orang S2 = 15 orang",
-      "ground_truth": "Politeknik Negeri Padang dalam menjalankan misi tridharma perguruan tinggi didukung oleh tenaga pendidik dan tenaga kependidikan yang profesional pada bidangnya. Jumlah dan kualifikasi staf tersebut berdasarkan keadaan Desember 2017 sebagai berikut : - Tenaga Pendidik : S1 = 14 orang, S2 = 256 orang, S3 = 21 orang (Yang sedang menempuh S3 = 7 orang, Yang sedang menempuh S2 = 5 orang) - Tenaga Kependidikan : SD = 5 orang, SMP = 4 orang, SLTA = 71 orang, D3 = 25 orang, S1 = 54 orang, S2 = 15 orang.",
-      "scores": {
-        "correctness": 0.9,
-        "relevance": 0.6,
-        "groundedness": 0.5,
-        "retrieval": 0.8,
-        "overall": 0.705
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi memiliki kesamaan dengan referensi sebesar 90%. Fakta dalam jawaban sesuai dengan referensi, yaitu jumlah dan kualifikasi staf Politeknik Negeri Padang pada bidangnya. Informasi yang diberikan juga akurat tentang PNP.\n\nNamun, terdapat beberapa ketidaksesuaian data yang kecil. Contohnya, dalam referensi tidak ada informasi tentang jumlah staf S1, S2, dan S3 untuk tenaga pendidik, sedangkan jawaban yang dievaluasi memberikan detail tersebut. Selain itu, tidak ada informasi tentang kualifikasi staf lainnya seperti D4 atau S3.\n\nDalam skor 0.9, saya berdasarkan pada kesamaan antara jawaban dengan referensi, serta akurasi informasi yang diberikan. Namun, saya juga mempertimbangkan ketidaksesuaian data yang kecil dan tidak signifikan.",
-        "relevance": "Jawaban tersebut tidak langsung menjawab pertanyaan yang diajukan, karena pertanyaan mengenai bagaimana PNP mendukung misi tridharma perguruan tinggi, sedangkan jawaban hanya memberikan informasi tentang jumlah dan kualifikasi tenaga pendidik dan kependidikan. Informasi tersebut tidak langsung terkait dengan konsep tridharma perguruan tinggi.\n\nNamun, jawaban tersebut masih memiliki relevansi dengan PNP karena memberikan gambaran tentang sumber daya manusia yang dimiliki oleh PNP. Oleh karena itu, skor 0.6 diberikan untuk jawaban tersebut.",
-        "groundedness": "Jawaban tersebut tidak sepenuhnya berdasar pada dokumen, karena:\n\n* Dokumen tidak menyebutkan tentang \"tenaga pendidik dan tenaga kependidikan yang profesional\" sebagai support Politeknik Negeri Padang.\n* Dokumen juga tidak memuat informasi tentang jumlah dan kualifikasi staf yang diperkenalkan dalam jawaban.\n\nNamun, jawaban tersebut masih memiliki beberapa unsur yang berdasar pada dokumen, seperti:\n\n* Dokumen 1 mengajak tenaga pendidik dan kependidikan untuk bersinergi demi tercapainya tujuan.\n* Dokumen 3 tidak menyebutkan tentang jumlah staf, tetapi menjelaskan kurikulum pendidikan yang telah disusun.\n\nKarena jawaban tersebut memiliki unsur-unsur yang berdasar pada dokumen, namun juga memiliki beberapa bagian yang tidak didukung oleh dokumen, maka skor yang diberikan adalah 0.5.",
-        "retrieval": "Dokumen 1 dan Dokumen 3 memberikan informasi yang relevan dengan pertanyaan, yaitu bagaimana Politeknik Negeri Padang mendukung misi tridharma perguruan tinggi. Dokumen 1 menjelaskan tentang komitmen dan pertanggungjawaban kepada Pemerintah dan Masyarakat, serta tujuan penyelenggaraan pendidikan di Politeknik Negeri Padang. Dokumen 3 memberikan informasi tentang kurikulum pendidikan yang disusun berbasis kompetensi, yang menunjukkan bahwa Politeknik Negeri Padang telah mempertahankan misi tridharma perguruan tinggi.\n\nNamun, Dokumen 2 dan Dokumen 4 tidak terlalu relevan dengan pertanyaan. Dokumen 2 hanya menjelaskan tentang sejarah Politeknik Negeri Padang, sedangkan Dokumen 4 memberikan informasi tentang beasiswa yang tersedia untuk mahasiswa.\n\nDalam penilaian kualitas pengambilan dokumen, saya mempertimbangkan apakah dokumen mengandung informasi yang dibutuhkan untuk menjawab pertanyaan, apakah ada informasi penting yang tidak terambil, dan apakah dokumen yang diambil sesuai dengan topik pertanyaan. Berdasarkan kriteria tersebut, saya memberikan skor 0.8 karena Dokumen 1 dan Dokumen 3 memberikan informasi yang relevan dan lengkap, namun Dokumen 2 dan Dokumen 4 tidak terlalu relevan dengan pertanyaan."
-      },
-      "metrics": {
-        "response_time": 36.49,
-        "retrieved_docs_count": 4,
-        "timestamp": "2025-07-01T18:08:05.436656"
-      }
-    },
-    {
-      "id": 4,
-      "question": "Bagaimana Politeknik Negeri Padang menyediakan akses internet bagi mahasiswa?",
-      "answer": "Politeknik Negeri Padang menyediakan akses internet bagi mahasiswa melalui Anjungan Internet Mandiri (AIM) yang dapat diakses secara gratis di titik-titik strategis kampus. Selain itu, Politeknik Negeri Padang juga memiliki kawasan hot spot area di sekitar kampus, sehingga mahasiswa dapat memanfaatkan internet secara bebas dengan menggunakan laptop/PC.",
-      "ground_truth": "Politeknik Negeri Padang telah memiliki Anjungan Internet Mandiri (AIM) yang dapat diakses oleh mahasiswa secara gratis, yang tersedia pada titik-titik strategis. Juga tersedia kawasan hot spot area di sekitar kampus sehingga mahasiswa dapat memanfaatkan internet dengan bebas menggunakan laptop/PC.",
-      "scores": {
-        "correctness": 1.0,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 0.8,
-        "overall": 0.86
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sepenuhnya sesuai dengan referensi. Fakta-fakta yang diberikan dalam jawaban, seperti adanya Anjungan Internet Mandiri (AIM) dan kawasan hot spot area di sekitar kampus, juga akurat tentang Politeknik Negeri Padang. Tidak ada kesalahan atau ketidaksesuaian data yang terlihat dalam jawaban.",
-        "relevance": "Jawaban ini sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan yang diajukan tentang bagaimana PNP menyediakan akses internet bagi mahasiswa. Informasi yang diberikan juga sesuai dengan konteks PNP, yaitu tentang Anjungan Internet Mandiri (AIM) dan kawasan hot spot area di sekitar kampus. Jawaban ini fokus dan tidak keluar topik, hanya memberikan informasi yang relevan dan berguna untuk menjawab pertanyaan. Namun, jawaban ini tidak sempurna karena tidak memberikan detail lebih lanjut tentang Anjungan Internet Mandiri (AIM) dan kawasan hot spot area, sehingga skor 0.8 diberikan.",
-        "groundedness": "Jawaban Anda sebagian besar berdasar pada dokumen, namun ada beberapa klaim yang tidak didukung oleh dokumen.\n\nPertama, jawaban Anda menyebutkan bahwa Politeknik Negeri Padang memiliki kawasan hot spot area di sekitar kampus. Namun, tidak ada informasi tentang kawasan hot spot area dalam dokumen 1 dan 2. Dokumen 3 hanya berbicara tentang kunjungan Wali Nagari Tanjung Bonai Aur ke PNP, tetapi tidak terkait dengan akses internet.\n\nKedua, jawaban Anda tidak menjelaskan apakah Anjungan Internet Mandiri (AIM) dapat diakses secara gratis di titik-titik strategis kampus. Dokumen 1 hanya berbicara tentang AIM sebagai sarana akses internet bagi mahasiswa Politeknik, tetapi tidak memberikan informasi tentang biaya akses.\n\nNamun, jawaban Anda sebagian besar berdasar pada dokumen, karena Anda mengutip informasi tentang AIM dan kampus Politeknik Negeri Padang. Oleh karena itu, skor yang diberikan adalah 0.8.",
-        "retrieval": "Dokumen 1 dan Dokumen 2 tidak langsung relevan dengan pertanyaan \"Bagaimana Politeknik Negeri Padang menyediakan akses internet bagi mahasiswa?\" Kedua dokumen tersebut lebih berfokus pada informasi tentang tenaga pendidik, kependidikan, dan beasiswa.\n\nDokumen 3 tidak langsung relevan dengan pertanyaan karena isi dokumen tersebut lebih berfokus pada kunjungan, pelatihan, dan penelitian yang tidak terkait dengan akses internet bagi mahasiswa.\n\nHanya Dokumen 4 yang memiliki informasi yang relevan dengan pertanyaan. Dokumen ini memberikan informasi tentang penerimaan mahasiswa baru, termasuk informasi tentang akses internet yang tersedia untuk mahasiswa. Namun, dokumen ini tidak lengkap karena hanya memberikan informasi tentang penerimaan mahasiswa baru dan tidak menjelaskan bagaimana Politeknik Negeri Padang menyediakan akses internet bagi mahasiswa.\n\nOleh karena itu, skor yang diberikan adalah 0.8, karena Dokumen 4 memiliki informasi yang relevan dengan pertanyaan, namun tidak lengkap dan tidak menjelaskan bagaimana Politeknik Negeri Padang menyediakan akses internet bagi mahasiswa."
-      },
-      "metrics": {
-        "response_time": 28.62,
-        "retrieved_docs_count": 4,
-        "timestamp": "2025-07-01T18:09:10.250498"
-      }
-    },
-    {
-      "id": 5,
-      "question": "Apa saja contoh kerjasama Politeknik Negeri Padang dengan industri?",
-      "answer": "Politeknik Negeri Padang menjalin kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya. Kerjasama yang dilakukan tidak hanya di Indonesia tapi juga dengan luar negeri baik dibidang industri maupun perguruan tinggi.",
-      "ground_truth": "PT. Siemens Indonesia, PT. Toyota Aichi Takaoua Japan, PT. PLN, PT. INTI, Futaba Rashi Siisha Kusho Japan, PT. Sintom, PT. Krakatau Steel, Komatssu Shinge Koumuten, PT. PAL Indonesia, PT. Hexindo, Taishurin Co. Ltd Fukuoaka Japan, PT. Texmaco Perkasa, PT. LEN Industri, PT. Toyota Astra Motor, PT. Indah Kiat, PT. Trakindo Utama, BTN.",
-      "scores": {
-        "correctness": 0.8,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 0.8,
-        "overall": 0.8
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sebagian benar, sebagian salah. PNP memang menjalin kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya, seperti terlihat dalam daftar nama-nama perusahaan yang disebutkan. Namun, informasi tentang kerjasama luar negeri tidak sesuai dengan referensi, karena tidak ada bukti bahwa PNP memiliki kerjasama dengan perusahaan-perusahaan Jepang seperti Futaba Rashi Siisha Kusho Japan, Taishurin Co. Ltd Fukuoaka Japan, dan Komatssu Shinge Koumuten.\n\nKesalahan lainnya adalah adanya nama-nama perusahaan yang tidak relevan dengan PNP, seperti PT. PAL Indonesia dan BTN, yang seharusnya tidak termasuk dalam daftar kerjasama PNP. Oleh karena itu, skor 0.8 diberikan karena jawaban sebagian benar namun juga memiliki kesalahan signifikan.",
-        "relevance": "Jawaban tersebut tidak menjawab langsung pertanyaan yang diajukan, karena pertanyaan mengharapkan contoh kerjasama PNP dengan industri, sedangkan jawaban memberikan informasi tentang berbagai jenis kerjasama yang dilakukan PNP, baik domestik maupun internasional. Meskipun demikian, jawaban tersebut masih relevan dan tepat sasaran karena memberikan gambaran umum tentang scope kerjasama PNP dengan industri.",
-        "groundedness": "Jawaban Anda sebagian besar berdasar pada dokumen, namun ada beberapa klaim yang tidak didukung oleh dokumen.\n\nKlaim \"Politeknik Negeri Padang menjalin kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya\" didukung oleh Dokumen 1. Namun, klaim \"Kerjasama yang dilakukan tidak hanya di Indonesia tapi juga dengan luar negeri baik dibidang industri maupun perguruan tinggi\" tidak didukung oleh dokumen. Dokumen tidak menyebutkan kerjasama dengan luar negeri.\n\nJawaban Anda juga tidak konsisten dengan fakta dalam Dokumen 3, yang menjelaskan bahwa Politeknik Negeri Padang hadir di tengah-tengah masyarakat dengan menerapkan sistem pendidikan yang konsisten pada jalur pendidikan vokasional. Jawaban Anda tidak menyebutkan hal ini.\n\nNamun, jawaban Anda sebagian besar berdasar pada dokumen dan memiliki beberapa klaim yang didukung oleh dokumen. Oleh karena itu, skor 0.8 diberikan.",
-        "retrieval": "Dokumen 1 dan Dokumen 3 tidak langsung menjawab pertanyaan, namun memberikan informasi tentang Politeknik Negeri Padang sebagai institusi pendidikan vokasional yang berfokus pada pengembangan tenaga kerja. Dokumen 2 tidak relevan dengan pertanyaan karena perjanjian kinerja antara Politeknik Negeri Padang dengan Menteri Riset Teknologi Dan Pendidikan Tinggi Tahun 2019 tidak menjawab pertanyaan tentang contoh kerjasama Politeknik Negeri Padang dengan industri.\n\nDokumen 4 sebagian menjawab pertanyaan, namun informasinya tidak lengkap dan tidak spesifik tentang contoh kerjasama Politeknik Negeri Padang dengan industri. Oleh karena itu, skor yang diberikan adalah 0.8, karena dokumen 1 dan Dokumen 3 memberikan informasi umum tentang Politeknik Negeri Padang, sementara Dokumen 4 sebagian menjawab pertanyaan namun tidak lengkap."
-      },
-      "metrics": {
-        "response_time": 16.66,
-        "retrieved_docs_count": 4,
-        "timestamp": "2025-07-01T18:10:05.339111"
-      }
-    },
-    {
-      "id": 6,
-      "question": "Bagaimana Politeknik Negeri Padang membantu mahasiswa dalam bidang prestasi dan ekonomi?",
-      "answer": "Politeknik Negeri Padang menyediakan bantuan untuk sekitar 800 orang mahasiswa setiap tahunnya. Bantuan ini diberikan kepada mahasiswa yang berprestasi dalam bidang akademik dan prestasi lainya, serta mahasiswa kurang mampu. Beasiswa yang diterima mahasiswa Politeknik Negeri Padang antara lain: Beasiswa Peningkatan Prestasi Akademik (PPA), Beasiswa Kerja Mahasiswa (BKM), Beasiswa Bantuan Belajar Mahasiswa (BBM), Beasiswa TPSDP (Technological and Professional Skill Development Sector Project), Beasiswa Kredit Bantuan Belajar Mahasiswa (KBBM), Beasiswa Depertemen Hankam (ABRI), Beasiswa PT. Toyota Astra, Beasiswa ORBIT (ICMI), Beasiswa Supersemar.",
-      "ground_truth": "Tersedia bantuan untuk sekitar 800 mahasiswa setiap tahunnya. Beasiswa yang diterima antara lain: - Beasiswa Peningkatan Prestasi Akademik (PPA), - Beasiswa Kerja Mahasiswa (BKM), - Beasiswa Bantuan Belajar Mahasiswa (BBM), - Beasiswa TPSDP, - Beasiswa Kredit Bantuan Belajar Mahasiswa (KBBM), - Beasiswa Depertemen Hankam (ABRI), - Beasiswa PT. Toyota Astra, - Beasiswa ORBIT (ICMI), - Beasiswa Supersemar.",
-      "scores": {
-        "correctness": 0.9,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 1.0,
-        "overall": 0.87
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi memiliki kesamaan dengan referensi sebesar 90%. Keduanya menyebutkan bahwa Politeknik Negeri Padang memberikan bantuan untuk sekitar 800 orang mahasiswa setiap tahunnya, serta beberapa jenis beasiswa yang diterima oleh mahasiswa. Namun, terdapat beberapa perbedaan kecil antara keduanya.\n\nPertama, referensi tidak menyebutkan bahwa bantuan tersebut diberikan kepada mahasiswa yang berprestasi dalam bidang akademik dan prestasi lainnya, serta mahasiswa kurang mampu. Kedua, referensi tidak menjelaskan tentang Beasiswa TPSDP (Technological and Professional Skill Development Sector Project).\n\nKesalahan atau ketidaksesuaian data terdapat pada penulisan \"Depertemen Hankam\" yang seharusnya ditulis sebagai \"Departemen Hankam\". Selain itu, jawaban yang dievaluasi tidak memiliki kesalahan signifikan lainnya.\n\nDalam skala 0.0-1.0, saya memberikan skor 0.9 karena jawaban yang dievaluasi memiliki kesamaan dengan referensi sebesar 90%, namun terdapat beberapa perbedaan kecil dan kesalahan kecil dalam penulisan.",
-        "relevance": "Jawaban ini relevan dan tepat sasaran karena menjawab langsung pertanyaan tentang bagaimana PNP membantu mahasiswa dalam bidang prestasi dan ekonomi. Informasi yang diberikan juga sesuai dengan konteks PNP, yaitu menyediakan bantuan untuk sekitar 800 orang mahasiswa setiap tahunnya dan berbagai jenis beasiswa yang diterima oleh mahasiswa. Jawaban ini fokus pada bagaimana PNP membantu mahasiswa, tidak keluar topik, dan memberikan informasi yang relevan dan tepat sasaran. Namun, jawaban ini tidak sepenuhnya menjawab pertanyaan karena tidak menjelaskan secara rinci bagaimana bantuan tersebut membantu mahasiswa dalam meningkatkan prestasi dan ekonomi.",
-        "groundedness": "Jawaban Anda sebagian besar berdasar pada dokumen, namun terdapat beberapa klaim yang tidak didukung oleh dokumen.\n\n1. Klaim bahwa Politeknik Negeri Padang menyediakan bantuan untuk sekitar 800 orang mahasiswa setiap tahunnya didukung oleh Dokumen 1.\n2. Beasiswa yang diterima mahasiswa Politeknik Negeri Padang, seperti PPA, BKM, BBM, dan TPSDP, juga didukung oleh Dokumen 1.\n\nNamun, terdapat beberapa klaim yang tidak didukung oleh dokumen:\n\n1. Beasiswa Kredit Bantuan Belajar Mahasiswa (KBBM), Beasiswa Depertemen Hankam (ABRI), Beasiswa PT. Toyota Astra, Beasiswa ORBIT (ICMI), dan Beasiswa Supersemar tidak tercantum dalam Dokumen 1.\n2. Tidak ada informasi tentang jumlah bantuan yang diberikan Politeknik Negeri Padang dalam Dokumen 1.\n\nKarena jawaban Anda sebagian besar berdasar pada dokumen, namun juga mengandung beberapa klaim yang tidak didukung oleh dokumen, maka skor yang diberikan adalah 0.8.",
-        "retrieval": "Based on the documents provided, I evaluate their relevance and completeness in answering the question \"Bagaimana Politeknik Negeri Padang membantu mahasiswa dalam bidang prestasi dan ekonomi?\"\n\nDokumen 1: Skor = 0.8\nPenjelasan: Dokumen 1 provides information on the types of scholarships available to students at Politeknik Negeri Padang, which is relevant to the question about how the institution helps students in terms of academic performance and economy. However, it does not provide a comprehensive overview of the institution's efforts to support students.\n\nDokumen 2: Skor = 0.6\nPenjelasan: Dokumen 2 discusses the commitment of Politeknik Negeri Padang to its stakeholders, including students, but does not specifically address how the institution helps students in terms of academic performance and economy.\n\nDokumen 3: Skor = 0.4\nPenjelasan: Dokumen 3 provides a brief overview of the history of Politeknik Negeri Padang, but does not contain information relevant to the question about how the institution helps students in terms of academic performance and economy.\n\nDokumen 4: Skor = 1.0\nPenjelasan: Dokumen 4 is a survey that directly addresses the question about how Politeknik Negeri Padang helps students, specifically asking about student satisfaction with the institution's services. This document provides valuable information on the institution's efforts to support students and is therefore highly relevant to the question.\n\nOverall, I would give an average score of 0.7 out of 1.0, indicating that the documents are generally relevant but could be more comprehensive in their coverage of the topic."
-      },
-      "metrics": {
-        "response_time": 33.51,
-        "retrieved_docs_count": 4,
-        "timestamp": "2025-07-01T18:11:22.876673"
-      }
-    },
-    {
-      "id": 7,
-      "question": "Bagaimana status akreditasi program studi di Politeknik Negeri Padang?",
-      "answer": "Politeknik Negeri Padang memiliki status akreditasi Baik Sekali.",
-      "ground_truth": "Program studi di Politeknik Negeri Padang memiliki status akreditasi yang bervariasi seperti Baik, Baik Sekali, hingga Unggul. Contohnya, Teknik Mesin (D3) terakreditasi Baik Sekali hingga 2029, Teknik Manufaktur (D4) terakreditasi Unggul hingga 2028, dan Teknik Sipil (D3) terakreditasi A hingga 2026. Setiap program memiliki SK dan sertifikat akreditasi resmi.",
-      "scores": {
-        "correctness": 0.8,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 0.8,
-        "overall": 0.8
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sebagian benar, sebagian salah. Fakta bahwa Politeknik Negeri Padang memiliki status akreditasi Baik Sekali adalah benar, karena referensi juga menyebutkan beberapa program studi memiliki status akreditasi Baik Sekali. Namun, informasi yang diberikan tidak akurat dan lengkap, karena referensi juga mencatat bahwa beberapa program studi memiliki status akreditasi yang berbeda (Baik, Baik Sekali, atau Unggul). Oleh karena itu, skor 0.8 diberikan karena jawaban sebagian benar namun tidak sepenuhnya akurat dan lengkap.",
-        "relevance": "Jawaban tersebut sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan tentang status akreditasi program studi di Politeknik Negeri Padang. Informasi yang diberikan juga sesuai dengan konteks PNP, yaitu mengenai status akreditasi institusi. Jawaban tersebut fokus dan tidak keluar topik, hanya menjawab pertanyaan tanpa menambahkan informasi yang tidak relevan. Namun, jawaban tersebut tidak sempurna karena tidak memberikan detail lebih lanjut tentang apa yang dimaksud dengan \"Baik Sekali\" dalam konteks akreditasi program studi PNP.",
-        "groundedness": "Jawaban \"Politeknik Negeri Padang memiliki status akreditasi Baik Sekali\" didukung oleh Dokumen 1, yang berisi informasi tentang akreditasi Program Studi di Politeknik Negeri Padang dengan peringkat Baik Sekali. Namun, tidak ada dokumen lain yang secara eksplisit menyatakan bahwa Politeknik Negeri Padang memiliki status akreditasi Baik Sekali secara umum.\n\nDokumen 2 hanya berisi informasi tentang akreditasi Program Studi di Politeknik Negeri Padang untuk periode tertentu (15 Desember 2020 s/d 15 Desember 2025), tidak ada informasi yang menunjukkan bahwa status akreditasi tersebut berlaku secara umum.\n\nDokumen 3 dan Dokumen 4 tidak memiliki relevansi dengan status akreditasi Politeknik Negeri Padang.\n\nKarena jawaban hanya didukung oleh satu dokumen, dan tidak ada dokumen lain yang mendukung klaim tersebut, maka skor saya adalah 0.8.",
-        "retrieval": "Dokumen 1 dan Dokumen 2 mengandung informasi yang relevan untuk menjawab pertanyaan tentang status akreditasi program studi di Politeknik Negeri Padang. Dokumen 1 menampilkan tabel data yang memperlihatkan peringkat akreditasi BAIK SEKALI dan masa berlaku dari 15 Desember 2020 hingga 15 Desember 2025. Dokumen 2 menampilkan informasi lebih rinci tentang akreditasi, termasuk keputusan Badan Akreditasi Nasional Perguruan Tinggi Nomor : 1082/SK/BAN- PT/Akred/PT/XII/2020.\n\nNamun, dokumen lainnya tidak terlalu relevan untuk menjawab pertanyaan. Dokumen 3 dan Dokumen 4 mengandung informasi tentang penerimaan mahasiswa baru dan sertifikat akreditasi, tetapi tidak langsung terkait dengan status akreditasi program studi.\n\nDalam penilaian ini, saya memberikan skor 0.8 karena dokumen 1 dan Dokumen 2 mengandung informasi yang relevan dan lengkap untuk menjawab pertanyaan, namun dokumen lainnya tidak terlalu relevan."
-      },
-      "metrics": {
-        "response_time": 10.09,
-        "retrieved_docs_count": 4,
-        "timestamp": "2025-07-01T18:12:09.535238"
-      }
-    },
-    {
-      "id": 8,
-      "question": "Bagaimana proses penerimaan mahasiswa baru di Politeknik Negeri Padang?",
-      "answer": "Proses penerimaan mahasiswa baru di Politeknik Negeri Padang dapat diakses melalui situs resmi mereka di http://penerimaan.pnp.ac.id/. Di situs tersebut, terdapat informasi lengkap mengenai persyaratan, jadwal, dan tahapan seleksi penerimaan mahasiswa baru. Selain itu, tersedia juga daftar program studi yang tersedia dan brosur yang berisi informasi lebih lanjut tentang Politeknik Negeri Padang.",
-      "ground_truth": "Penerimaan mahasiswa baru di Politeknik Negeri Padang dilakukan melalui berbagai jalur seleksi seperti SNBT, SNMPN, dan kelas kerjasama. Tersedia brosur dan informasi detail melalui situs http://penerimaan.pnp.ac.id. Program studi Teknik Alat Berat misalnya memiliki kelas kerjasama dengan PT Trakindo Utama. Jadwal seleksi dan pengumuman dapat diakses secara daring.",
-      "scores": {
-        "correctness": 0.9,
-        "relevance": 0.9,
-        "groundedness": 0.8,
-        "retrieval": 0.5,
-        "overall": 0.795
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sebagian besar sesuai dengan referensi, namun ada beberapa perbedaan kecil. Fakta bahwa proses penerimaan mahasiswa baru di Politeknik Negeri Padang dapat diakses melalui situs resmi mereka di http://penerimaan.pnp.ac.id/ dan terdapat informasi lengkap mengenai persyaratan, jadwal, dan tahapan seleksi penerimaan mahasiswa baru sesuai dengan referensi. Informasi tentang daftar program studi yang tersedia dan brosur yang berisi informasi lebih lanjut tentang Politeknik Negeri Padang juga akurat. Namun, jawaban yang dievaluasi tidak menjelaskan secara spesifik jalur seleksi seperti SNBT, SNMPN, dan kelas kerjasama, sehingga skor 0.9 diberikan.",
-        "relevance": "Jawaban ini sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan tentang proses penerimaan mahasiswa baru di Politeknik Negeri Padang. Informasi yang diberikan juga sesuai dengan konteks PNP, yaitu mengenai situs resmi PNP untuk akses informasi penerimaan mahasiswa baru, persyaratan, jadwal, dan tahapan seleksi. Jawaban ini fokus dan tidak keluar topik, hanya memberikan informasi yang relevan dan berguna bagi orang yang ingin mengetahui proses penerimaan mahasiswa baru di PNP.",
-        "groundedness": "Jawaban Anda sebagian besar berdasar pada dokumen, tetapi ada beberapa klaim yang tidak didukung oleh dokumen.\n\nPertama, Anda mengklaim bahwa proses penerimaan mahasiswa baru dapat diakses melalui situs resmi Politeknik Negeri Padang di http://penerimaan.pnp.ac.id/. Klaim ini didukung oleh Dokumen 1, yang menjelaskan bahwa informasi penerimaan mahasiswa baru dapat diunduh dan daftar program studi serta brosur tersedia.\n\nKedua, Anda juga mengklaim bahwa terdapat informasi lengkap mengenai persyaratan, jadwal, dan tahapan seleksi penerimaan mahasiswa baru. Klaim ini didukung oleh Dokumen 1, yang menjelaskan bahwa informasi tersebut dapat diunduh.\n\nNamun, klaim Anda tentang tersedia daftar program studi dan brosur tidak didukung oleh Dokumen 2 dan Dokumen 3, karena dokumen-dokumen tersebut tidak berisi informasi tersebut. Oleh karena itu, skor saya adalah 0.8, karena jawaban Anda sebagian besar berdasar pada dokumen, tetapi ada beberapa klaim yang tidak didukung oleh dokumen.",
-        "retrieval": "Based on the evaluation criteria, I would give the following scores:\n\nDokumen 1: 0.8\nPenjelasan: Dokumen 1 mengandung informasi yang relevan untuk menjawab pertanyaan tentang proses penerimaan mahasiswa baru di Politeknik Negeri Padang. Informasi seperti tanggal, URL, dan link ke informasi penerimaan mahasiswa baru, program studi, dan brosur penerimaan mahasiswa PNP Tahun Akademik 2025/2026 sangat relevan untuk menjawab pertanyaan. Namun, dokumen ini tidak lengkap karena tidak mengandung informasi tentang proses penerimaan mahasiswa baru secara detail.\n\nDokumen 2: 0.4\nPenjelasan: Dokumen 2 mengandung informasi yang kurang relevan untuk menjawab pertanyaan tentang proses penerimaan mahasiswa baru di Politeknik Negeri Padang. Informasi tentang beasiswa yang tersedia bagi mahasiswa PNP tidak terkait dengan proses penerimaan mahasiswa baru.\n\nDokumen 3: 0.2\nPenjelasan: Dokumen 3 mengandung informasi yang sangat kurang relevan untuk menjawab pertanyaan tentang proses penerimaan mahasiswa baru di Politeknik Negeri Padang. Survey kepuasan masyarakat tidak terkait dengan proses penerimaan mahasiswa baru.\n\nDokumen 4: 0.6\nPenjelasan: Dokumen 4 mengandung informasi yang relevan untuk menjawab pertanyaan tentang proses penerimaan mahasiswa baru di Politeknik Negeri Padang. Informasi tentang tenaga pendidik dan kependidikan, serta Anjungan Internet Mandiri (AIM) dan kawasan hot spot area disekitar kampus sangat relevan untuk menjawab pertanyaan. Namun, dokumen ini tidak lengkap karena tidak mengandung informasi tentang proses penerimaan mahasiswa baru secara detail.\n\nSkor rata-rata: 0.5"
-      },
-      "metrics": {
-        "response_time": 29.9,
-        "retrieved_docs_count": 4,
-        "timestamp": "2025-07-01T18:13:21.266338"
-      }
-    },
-    {
-      "id": 9,
-      "question": "Apa bentuk kerjasama yang dilakukan Politeknik Negeri Padang?",
-      "answer": "Politeknik Negeri Padang menjalin kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya. Kerjasama yang dilakukan tidak hanya di Indonesia tapi juga dengan luar negeri baik dibidang industri maupun perguruan tinggi.",
-      "ground_truth": "Politeknik Negeri Padang menjalin kerjasama dengan industri, pemerintah, BUMN, dan asosiasi profesi baik dalam negeri maupun luar negeri. Bentuk kerjasama mencakup rekrutmen, prakerin (praktik kerja industri), kunjungan industri, bimbingan karir, serta pembuatan MoU. Tujuannya untuk menjaga mutu lulusan dan penyaluran SDM.",
-      "scores": {
-        "correctness": 0.9,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 0.8,
-        "overall": 0.83
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi memiliki kesamaan dengan jawaban referensi dalam beberapa hal, seperti menjalin kerjasama dengan industri, pemerintah, BUMN, dan asosiasi profesi baik dalam negeri maupun luar negeri. Namun, terdapat sedikit perbedaan dalam penggunaan kata \"stake holder\" yang tidak ditemukan dalam jawaban referensi. Selain itu, informasi yang diberikan juga akurat tentang PNP dan tidak ada kesalahan atau ketidaksesuaian data. Oleh karena itu, skor 0.9 diberikan untuk jawaban yang dievaluasi.",
-        "relevance": "Jawaban tersebut menjawab langsung pertanyaan yang diajukan, yaitu bentuk kerjasama yang dilakukan Politeknik Negeri Padang. Informasi yang diberikan juga sesuai dengan konteks PNP sebagai politeknik negeri yang berfokus pada kerjasama dengan industri dan lembaga lainnya. Namun, jawaban tersebut tidak sepenuhnya fokus dan keluar topik sedikit karena menjelaskan kerjasama luar negeri, yang tidak langsung terkait dengan pertanyaan asli.",
-        "groundedness": "Jawaban Anda sebagian besar berdasar pada dokumen, namun terdapat beberapa klaim yang tidak didukung oleh dokumen.\n\nKlaim \"Politeknik Negeri Padang menjalin kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya\" didukung oleh Dokumen 2 yang menyatakan bahwa Politeknik Negeri Padang telah menjalin berbagai kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya.\n\nNamun, klaim \"Kerjasama yang dilakukan tidak hanya di Indonesia tapi juga dengan luar negeri baik dibidang industri maupun perguruan tinggi\" tidak didukung oleh dokumen. Dokumen 2 hanya menyatakan bahwa Politeknik Negeri Padang telah menjalin berbagai kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya di Indonesia, tidak ada informasi tentang kerjasama dengan luar negeri.\n\nKonsistensi jawaban dengan fakta dalam dokumen juga perlu dipertimbangkan. Jawaban Anda sebagian besar konsisten dengan fakta dalam Dokumen 2, namun klaim tentang kerjasama dengan luar negeri tidak didukung oleh dokumen.\n\nDalam penilaian skor, saya memberikan nilai 0.8 karena jawaban Anda sebagian besar berdasar pada dokumen, namun terdapat beberapa klaim yang tidak didukung oleh dokumen.",
-        "retrieval": "Dokumen 1 dan Dokumen 4 tidak langsung menjawab pertanyaan tentang bentuk kerjasama yang dilakukan Politeknik Negeri Padang. Namun, Dokumen 2 dan Dokumen 3 memberikan informasi yang relevan.\n\nDokumen 2 mengatakan bahwa saat ini Politeknik Negeri Padang telah menjalin berbagai kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya. Informasi ini sangat relevan untuk menjawab pertanyaan.\n\nDokumen 3 adalah Perjanjian Kinerja Politeknik Negeri Padang dengan Menteri Riset Teknologi Dan Pendidikan Tinggi, yang menunjukkan bahwa Politeknik Negeri Padang telah berkomitmen untuk meningkatkan kualitas pendidikan dan pengembangan. Informasi ini juga relevan untuk menjawab pertanyaan.\n\nNamun, Dokumen 1 dan Dokumen 4 tidak terlalu relevan untuk menjawab pertanyaan. Oleh karena itu, skor yang diberikan adalah 0.8, karena dokumen yang diambil sebagian besar relevan dan lengkap."
-      },
-      "metrics": {
-        "response_time": 17.27,
-        "retrieved_docs_count": 4,
-        "timestamp": "2025-07-01T18:14:18.331306"
-      }
-    },
-    {
-      "id": 10,
-      "question": "Siapa saja pimpinan di Politeknik Negeri Padang saat ini?",
-      "answer": "Saya tidak memiliki informasi tentang pimpinan Politeknik Negeri Padang saat ini.",
-      "ground_truth": "Direktur Politeknik Negeri Padang adalah Dr. Ir. Surfa Yondri, S.T., S.ST., M.Kom. Wakil Direktur Bidang Akademik adalah Ir. Revalin Herdianto, ST., M.Sc., Ph.D. Pimpinan lainnya antara lain Nasrullah, ST., M.T., dan Sarmiadi, S.E., M.M. yang memiliki pengalaman panjang dalam jabatan struktural di kampus.",
-      "scores": {
-        "correctness": 0.5,
-        "relevance": 0.5,
-        "groundedness": 0.5,
-        "retrieval": 0.8,
-        "overall": 0.56
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi tidak memiliki informasi tentang pimpinan Politeknik Negeri Padang saat ini, sehingga tidak sesuai dengan referensi yang memberikan nama-nama pimpinan PNP. Namun, jawaban tersebut juga tidak salah sepenuhnya karena tidak menyinggung atau mengklaim bahwa PNP tidak memiliki pimpinan. Oleh karena itu, skor 0.5 diberikan sebagai kompromi antara kebenaran dan ketidakbenaran.",
-        "relevance": "Jawaban tidak menjawab langsung pertanyaan yang diajukan, namun informasi yang diberikan masih relevan dengan konteks PNP. Jawaban \"Saya tidak memiliki informasi tentang pimpinan Politeknik Negeri Padang saat ini\" tidak keluar topik dan fokus pada pertanyaan. Meskipun jawaban tidak memberikan informasi yang spesifik, namun masih menunjukkan bahwa jawabannya tidak memiliki informasi yang relevan dengan pertanyaan.",
-        "groundedness": "Jawaban tidak sepenuhnya berdasar pada dokumen, karena tidak ada informasi tentang pimpinan Politeknik Negeri Padang saat ini di dalam dokumen. Dokumen hanya menyajikan informasi umum tentang PNP, seperti tanggal didirikan, jurusan dan program studi yang tersedia, jumlah dosen, dan alamat kampus. Informasi tentang pimpinan tidak tercantum di dalam dokumen. Oleh karena itu, jawaban tidak berdasar pada dokumen secara keseluruhan, tetapi hanya sebagian kecil.",
-        "retrieval": "Dokumen yang diambil (Dokumen 1, Dokumen 2, Dokumen 3, dan Dokumen 4) mengandung informasi yang relevan untuk menjawab pertanyaan \"Siapa saja pimpinan di Politeknik Negeri Padang saat ini?\" Namun, tidak ada informasi yang langsung menjawab pertanyaan tersebut.\n\nDokumen-dokumen tersebut lebih banyak membahas tentang sejarah Politeknik Negeri Padang, jumlah jurusan dan program studi, serta lokasi kampus. Informasi tentang pimpinan Politeknik Negeri Padang tidak tercantum dalam dokumen-dokumen tersebut.\n\nNamun, karena informasi yang terkandung dalam dokumen-dokumen tersebut dapat membantu mengetahui lebih lanjut tentang Politeknik Negeri Padang, maka skor diberikan 0.8."
-      },
-      "metrics": {
-        "response_time": 6.59,
-        "retrieved_docs_count": 4,
-        "timestamp": "2025-07-01T18:14:55.146687"
-      }
-    }
-  ]
-}

hasil_evaluasi/k4/pnp_rag_evaluation_results_intermediate_5of11.json

@@ -1,182 +0,0 @@
-{
-  "metadata": {
-    "evaluation_system": "PNP RAG Evaluator",
-    "dataset": "Politeknik Negeri Padang Q&A",
-    "model": "fauziisyrinapridal/sahabat-ai-v1:latest",
-    "evaluator": "llama3",
-    "timestamp": "2025-07-01T18:10:05.339620"
-  },
-  "summary": {
-    "total_evaluations": 5,
-    "correctness": {
-      "mean": 0.88,
-      "median": 0.9,
-      "std": 0.08366600265340754,
-      "min": 0.8,
-      "max": 1.0
-    },
-    "relevance": {
-      "mean": 0.78,
-      "median": 0.8,
-      "std": 0.10954451150103324,
-      "min": 0.6,
-      "max": 0.9
-    },
-    "groundedness": {
-      "mean": 0.78,
-      "median": 0.8,
-      "std": 0.17888543819998318,
-      "min": 0.5,
-      "max": 1.0
-    },
-    "retrieval": {
-      "mean": 0.7100000000000001,
-      "median": 0.8,
-      "std": 0.2012461179749811,
-      "min": 0.35,
-      "max": 0.8
-    },
-    "overall_performance": {
-      "mean": 0.796,
-      "median": 0.8,
-      "std": 0.05650221234606655,
-      "min": 0.7050000000000001,
-      "max": 0.86
-    },
-    "performance_metrics": {
-      "avg_response_time": 28.132399559020996,
-      "median_response_time": 28.615976095199585,
-      "total_response_time": 140.66199779510498,
-      "fastest_response": 15.704330921173096,
-      "slowest_response": 43.192989110946655
-    },
-    "score_distribution": {
-      "excellent_count": 4,
-      "good_count": 1,
-      "fair_count": 0,
-      "poor_count": 0
-    }
-  },
-  "detailed_results": [
-    {
-      "id": 1,
-      "question": "Bagaimana sistem pendidikan yang diterapkan di Politeknik Negeri Padang?",
-      "answer": "Politeknik Negeri Padang menerapkan sistem pendidikan yang konsisten pada jalur pendidikan vokasional dengan menerapkan sistem pembelajaran yang aplikatif serta secara terus menerus menyesuaikan diri dengan perkembangan dunia industri dan dunia usaha yang ada untuk menghasilkan tenaga kerja yang berkompeten sesuai dengan permintaan pasar dan mampu bersaing pada era persaingan global.",
-      "ground_truth": "Sistem pendidikan yang diterapkan di Politeknik adalah dengan menggabungkan pendidikan teoritis, praktek (terapan) di Laboratorium dan praktek industry. Pelaksanaan praktik di industri dilakukan oleh mahasiswa selama satu semester untuk menambah wawasan, pengalaman dan pengembangan ilmu guna membentuk tenaga ahli yang terampil dan profesional.",
-      "scores": {
-        "correctness": 0.8,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 0.8,
-        "overall": 0.8
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sebagian besar benar, tetapi tidak sepenuhnya benar. Fakta bahwa Politeknik Negeri Padang menerapkan sistem pendidikan vokasional dan aplikatif sesuai dengan referensi. Informasi tentang PNP juga akurat, seperti pelaksanaan praktik di industri oleh mahasiswa.\n\nNamun, jawaban yang dievaluasi tidak sepenuhnya benar karena tidak menjelaskan secara spesifik bagaimana sistem pendidikan teoritis dan praktek (terapan) di Laboratorium diterapkan. Selain itu, jawaban juga tidak menjelaskan secara detail bagaimana PNP menyesuaikan diri dengan perkembangan dunia industri dan dunia usaha.\n\nDalam skala 0-1, saya memberikan skor 0.8 karena jawaban yang dievaluasi sebagian besar benar, tetapi tidak sepenuhnya benar.",
-        "relevance": "Jawaban tersebut sebagian besar menjawab langsung pertanyaan yang diajukan, yaitu bagaimana sistem pendidikan yang diterapkan di Politeknik Negeri Padang. Informasi yang diberikan juga sesuai dengan konteks PNP sebagai politeknik vokasional yang berfokus pada pengembangan tenaga kerja yang berkompeten dan mampu bersaing. Namun, jawaban tersebut tidak sepenuhnya menjawab langsung pertanyaan karena tidak memberikan detail tentang sistem pendidikan yang diterapkan secara spesifik di PNP. Fokus jawaban juga relatif terhadap topik, tetapi masih perlu lebih jelas dan spesifik dalam menjawab pertanyaan.",
-        "groundedness": "Jawaban Anda sebagian besar berdasar pada dokumen, namun masih ada beberapa klaim yang tidak didukung oleh dokumen.\n\nKlaim yang didukung oleh dokumen adalah bahwa Politeknik Negeri Padang menerapkan sistem pendidikan yang konsisten pada jalur pendidikan vokasional dengan menerapkan sistem pembelajaran yang aplikatif serta secara terus menerus menyesuaikan diri dengan perkembangan dunia industri dan dunia usaha yang ada. Hal ini didukung oleh Dokumen 1, yang menjelaskan bahwa Politeknik Negeri Padang hadir di tengah-tengah masyarakat dengan menerapkan sistem pendidikan yang konsisten pada jalur pendidikan vokasional.\n\nNamun, klaim lainnya seperti \"mampu bersaing pada era persaingan global\" tidak didukung oleh dokumen. Dokumen 1 hanya menjelaskan bahwa Politeknik Negeri Padang menyesuaikan diri dengan perkembangan dunia industri dan dunia usaha, namun tidak menjelaskan bagaimana mereka mampu bersaing pada era persaingan global.\n\nKlaim lainnya seperti \"sesuai dengan permintaan pasar\" juga tidak didukung oleh dokumen. Dokumen 2 hanya menjelaskan tentang kurikulum pendidikan yang disusun berbasis kompetensi, namun tidak menjelaskan bagaimana program-program mereka sesuai dengan permintaan pasar.\n\nDalam kesimpulan, jawaban Anda sebagian besar berdasar pada dokumen, namun masih ada beberapa klaim yang tidak didukung oleh dokumen. Oleh karena itu, skor yang diberikan adalah 0.8.",
-        "retrieval": "Dokumen 1 dan Dokumen 2 mengandung informasi yang relevan dengan pertanyaan, yaitu tentang sistem pendidikan yang diterapkan di Politeknik Negeri Padang. Dokumen 1 menjelaskan bahwa Politeknik Negeri Padang menerapkan sistem pendidikan vokasional dengan aplikatif dan menyesuaikan diri dengan perkembangan dunia industri dan usaha. Dokumen 2 juga menjelaskan tentang kurikulum berbasis kompetensi yang diterapkan di Politeknik Negeri Padang.\n\nNamun, Dokumen 1 tidak terlalu relevan karena hanya menjelaskan sejarah Politeknik Negeri Padang dan Dokumen 2 tidak mencukupi karena hanya menjelaskan kurikulum berbasis kompetensi tanpa menjelaskan lebih lanjut tentang sistem pendidikan yang diterapkan.\n\nDokumen 3 tidak relevan dengan pertanyaan, karena dokumen ini lebih berkaitan dengan perjanjian kinerja antara Direktur Politeknik Negeri Padang dengan Ditjen Vokasi.\n\nDokumen 4 tidak relevan dengan pertanyaan, karena dokumen ini hanya berisi informasi tentang lokasi kampus Politeknik Negeri Padang dan tidak memiliki informasi yang terkait dengan sistem pendidikan yang diterapkan di Politeknik Negeri Padang.\n\nDalam kesimpulan, Dokumen 1 dan Dokumen 2 mengandung informasi yang relevan dengan pertanyaan, namun Dokumen 3 dan Dokumen 4 tidak relevan. Oleh karena itu, skor yang diberikan adalah 0.8."
-      },
-      "metrics": {
-        "response_time": 43.19,
-        "retrieved_docs_count": 4,
-        "timestamp": "2025-07-01T18:05:58.761430"
-      }
-    },
-    {
-      "id": 2,
-      "question": "Apa saja mata kuliah yang terdapat dalam kurikulum pendidikan Politeknik Negeri Padang?",
-      "answer": "Mata kuliah yang terdapat dalam kurikulum pendidikan Politeknik Negeri Padang adalah:\n- Mata Kuliah Pengembangan Kepribadian (MPK)\n- Mata Kuliah dan Keimuan dan Keterampilan (MKK)\n- Mata Kuliah Berkarya (MKB)\n- Mata Kulah Berkehidupan Bermasyarakat (MBB)",
-      "ground_truth": "Kurikulum Pendidikan telah disusun berbasis kompetensi dengan kelompok mata kuliah sebagai berikut : - Mata Kuliah Pengembangan Kepribadian (MPK) - Mata Kuliah Keimuan dan Keterampilan (MKK) - Mata Kuliah Berkarya (MKB) - Mata Kuliah Berkehidupan Bermasyarakat (MBB)",
-      "scores": {
-        "correctness": 0.9,
-        "relevance": 0.9,
-        "groundedness": 1.0,
-        "retrieval": 0.35,
-        "overall": 0.815
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi memiliki kesamaan dengan jawaban referensi sebesar 90%. Kesamaan tersebut terlihat pada empat mata kuliah yang disebutkan, yaitu MPK, MKK, MKB, dan MBB. Namun, perlu diingat bahwa ada satu kesalahan kecil, yaitu penggunaan \"dan\" antara \"Keimuan\" dan \"Keterampilan\", sehingga menjadi \"Mata Kuliah Keimuan dan Keterampilan (MKK)\" bukan \"Mata Kuliah dan Keimuan dan Keterampilan\".",
-        "relevance": "Jawaban ini sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan yang diajukan tentang mata kuliah yang terdapat dalam kurikulum pendidikan Politeknik Negeri Padang. Informasi yang diberikan juga sesuai dengan konteks PNP, yaitu nama-nama mata kuliah yang terkait dengan pendidikan politeknik. Jawaban ini fokus dan tidak keluar topik, hanya memberikan informasi tentang mata kuliah yang terdapat dalam kurikulum PNP tanpa menambahkan informasi lain yang tidak relevan. Namun, perlu diingat bahwa jawaban ini tidak menjawab secara eksplisit pertanyaan tentang apakah mata kuliah tersebut sesuai dengan kebutuhan industri atau masyarakat, sehingga skornya tidak sempurna.",
-        "groundedness": "Jawaban tersebut sepenuhnya berdasar pada dokumen. Dokumen 1 menjelaskan bahwa kurikulum pendidikan Politeknik Negeri Padang telah disusun berbasis kompetensi dengan kelompok mata kuliah yang terdiri dari MPK, MKK, MKB, dan MBB. Jawaban tersebut tidak menambahkan informasi yang tidak ada di dokumen dan konsisten dengan fakta dalam dokumen.",
-        "retrieval": "Based on the evaluation criteria, I would give the following scores:\n\nDokumen 1: 0.7\nPenjelasan: Dokumen 1 contains some relevant information about the curriculum of Politeknik Negeri Padang, specifically mentioning four types of courses (MPK, MKK, MKB, and MBB). However, it does not directly answer the question about the types of courses offered in the curriculum. The document is somewhat relevant but lacks specific details.\n\nDokumen 2: 0.3\nPenjelasan: Dokumen 2 is an accreditation report that provides information on the program study at Politeknik Negeri Padang, but it does not contain any information about the types of courses offered in the curriculum. The document is not relevant to answering the question.\n\nDokumen 3: 0.1\nPenjelasan: Dokumen 3 contains general information about the campus location and contact details of Politeknik Negeri Padang, but it does not provide any information about the types of courses offered in the curriculum. The document is not relevant to answering the question.\n\nDokumen 4: 0.5\nPenjelasan: Dokumen 4 provides information on scholarships and financial assistance available to students at Politeknik Negeri Padang, but it does not directly answer the question about the types of courses offered in the curriculum. The document is somewhat relevant but lacks specific details.\n\nOverall, I would give an average score of 0.35 out of 1.0."
-      },
-      "metrics": {
-        "response_time": 15.7,
-        "retrieved_docs_count": 4,
-        "timestamp": "2025-07-01T18:06:49.951806"
-      }
-    },
-    {
-      "id": 3,
-      "question": "Bagaimana Politeknik Negeri Padang mendukung misi tridharma perguruan tinggi?",
-      "answer": "Politeknik Negeri Padang didukung oleh tenaga pendidik dan tenaga kependidikan yang profesional pada bidangnya. Jumlah dan kualifikasi staf tersebut berdasarkan keadaan Desember 2017 sebagai berikut :\n\n1. Tenaga Pendidik : S1 = 14 orang S2 = 256 S3 = 21 orang   Yang sedangmenempuh S3 = 7 orang   Yang sdang menempuh S2 = 5 orang\n\n2. Tenaga Kependidikan : SD = 5 orang, SMP = 4 orang, SLTA = 71 orang, D3 = 25 orang,   S1 = 54 orang S2 = 15 orang",
-      "ground_truth": "Politeknik Negeri Padang dalam menjalankan misi tridharma perguruan tinggi didukung oleh tenaga pendidik dan tenaga kependidikan yang profesional pada bidangnya. Jumlah dan kualifikasi staf tersebut berdasarkan keadaan Desember 2017 sebagai berikut : - Tenaga Pendidik : S1 = 14 orang, S2 = 256 orang, S3 = 21 orang (Yang sedang menempuh S3 = 7 orang, Yang sedang menempuh S2 = 5 orang) - Tenaga Kependidikan : SD = 5 orang, SMP = 4 orang, SLTA = 71 orang, D3 = 25 orang, S1 = 54 orang, S2 = 15 orang.",
-      "scores": {
-        "correctness": 0.9,
-        "relevance": 0.6,
-        "groundedness": 0.5,
-        "retrieval": 0.8,
-        "overall": 0.705
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi memiliki kesamaan dengan referensi sebesar 90%. Fakta dalam jawaban sesuai dengan referensi, yaitu jumlah dan kualifikasi staf Politeknik Negeri Padang pada bidangnya. Informasi yang diberikan juga akurat tentang PNP.\n\nNamun, terdapat beberapa ketidaksesuaian data yang kecil. Contohnya, dalam referensi tidak ada informasi tentang jumlah staf S1, S2, dan S3 untuk tenaga pendidik, sedangkan jawaban yang dievaluasi memberikan detail tersebut. Selain itu, tidak ada informasi tentang kualifikasi staf lainnya seperti D4 atau S3.\n\nDalam skor 0.9, saya berdasarkan pada kesamaan antara jawaban dengan referensi, serta akurasi informasi yang diberikan. Namun, saya juga mempertimbangkan ketidaksesuaian data yang kecil dan tidak signifikan.",
-        "relevance": "Jawaban tersebut tidak langsung menjawab pertanyaan yang diajukan, karena pertanyaan mengenai bagaimana PNP mendukung misi tridharma perguruan tinggi, sedangkan jawaban hanya memberikan informasi tentang jumlah dan kualifikasi tenaga pendidik dan kependidikan. Informasi tersebut tidak langsung terkait dengan konsep tridharma perguruan tinggi.\n\nNamun, jawaban tersebut masih memiliki relevansi dengan PNP karena memberikan gambaran tentang sumber daya manusia yang dimiliki oleh PNP. Oleh karena itu, skor 0.6 diberikan untuk jawaban tersebut.",
-        "groundedness": "Jawaban tersebut tidak sepenuhnya berdasar pada dokumen, karena:\n\n* Dokumen tidak menyebutkan tentang \"tenaga pendidik dan tenaga kependidikan yang profesional\" sebagai support Politeknik Negeri Padang.\n* Dokumen juga tidak memuat informasi tentang jumlah dan kualifikasi staf yang diperkenalkan dalam jawaban.\n\nNamun, jawaban tersebut masih memiliki beberapa unsur yang berdasar pada dokumen, seperti:\n\n* Dokumen 1 mengajak tenaga pendidik dan kependidikan untuk bersinergi demi tercapainya tujuan.\n* Dokumen 3 tidak menyebutkan tentang jumlah staf, tetapi menjelaskan kurikulum pendidikan yang telah disusun.\n\nKarena jawaban tersebut memiliki unsur-unsur yang berdasar pada dokumen, namun juga memiliki beberapa bagian yang tidak didukung oleh dokumen, maka skor yang diberikan adalah 0.5.",
-        "retrieval": "Dokumen 1 dan Dokumen 3 memberikan informasi yang relevan dengan pertanyaan, yaitu bagaimana Politeknik Negeri Padang mendukung misi tridharma perguruan tinggi. Dokumen 1 menjelaskan tentang komitmen dan pertanggungjawaban kepada Pemerintah dan Masyarakat, serta tujuan penyelenggaraan pendidikan di Politeknik Negeri Padang. Dokumen 3 memberikan informasi tentang kurikulum pendidikan yang disusun berbasis kompetensi, yang menunjukkan bahwa Politeknik Negeri Padang telah mempertahankan misi tridharma perguruan tinggi.\n\nNamun, Dokumen 2 dan Dokumen 4 tidak terlalu relevan dengan pertanyaan. Dokumen 2 hanya menjelaskan tentang sejarah Politeknik Negeri Padang, sedangkan Dokumen 4 memberikan informasi tentang beasiswa yang tersedia untuk mahasiswa.\n\nDalam penilaian kualitas pengambilan dokumen, saya mempertimbangkan apakah dokumen mengandung informasi yang dibutuhkan untuk menjawab pertanyaan, apakah ada informasi penting yang tidak terambil, dan apakah dokumen yang diambil sesuai dengan topik pertanyaan. Berdasarkan kriteria tersebut, saya memberikan skor 0.8 karena Dokumen 1 dan Dokumen 3 memberikan informasi yang relevan dan lengkap, namun Dokumen 2 dan Dokumen 4 tidak terlalu relevan dengan pertanyaan."
-      },
-      "metrics": {
-        "response_time": 36.49,
-        "retrieved_docs_count": 4,
-        "timestamp": "2025-07-01T18:08:05.436656"
-      }
-    },
-    {
-      "id": 4,
-      "question": "Bagaimana Politeknik Negeri Padang menyediakan akses internet bagi mahasiswa?",
-      "answer": "Politeknik Negeri Padang menyediakan akses internet bagi mahasiswa melalui Anjungan Internet Mandiri (AIM) yang dapat diakses secara gratis di titik-titik strategis kampus. Selain itu, Politeknik Negeri Padang juga memiliki kawasan hot spot area di sekitar kampus, sehingga mahasiswa dapat memanfaatkan internet secara bebas dengan menggunakan laptop/PC.",
-      "ground_truth": "Politeknik Negeri Padang telah memiliki Anjungan Internet Mandiri (AIM) yang dapat diakses oleh mahasiswa secara gratis, yang tersedia pada titik-titik strategis. Juga tersedia kawasan hot spot area di sekitar kampus sehingga mahasiswa dapat memanfaatkan internet dengan bebas menggunakan laptop/PC.",
-      "scores": {
-        "correctness": 1.0,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 0.8,
-        "overall": 0.86
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sepenuhnya sesuai dengan referensi. Fakta-fakta yang diberikan dalam jawaban, seperti adanya Anjungan Internet Mandiri (AIM) dan kawasan hot spot area di sekitar kampus, juga akurat tentang Politeknik Negeri Padang. Tidak ada kesalahan atau ketidaksesuaian data yang terlihat dalam jawaban.",
-        "relevance": "Jawaban ini sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan yang diajukan tentang bagaimana PNP menyediakan akses internet bagi mahasiswa. Informasi yang diberikan juga sesuai dengan konteks PNP, yaitu tentang Anjungan Internet Mandiri (AIM) dan kawasan hot spot area di sekitar kampus. Jawaban ini fokus dan tidak keluar topik, hanya memberikan informasi yang relevan dan berguna untuk menjawab pertanyaan. Namun, jawaban ini tidak sempurna karena tidak memberikan detail lebih lanjut tentang Anjungan Internet Mandiri (AIM) dan kawasan hot spot area, sehingga skor 0.8 diberikan.",
-        "groundedness": "Jawaban Anda sebagian besar berdasar pada dokumen, namun ada beberapa klaim yang tidak didukung oleh dokumen.\n\nPertama, jawaban Anda menyebutkan bahwa Politeknik Negeri Padang memiliki kawasan hot spot area di sekitar kampus. Namun, tidak ada informasi tentang kawasan hot spot area dalam dokumen 1 dan 2. Dokumen 3 hanya berbicara tentang kunjungan Wali Nagari Tanjung Bonai Aur ke PNP, tetapi tidak terkait dengan akses internet.\n\nKedua, jawaban Anda tidak menjelaskan apakah Anjungan Internet Mandiri (AIM) dapat diakses secara gratis di titik-titik strategis kampus. Dokumen 1 hanya berbicara tentang AIM sebagai sarana akses internet bagi mahasiswa Politeknik, tetapi tidak memberikan informasi tentang biaya akses.\n\nNamun, jawaban Anda sebagian besar berdasar pada dokumen, karena Anda mengutip informasi tentang AIM dan kampus Politeknik Negeri Padang. Oleh karena itu, skor yang diberikan adalah 0.8.",
-        "retrieval": "Dokumen 1 dan Dokumen 2 tidak langsung relevan dengan pertanyaan \"Bagaimana Politeknik Negeri Padang menyediakan akses internet bagi mahasiswa?\" Kedua dokumen tersebut lebih berfokus pada informasi tentang tenaga pendidik, kependidikan, dan beasiswa.\n\nDokumen 3 tidak langsung relevan dengan pertanyaan karena isi dokumen tersebut lebih berfokus pada kunjungan, pelatihan, dan penelitian yang tidak terkait dengan akses internet bagi mahasiswa.\n\nHanya Dokumen 4 yang memiliki informasi yang relevan dengan pertanyaan. Dokumen ini memberikan informasi tentang penerimaan mahasiswa baru, termasuk informasi tentang akses internet yang tersedia untuk mahasiswa. Namun, dokumen ini tidak lengkap karena hanya memberikan informasi tentang penerimaan mahasiswa baru dan tidak menjelaskan bagaimana Politeknik Negeri Padang menyediakan akses internet bagi mahasiswa.\n\nOleh karena itu, skor yang diberikan adalah 0.8, karena Dokumen 4 memiliki informasi yang relevan dengan pertanyaan, namun tidak lengkap dan tidak menjelaskan bagaimana Politeknik Negeri Padang menyediakan akses internet bagi mahasiswa."
-      },
-      "metrics": {
-        "response_time": 28.62,
-        "retrieved_docs_count": 4,
-        "timestamp": "2025-07-01T18:09:10.250498"
-      }
-    },
-    {
-      "id": 5,
-      "question": "Apa saja contoh kerjasama Politeknik Negeri Padang dengan industri?",
-      "answer": "Politeknik Negeri Padang menjalin kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya. Kerjasama yang dilakukan tidak hanya di Indonesia tapi juga dengan luar negeri baik dibidang industri maupun perguruan tinggi.",
-      "ground_truth": "PT. Siemens Indonesia, PT. Toyota Aichi Takaoua Japan, PT. PLN, PT. INTI, Futaba Rashi Siisha Kusho Japan, PT. Sintom, PT. Krakatau Steel, Komatssu Shinge Koumuten, PT. PAL Indonesia, PT. Hexindo, Taishurin Co. Ltd Fukuoaka Japan, PT. Texmaco Perkasa, PT. LEN Industri, PT. Toyota Astra Motor, PT. Indah Kiat, PT. Trakindo Utama, BTN.",
-      "scores": {
-        "correctness": 0.8,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 0.8,
-        "overall": 0.8
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sebagian benar, sebagian salah. PNP memang menjalin kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya, seperti terlihat dalam daftar nama-nama perusahaan yang disebutkan. Namun, informasi tentang kerjasama luar negeri tidak sesuai dengan referensi, karena tidak ada bukti bahwa PNP memiliki kerjasama dengan perusahaan-perusahaan Jepang seperti Futaba Rashi Siisha Kusho Japan, Taishurin Co. Ltd Fukuoaka Japan, dan Komatssu Shinge Koumuten.\n\nKesalahan lainnya adalah adanya nama-nama perusahaan yang tidak relevan dengan PNP, seperti PT. PAL Indonesia dan BTN, yang seharusnya tidak termasuk dalam daftar kerjasama PNP. Oleh karena itu, skor 0.8 diberikan karena jawaban sebagian benar namun juga memiliki kesalahan signifikan.",
-        "relevance": "Jawaban tersebut tidak menjawab langsung pertanyaan yang diajukan, karena pertanyaan mengharapkan contoh kerjasama PNP dengan industri, sedangkan jawaban memberikan informasi tentang berbagai jenis kerjasama yang dilakukan PNP, baik domestik maupun internasional. Meskipun demikian, jawaban tersebut masih relevan dan tepat sasaran karena memberikan gambaran umum tentang scope kerjasama PNP dengan industri.",
-        "groundedness": "Jawaban Anda sebagian besar berdasar pada dokumen, namun ada beberapa klaim yang tidak didukung oleh dokumen.\n\nKlaim \"Politeknik Negeri Padang menjalin kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya\" didukung oleh Dokumen 1. Namun, klaim \"Kerjasama yang dilakukan tidak hanya di Indonesia tapi juga dengan luar negeri baik dibidang industri maupun perguruan tinggi\" tidak didukung oleh dokumen. Dokumen tidak menyebutkan kerjasama dengan luar negeri.\n\nJawaban Anda juga tidak konsisten dengan fakta dalam Dokumen 3, yang menjelaskan bahwa Politeknik Negeri Padang hadir di tengah-tengah masyarakat dengan menerapkan sistem pendidikan yang konsisten pada jalur pendidikan vokasional. Jawaban Anda tidak menyebutkan hal ini.\n\nNamun, jawaban Anda sebagian besar berdasar pada dokumen dan memiliki beberapa klaim yang didukung oleh dokumen. Oleh karena itu, skor 0.8 diberikan.",
-        "retrieval": "Dokumen 1 dan Dokumen 3 tidak langsung menjawab pertanyaan, namun memberikan informasi tentang Politeknik Negeri Padang sebagai institusi pendidikan vokasional yang berfokus pada pengembangan tenaga kerja. Dokumen 2 tidak relevan dengan pertanyaan karena perjanjian kinerja antara Politeknik Negeri Padang dengan Menteri Riset Teknologi Dan Pendidikan Tinggi Tahun 2019 tidak menjawab pertanyaan tentang contoh kerjasama Politeknik Negeri Padang dengan industri.\n\nDokumen 4 sebagian menjawab pertanyaan, namun informasinya tidak lengkap dan tidak spesifik tentang contoh kerjasama Politeknik Negeri Padang dengan industri. Oleh karena itu, skor yang diberikan adalah 0.8, karena dokumen 1 dan Dokumen 3 memberikan informasi umum tentang Politeknik Negeri Padang, sementara Dokumen 4 sebagian menjawab pertanyaan namun tidak lengkap."
-      },
-      "metrics": {
-        "response_time": 16.66,
-        "retrieved_docs_count": 4,
-        "timestamp": "2025-07-01T18:10:05.339111"
-      }
-    }
-  ]
-}

hasil_evaluasi/k4/summary.txt

@@ -1,27 +0,0 @@
-============================================================
-         PNP RAG EVALUATION SUMMARY
-============================================================
-Total Evaluations: 11
-Evaluation Time: 705.2s
-
-SCORE BREAKDOWN:
-  Correctness:  0.836 ± 0.129
-  Relevance:    0.782 ± 0.125
-  Groundedness: 0.709 ± 0.221
-  Retrieval:    0.750 ± 0.175
-  Overall:      0.774 ± 0.092
-
-PERFORMANCE DISTRIBUTION:
-  Excellent (≥0.8): 7 (63.6%)
-  Good (0.6-0.8):   3 (27.3%)
-  Fair (0.4-0.6):   1 (9.1%)
-  Poor (<0.4):      0 (0.0%)
-
-RESPONSE TIME STATS:
-  Average: 24.76s
-  Median:  28.62s
-  Range:   6.59s - 43.19s
-============================================================
-
-Evaluation completed successfully!
-Results saved to: pnp_rag_evaluation_results.json

hasil_evaluasi/k6/pnp_rag_evaluation_results.json

@@ -1,328 +0,0 @@
-{
-  "metadata": {
-    "evaluation_system": "PNP RAG Evaluator",
-    "dataset": "Politeknik Negeri Padang Q&A",
-    "model": "fauziisyrinapridal/sahabat-ai-v1:latest",
-    "evaluator": "llama3",
-    "timestamp": "2025-07-01T20:05:20.007182"
-  },
-  "summary": {
-    "total_evaluations": 11,
-    "correctness": {
-      "mean": 0.8545454545454546,
-      "median": 0.9,
-      "std": 0.13684762594679065,
-      "min": 0.5,
-      "max": 1.0
-    },
-    "relevance": {
-      "mean": 0.7636363636363637,
-      "median": 0.8,
-      "std": 0.11200649331826504,
-      "min": 0.5,
-      "max": 0.9
-    },
-    "groundedness": {
-      "mean": 0.5909090909090909,
-      "median": 0.8,
-      "std": 0.2809076198843508,
-      "min": 0.0,
-      "max": 0.8
-    },
-    "retrieval": {
-      "mean": 0.7818181818181819,
-      "median": 0.8,
-      "std": 0.16011359603844902,
-      "min": 0.5,
-      "max": 1.0
-    },
-    "overall_performance": {
-      "mean": 0.7513636363636363,
-      "median": 0.7949999999999999,
-      "std": 0.1399301773937793,
-      "min": 0.375,
-      "max": 0.8999999999999999
-    },
-    "performance_metrics": {
-      "avg_response_time": 39.95894022421403,
-      "median_response_time": 38.612847089767456,
-      "total_response_time": 439.54834246635437,
-      "fastest_response": 7.8230438232421875,
-      "slowest_response": 96.34029650688171
-    },
-    "score_distribution": {
-      "excellent_count": 5,
-      "good_count": 5,
-      "fair_count": 0,
-      "poor_count": 1
-    },
-    "evaluation_time": 887.4208161830902,
-    "timestamp": "2025-07-01T20:05:20.007182"
-  },
-  "detailed_results": [
-    {
-      "id": 1,
-      "question": "Bagaimana sistem pendidikan yang diterapkan di Politeknik Negeri Padang?",
-      "answer": "Sistem pendidikan yang diterapkan di Politeknik Negeri Padang adalah dengan menggabungkan pendidikan teoritis, praktek (terapan) di Laboratorium dan praktek industry. Pelaksanaan praktik di industri dilakukan oleh mahasiswa selama satu semester untuk menambah wawasan, pengalaman dan pengembangan ilmu guna membentuk tenaga ahli yang terampil dan profesional.",
-      "ground_truth": "Sistem pendidikan yang diterapkan di Politeknik adalah dengan menggabungkan pendidikan teoritis, praktek (terapan) di Laboratorium dan praktek industry. Pelaksanaan praktik di industri dilakukan oleh mahasiswa selama satu semester untuk menambah wawasan, pengalaman dan pengembangan ilmu guna membentuk tenaga ahli yang terampil dan profesional.",
-      "scores": {
-        "correctness": 1.0,
-        "relevance": 0.8,
-        "groundedness": 0.5,
-        "retrieval": 0.8,
-        "overall": 0.785
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sepenuhnya sesuai dengan referensi. Fakta-fakta yang diberikan dalam jawaban, seperti menggabungkan pendidikan teoritis, praktek di Laboratorium, dan praktek industry, serta pelaksanaan praktik di industri selama satu semester untuk menambah wawasan, pengalaman, dan pengembangan ilmu, semua sesuai dengan referensi. Informasi yang diberikan tentang PNP juga akurat dan tidak ada kesalahan atau ketidaksesuaian data.",
-        "relevance": "Jawaban ini sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan tentang sistem pendidikan yang diterapkan di Politeknik Negeri Padang. Informasi yang diberikan juga sesuai dengan konteks PNP, yaitu menggabungkan pendidikan teoritis, praktek (terapan) di Laboratorium dan praktek industry. Jawaban ini fokus dan tidak keluar topik, hanya membahas sistem pendidikan yang diterapkan di PNP tanpa menambahkan informasi yang tidak relevan. Namun, jawaban ini tidak sempurna karena tidak menjelaskan lebih lanjut tentang bagaimana pelaksanaan praktik di industri dilakukan oleh mahasiswa dan apa yang mereka lakukan selama satu semester.",
-        "groundedness": "Jawaban tidak sepenuhnya berdasar pada dokumen, namun ada beberapa informasi yang didukung oleh dokumen.\n\nDokumen 1 menjelaskan bahwa Politeknik Negeri Padang memiliki sistem pendidikan vokasional dengan aplikatif dan menyesuaikan diri dengan perkembangan dunia industri. Namun, tidak ada informasi tentang pelaksanaan praktik di industri yang disebutkan dalam jawaban.\n\nDokumen 2 hanya menjelaskan kurikulum pendidikan berbasis kompetensi tanpa menggambarkan sistem pendidikan yang diterapkan.\n\nDokumen 3-6 tidak memiliki informasi tentang sistem pendidikan yang diterapkan di Politeknik Negeri Padang.\n\nJawaban juga tidak konsisten dengan fakta dalam dokumen. Dokumen 1 hanya menjelaskan bahwa Politeknik Negeri Padang memiliki sistem pendidikan vokasional, namun jawaban menggabungkan pendidikan teoritis, praktek (terapan) di Laboratorium dan praktek industry yang tidak ada dalam dokumen.\n\nNamun, jawaban juga memiliki beberapa informasi yang didukung oleh dokumen, seperti sistem pendidikan vokasional yang diterapkan di Politeknik Negeri Padang. Oleh karena itu, skor 0.5 diberikan.",
-        "retrieval": "Dokumen 1 dan Dokumen 2 memberikan informasi tentang sistem pendidikan yang diterapkan di Politeknik Negeri Padang, termasuk kurikulum berbasis kompetensi dan program D IV. Informasi ini relevan dengan pertanyaan karena menjawab bagaimana sistem pendidikan di Politeknik Negeri Padang.\n\nDokumen 3 memberikan informasi tentang perjanjian kinerja antara Direktur Politeknik Negeri Padang dengan Ditjen Vokasi, yang dapat membantu menjawab pertanyaan. Namun, dokumen ini tidak langsung mengandung informasi tentang sistem pendidikan.\n\nDokumen 4 dan Dokumen 6 memberikan informasi tentang lokasi kampus dan jadwal perkuliahan, tetapi tidak relevan dengan pertanyaan.\n\nDokumen 5 memberikan informasi tentang tata nilai Politeknik Negeri Padang, yang tidak langsung mengandung informasi tentang sistem pendidikan.\n\nDalam keseluruhan, dokumen 1 dan Dokumen 2 sangat relevan dan lengkap dalam menjawab pertanyaan. Oleh karena itu, skor yang diberikan adalah 0.8."
-      },
-      "metrics": {
-        "response_time": 96.34,
-        "retrieved_docs_count": 6,
-        "timestamp": "2025-07-01T19:52:48.451999"
-      }
-    },
-    {
-      "id": 2,
-      "question": "Apa saja mata kuliah yang terdapat dalam kurikulum pendidikan Politeknik Negeri Padang?",
-      "answer": "Mata kuliah yang terdapat dalam kurikulum pendidikan Politeknik Negeri Padang adalah:\n\n1. Mata Kuliah Pengembangan Kepribadian (MPK)\n2. Mata Kuliah dan Keimuan dan Keterampilan (MKK)\n3. Mata Kuliah Berkarya (MKB)\n4. Mata Kulah Berkehidupan Bermasyarakat (MBB)",
-      "ground_truth": "Kurikulum Pendidikan telah disusun berbasis kompetensi dengan kelompok mata kuliah sebagai berikut : - Mata Kuliah Pengembangan Kepribadian (MPK) - Mata Kuliah Keimuan dan Keterampilan (MKK) - Mata Kuliah Berkarya (MKB) - Mata Kuliah Berkehidupan Bermasyarakat (MBB)",
-      "scores": {
-        "correctness": 0.9,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 0.8,
-        "overall": 0.83
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi memiliki kesamaan dengan referensi sebesar 90%. Kesamaan tersebut terlihat pada mata kuliah MPK, MKK, MKB, dan MBB yang tercantum dalam kurikulum pendidikan Politeknik Negeri Padang. Namun, terdapat satu kesalahan kecil yaitu penulisan \"Mata Kulah\" menjadi \"Mata Kuliah\" pada nomor 4. Karena kesalahan tersebut, skor yang diberikan adalah 0.9.",
-        "relevance": "Jawaban ini sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan yang diajukan tentang mata kuliah yang terdapat dalam kurikulum pendidikan Politeknik Negeri Padang. Informasi yang diberikan juga sesuai dengan konteks PNP, yaitu nama-nama mata kuliah yang terkait dengan pendidikan politeknik. Namun, jawaban ini tidak sempurna karena tidak menjelaskan lebih lanjut tentang isi atau tujuan dari masing-masing mata kuliah tersebut.",
-        "groundedness": "Jawaban Anda menyebutkan empat mata kuliah yang terdapat dalam kurikulum pendidikan Politeknik Negeri Padang, yaitu MPK, MKK, MKB, dan MBB. Dokumen 1 memang menjelaskan tentang kurikulum pendidikan yang telah disusun berbasis kompetensi dengan kelompok mata kuliah sebagai berikut: Mata Kuliah Pengembangan Kepribadian (MPK), Mata Kuliah dan Keimuan dan Keterampilan (MKK), Mata Kuliah Berkarya (MKB), dan Mata Kulah Berkehidupan Bermasyarakat (MBB). Namun, dokumen lainnya tidak menyebutkan informasi tentang mata kuliah tersebut.\n\nDokumen 2-6 tidak memiliki informasi yang relevan dengan mata kuliah. Oleh karena itu, jawaban Anda hanya didukung oleh Dokumen 1 sebesar 80%, sehingga skor yang diberikan adalah 0.8.",
-        "retrieval": "Dokumen 1 dan Dokumen 6 mengandung informasi yang relevan dengan pertanyaan, yaitu tentang mata kuliah yang terdapat dalam kurikulum pendidikan Politeknik Negeri Padang. Dokumen 1 menjelaskan bahwa kurikulum Pendidikan telah disusun berbasis kompetensi dengan kelompok mata kuliah sebagai berikut : Mata Kuliah Pengembangan Kepribadian (MPK), Mata Kuliah dan Keimuan dan Keterampilan (MKK), Mata Kulah Berkehidupan Bermasyarakat (MBB). Dokumen 6 menampilkan jadwal perkuliahan Politeknik Negeri Padang D3 TEL II A, yang mencakup informasi tentang mata kuliah dan waktu pelajaran.\n\nNamun, dokumen lainnya tidak terlalu relevan dengan pertanyaan. Dokumen 2 hanya berisi informasi akreditasi program studi, sedangkan Dokumen 3 berisi informasi lokasi kampus Politeknik Negeri Padang. Dokumen 4 berisi informasi tentang beasiswa yang tersedia untuk mahasiswa, tetapi tidak terkait dengan pertanyaan. Dokumen 5 berisi informasi tentang penerimaan mahasiswa baru, tetapi tidak memiliki informasi yang relevan dengan pertanyaan.\n\nDalam kesimpulan, dokumen 1 dan Dokumen 6 adalah dokumen yang paling relevan dengan pertanyaan, sehingga skor yang diberikan adalah 0.8."
-      },
-      "metrics": {
-        "response_time": 38.61,
-        "retrieved_docs_count": 6,
-        "timestamp": "2025-07-01T19:54:03.313289"
-      }
-    },
-    {
-      "id": 3,
-      "question": "Bagaimana Politeknik Negeri Padang mendukung misi tridharma perguruan tinggi?",
-      "answer": "Politeknik Negeri Padang didukung oleh tenaga pendidik dan tenaga kependidikan yang profesional pada bidangnya. Jumlah dan kualifikasi staf tersebut berdasarkan keadaan Desember 2017 sebagai berikut :\n\n1. Tenaga Pendidik : S1 = 14 orang S2 = 256 S3 = 21 orang   Yang sedangmenempuh S3 = 7 orang   Yang sdang menempuh S2 = 5 orang\n\n2. Tenaga Kependidikan : SD = 5 orang, SMP = 4 orang, SLTA = 71 orang, D3 = 25 orang,   S1 = 54 orang S2 = 15 orang",
-      "ground_truth": "Politeknik Negeri Padang dalam menjalankan misi tridharma perguruan tinggi didukung oleh tenaga pendidik dan tenaga kependidikan yang profesional pada bidangnya. Jumlah dan kualifikasi staf tersebut berdasarkan keadaan Desember 2017 sebagai berikut : - Tenaga Pendidik : S1 = 14 orang, S2 = 256 orang, S3 = 21 orang (Yang sedang menempuh S3 = 7 orang, Yang sedang menempuh S2 = 5 orang) - Tenaga Kependidikan : SD = 5 orang, SMP = 4 orang, SLTA = 71 orang, D3 = 25 orang, S1 = 54 orang, S2 = 15 orang.",
-      "scores": {
-        "correctness": 0.9,
-        "relevance": 0.6,
-        "groundedness": 0.5,
-        "retrieval": 0.8,
-        "overall": 0.705
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sangat mirip dengan jawaban referensi, hanya ada beberapa perbedaan kecil dalam penulisan dan format data. Keduanya memiliki informasi yang sama tentang jumlah dan kualifikasi tenaga pendidik dan tenaga kependidikan PNP.\n\nNamun, terdapat beberapa kesalahan kecil yang membuat skor tidak sempurna:\n\n* Tidak ada spasi antara baris dalam penulisan data, sehingga menjadi sulit dibaca.\n* Penulisan \"Yang sedang menempuh S3 = 7 orang\" dan \"Yang sdang menempuh S2 = 5 orang\" agak tidak rapih.\n\nKesalahan-kesalahan kecil ini membuat skor menjadi 0.9, bukan 1.0.",
-        "relevance": "Jawaban yang diberikan tidak langsung menjawab pertanyaan tentang bagaimana PNP mendukung misi tridharma perguruan tinggi. Jawaban tersebut lebih fokus pada jumlah dan kualifikasi tenaga pendidik dan kependidikan di PNP, namun tidak menjelaskan bagaimana mereka mendukung misi tridharma.\n\nNamun, jawaban tersebut masih relevan dengan konteks PNP karena informasi yang diberikan tentang tenaga pendidik dan kependidikan dapat membantu memahami bagaimana PNP beroperasi. Oleh karena itu, skor 0.6 diberikan untuk jawaban yang relatif relevan namun tidak langsung menjawab pertanyaan.\n\nPerlu diingat bahwa jawaban yang lebih relevan dan tepat sasaran akan memberikan skor yang lebih tinggi, seperti 0.8 atau 1.0.",
-        "groundedness": "Jawaban tersebut tidak sepenuhnya berdasar pada dokumen, karena:\n\n* Dokumen tidak menyebutkan jumlah dan kualifikasi staf yang diperlukan.\n* Dokumen hanya menjabarkan tentang komitmen dan pertanggungjawaban kepada Pemerintah dan Masyarakat, serta tujuan Politeknik Negeri Padang, tetapi tidak memberikan informasi tentang tenaga pendidik dan kependidikan.\n* Jawaban tersebut juga tidak konsisten dengan fakta dalam dokumen, karena tidak ada informasi tentang jumlah dan kualifikasi staf yang diperlukan.\n\nNamun, jawaban tersebut juga tidak sepenuhnya tidak berdasar pada dokumen, karena:\n\n* Dokumen 1-5 memberikan informasi tentang Politeknik Negeri Padang sebagai lembaga pendidikan vokasional yang profesional.\n* Dokumen 6 memberikan informasi tentang Tata Nilai Politeknik Negeri Padang.\n\nDengan demikian, skor yang diberikan adalah 0.5, karena jawaban tersebut tidak sepenuhnya berdasar pada dokumen, tetapi juga tidak sepenuhnya tidak berdasar pada dokumen.",
-        "retrieval": "Dokumen-dokumen yang diambil terdiri dari berbagai informasi tentang Politeknik Negeri Padang, termasuk visi dan misinya, program pendidikan, kurikulum, bantuan untuk mahasiswa, serta kerjasama dengan lembaga lain. Dokumen 1-5 memberikan gambaran yang jelas tentang bagaimana Politeknik Negeri Padang mendukung misi tridharma perguruan tinggi, termasuk pengembangan pendidikan vokasional, penelitian, dan karya pengabdian kepada masyarakat.\n\nNamun, dokumen 6 tidak terlalu relevan dengan pertanyaan yang diajukan. Dokumen ini lebih berfokus pada profil Politeknik Negeri Padang dan tata nilai, sehingga informasinya tidak langsung membantu menjawab pertanyaan.\n\nDalam keseluruhan, dokumen-dokumen yang diambil memberikan informasi yang cukup untuk menjawab pertanyaan, tetapi masih ada beberapa informasi penting yang tidak terambil. Oleh karena itu, skor yang diberikan adalah 0.8."
-      },
-      "metrics": {
-        "response_time": 53.35,
-        "retrieved_docs_count": 6,
-        "timestamp": "2025-07-01T19:55:35.747438"
-      }
-    },
-    {
-      "id": 4,
-      "question": "Bagaimana Politeknik Negeri Padang menyediakan akses internet bagi mahasiswa?",
-      "answer": "Politeknik Negeri Padang menyediakan akses internet bagi mahasiswa melalui Anjungan Internet Mandiri (AIM) yang dapat diakses secara gratis di titik-titik strategis kampus. Selain itu, Politeknik Negeri Padang juga memiliki kawasan hot spot area di sekitar kampus, sehingga mahasiswa dapat memanfaatkan internet secara bebas dengan menggunakan laptop/PC.",
-      "ground_truth": "Politeknik Negeri Padang telah memiliki Anjungan Internet Mandiri (AIM) yang dapat diakses oleh mahasiswa secara gratis, yang tersedia pada titik-titik strategis. Juga tersedia kawasan hot spot area di sekitar kampus sehingga mahasiswa dapat memanfaatkan internet dengan bebas menggunakan laptop/PC.",
-      "scores": {
-        "correctness": 1.0,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 1.0,
-        "overall": 0.9
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sepenuhnya sesuai dengan referensi. Fakta-fakta yang diberikan dalam jawaban, seperti adanya Anjungan Internet Mandiri (AIM) dan kawasan hot spot area di sekitar kampus, juga akurat tentang Politeknik Negeri Padang. Tidak ada kesalahan atau ketidaksesuaian data dalam jawaban.",
-        "relevance": "Jawaban ini sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan yang diajukan tentang bagaimana PNP menyediakan akses internet bagi mahasiswa. Informasi yang diberikan juga sesuai dengan konteks PNP, yaitu tentang Anjungan Internet Mandiri (AIM) dan kawasan hot spot area di sekitar kampus. Jawaban ini fokus dan tidak keluar topik, hanya memberikan informasi yang relevan dan berguna untuk menjawab pertanyaan. Namun, jawaban ini tidak sempurna karena tidak memberikan detail lebih lanjut tentang Anjungan Internet Mandiri (AIM) dan kawasan hot spot area, sehingga skor 0.8 diberikan.",
-        "groundedness": "Jawaban tersebut sebagian besar berdasar pada dokumen, namun ada beberapa klaim yang tidak didukung oleh dokumen.\n\n* Klaim bahwa Politeknik Negeri Padang menyediakan akses internet bagi mahasiswa melalui Anjungan Internet Mandiri (AIM) yang dapat diakses secara gratis di titik-titik strategis kampus. Dokumen 1 dan Dokumen 3 tidak mengatakan tentang AIM, namun Dokumen 5 hanya berisi informasi teknis tentang gtranslateSettings.\n* Klaim bahwa Politeknik Negeri Padang memiliki kawasan hot spot area di sekitar kampus. Dokumen 1 tidak mengatakan tentang hot spot area.\n\nNamun, jawaban tersebut juga memuat beberapa informasi yang didukung oleh dokumen, seperti:\n\n* Informasi tentang AIM dan kawasan hot spot area di Dokumen 2.\n* Informasi tentang Politeknik Negeri Padang sebagai institusi pendidikan yang memiliki kampus dan program studi.\n\nDalam skala 0-1, saya memberikan skor 0.8 karena jawaban tersebut sebagian besar berdasar pada dokumen, namun ada beberapa klaim yang tidak didukung oleh dokumen.",
-        "retrieval": "Based on the provided documents, I evaluate the relevance and completeness of each document in answering the question \"Bagaimana Politeknik Negeri Padang menyediakan akses internet bagi mahasiswa?\"\n\nDocument 1: This document provides information about the number of staff members at Politeknik Negeri Padang, but it does not directly relate to the provision of internet access for students. Score: 0.2\nPenjelasan: The document provides some general information about the institution, but it is not relevant to the specific question being asked.\n\nDocument 2: This document discusses various forms of assistance and scholarships available to students at Politeknik Negeri Padang, including beasiswa for academic excellence. However, it does not specifically mention internet access. Score: 0.3\nPenjelasan: The document provides some relevant information about student support services, but it is not directly related to the provision of internet access.\n\nDocument 3: This document appears to be a collection of news articles and announcements from Politeknik Negeri Padang, including mentions of digital initiatives and technology transfer. However, it does not specifically address the question of how the institution provides internet access for students. Score: 0.1\nPenjelasan: The document is too general and does not provide specific information about internet access.\n\nDocument 4: This document appears to be related to student admission procedures at Politeknik Negeri Padang, including links to relevant information and forms. However, it does not specifically address the question of how the institution provides internet access for students. Score: 0.1\nPenjelasan: The document is too general and does not provide specific information about internet access.\n\nDocument 5: This document appears to be a settings file for Google Translate, which is not relevant to the question being asked. Score: 0.0\nPenjelasan: The document is not related to the provision of internet access or any other aspect of student life at Politeknik Negeri Padang.\n\nDocument 6: This document appears to be a performance agreement between the Director of Politeknik Negeri Padang and the Directorate General for Vocational Education, which does not specifically address the question of how the institution provides internet access for students. Score: 0.1\nPenjelasan: The document is too general and does not provide specific information about internet access.\n\nOverall score: 0.5\n\nPenjelasan: While some documents provide relevant information about Politeknik Negeri Padang, none of them specifically address the question of how the institution provides internet access for students. Therefore, I would give a score of 0.5 out of 1.0."
-      },
-      "metrics": {
-        "response_time": 34.6,
-        "retrieved_docs_count": 6,
-        "timestamp": "2025-07-01T19:56:55.199826"
-      }
-    },
-    {
-      "id": 5,
-      "question": "Apa saja contoh kerjasama Politeknik Negeri Padang dengan industri?",
-      "answer": "Politeknik Negeri Padang menjalin kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya. Kerjasama yang dilakukan tidak hanya di Indonesia tapi juga dengan luar negeri baik dibidang industri maupun perguruan tinggi.",
-      "ground_truth": "PT. Siemens Indonesia, PT. Toyota Aichi Takaoua Japan, PT. PLN, PT. INTI, Futaba Rashi Siisha Kusho Japan, PT. Sintom, PT. Krakatau Steel, Komatssu Shinge Koumuten, PT. PAL Indonesia, PT. Hexindo, Taishurin Co. Ltd Fukuoaka Japan, PT. Texmaco Perkasa, PT. LEN Industri, PT. Toyota Astra Motor, PT. Indah Kiat, PT. Trakindo Utama, BTN.",
-      "scores": {
-        "correctness": 0.8,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 0.5,
-        "overall": 0.74
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sebagian benar, sebagian salah. PNP memang menjalin kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya, seperti terlihat dalam daftar nama-nama perusahaan yang disebutkan. Namun, informasi tentang kerjasama luar negeri tidak sesuai dengan referensi, karena tidak ada bukti bahwa PNP menjalin kerjasama dengan perusahaan-perusahaan Jepang seperti Futaba Rashi Siisha Kusho Japan, Taishurin Co. Ltd Fukuoaka Japan, dan Komatssu Shinge Koumuten.\n\nKesalahan lainnya adalah adanya nama-nama perusahaan yang tidak relevan dengan PNP, seperti PT. PAL Indonesia dan BTN, yang bukan merupakan kerjasama PNP dengan industri. Oleh karena itu, skor 0.8 diberikan karena jawaban sebagian benar namun juga mengandung kesalahan.",
-        "relevance": "Jawaban ini relevan dan tepat sasaran, namun tidak langsung menjawab pertanyaan yang diajukan. Pertanyaan meminta contoh kerjasama PNP dengan industri, tetapi jawaban lebih fokus pada jenis kerjasama yang dilakukan PNP daripada memberikan contoh spesifik. Informasi yang diberikan juga sesuai dengan konteks PNP sebagai politeknik negeri yang menjalin kerjasama dengan berbagai pihak. Namun, untuk meningkatkan relevansi dan tepat sasaran, jawaban dapat lebih fokus pada contoh-contoh kerjasama PNP dengan industri yang spesifik.",
-        "groundedness": "Jawaban Anda sebagian besar berdasar pada dokumen, namun terdapat beberapa klaim yang tidak didukung oleh dokumen.\n\nKlaim \"Politeknik Negeri Padang menjalin kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya\" didukung oleh Dokumen 1, yang menyatakan bahwa Politeknik Negeri Padang telah menjalin berbagai kerjasama dengan industri, stake holder, dan instansi lainnya.\n\nNamun, klaim \"Kerjasama yang dilakukan tidak hanya di Indonesia tapi juga dengan luar negeri baik dibidang industri maupun perguruan tinggi\" tidak didukung oleh dokumen. Dokumen 1 hanya menyatakan bahwa Politeknik Negeri Padang telah menjalin berbagai kerjasama, namun tidak memberikan informasi tentang lokasi atau bidang kerjasama.\n\nDalam penilaian, saya memberikan skor 0.8 karena jawaban Anda sebagian besar berdasar pada dokumen, namun terdapat beberapa klaim yang tidak didukung oleh dokumen.",
-        "retrieval": "The document mentions that PNP has collaborated with various stakeholders, including industries, but it does not provide specific examples of these collaborations.\n\nDocument 2:\nSkor: 0.8"
-      },
-      "metrics": {
-        "response_time": 21.09,
-        "retrieved_docs_count": 6,
-        "timestamp": "2025-07-01T19:57:57.391660"
-      }
-    },
-    {
-      "id": 6,
-      "question": "Bagaimana Politeknik Negeri Padang membantu mahasiswa dalam bidang prestasi dan ekonomi?",
-      "answer": "Politeknik Negeri Padang menyediakan bantuan untuk sekitar 800 orang mahasiswa setiap tahunnya. Bantuan ini diberikan kepada mahasiswa yang berprestasi dalam bidang akademik dan prestasi lainnya, serta mahasiswa kurang mampu. Beasiswa yang tersedia antara lain: Beasiswa Peningkatan Prestasi Akademik (PPA), Beasiswa Kerja Mahasiswa (BKM), Beasiswa Bantuan Belajar Mahasiswa (BBM), Beasiswa TPSDP, Beasiswa Kredit Bantuan Belajar Mahasiswa (KBBM), Beasiswa Depertemen Hankam (ABRI), Beasiswa PT. Toyota Astra, Beasiswa ORBIT (ICMI), Beasiswa Supersemar.",
-      "ground_truth": "Tersedia bantuan untuk sekitar 800 mahasiswa setiap tahunnya. Beasiswa yang diterima antara lain: - Beasiswa Peningkatan Prestasi Akademik (PPA), - Beasiswa Kerja Mahasiswa (BKM), - Beasiswa Bantuan Belajar Mahasiswa (BBM), - Beasiswa TPSDP, - Beasiswa Kredit Bantuan Belajar Mahasiswa (KBBM), - Beasiswa Depertemen Hankam (ABRI), - Beasiswa PT. Toyota Astra, - Beasiswa ORBIT (ICMI), - Beasiswa Supersemar.",
-      "scores": {
-        "correctness": 0.9,
-        "relevance": 0.8,
-        "groundedness": 0.5,
-        "retrieval": 1.0,
-        "overall": 0.795
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sangat mirip dengan jawaban referensi, hanya ada beberapa perbedaan kecil dalam penulisan dan penggunaan kata-kata. Fakta-fakta yang diberikan sesuai dengan referensi, termasuk jumlah mahasiswa yang dibantu setiap tahunnya (sekitar 800 orang). Informasi tentang beasiswa yang tersedia juga akurat dan sesuai dengan referensi. Namun, terdapat beberapa perbedaan kecil dalam penulisan, seperti penggunaan kata \"kurang mampu\" di jawaban yang dievaluasi tidak ditemukan di jawaban referensi. Oleh karena itu, skor 0.9 diberikan untuk jawaban yang dievaluasi.",
-        "relevance": "Jawaban ini relevan dan tepat sasaran karena menjawab langsung pertanyaan tentang bagaimana PNP membantu mahasiswa dalam bidang prestasi dan ekonomi. Informasi yang diberikan juga sesuai dengan konteks PNP, yaitu menyediakan bantuan untuk sekitar 800 orang mahasiswa setiap tahunnya. Jawaban ini fokus pada bagaimana PNP membantu mahasiswa, tidak keluar topik dan memberikan contoh-contoh beasiswa yang tersedia. Namun, jawaban ini tidak sepenuhnya relevan karena tidak menjelaskan secara spesifik bagaimana bantuan tersebut mempengaruhi prestasi dan ekonomi mahasiswa.",
-        "groundedness": "Jawaban Anda menyebutkan bahwa Politeknik Negeri Padang menyediakan bantuan untuk sekitar 800 orang mahasiswa setiap tahunnya, serta beberapa jenis beasiswa yang tersedia. Namun, tidak ada dokumen yang secara eksplisit mengatakan bahwa Politeknik Negeri Padang memberikan bantuan kepada mahasiswa kurang mampu.\n\nDokumen 1 hanya menjelaskan tentang beasiswa yang diterima oleh mahasiswa Politeknik Negeri Padang, tetapi tidak menjelaskan tentang bantuan untuk mahasiswa kurang mampu. Dokumen lainnya juga tidak memberikan informasi tentang bantuan tersebut.\n\nJawaban Anda juga menyebutkan beberapa jenis beasiswa yang tersedia, seperti Beasiswa Peningkatan Prestasi Akademik (PPA), Beasiswa Kerja Mahasiswa (BKM), dan lain-lain. Namun, tidak ada dokumen yang secara eksplisit mengatakan bahwa semua beasiswa tersebut diberikan oleh Politeknik Negeri Padang.\n\nOleh karena itu, skor saya adalah 0.5, karena jawaban Anda sebagian berdasar pada dokumen, tetapi juga memiliki informasi yang tidak didukung oleh dokumen.",
-        "retrieval": "Based on the provided documents, I evaluate the relevance and completeness of each document in answering the question \"Bagaimana Politeknik Negeri Padang membantu mahasiswa dalam bidang prestasi dan ekonomi?\"\n\nDocument 1: Skor = 0.8\nPenjelasan: This document provides information on the types of scholarships available to students at Politeknik Negeri Padang, including Beasiswa Peningkatan Prestasi Akademik (PPA), Beasiswa Kerja Mahasiswa (BKM), and others. While it does not directly answer the question, it provides relevant information on how the institution supports student achievement.\n\nDocument 2: Skor = 0.5\nPenjelasan: This document discusses the link and match program between Politeknik Negeri Padang and Ditjen Vokasi, but it does not provide direct information on how the institution helps students in terms of prestige and economy.\n\nDocument 3: Skor = 0.2\nPenjelasan: This document provides a brief history of Politeknik Negeri Padang's development, but it does not contain relevant information on how the institution supports student achievement or economic growth.\n\nDocument 4: Skor = 0.1\nPenjelasan: This is a survey link for students' satisfaction, which is not directly related to the question about how Politeknik Negeri Padang helps students in terms of prestige and economy.\n\nDocument 5: Skor = 0.0\nPenjelasan: This document appears to be a translation setting for Google Translate, which does not provide any relevant information on the topic.\n\nDocument 6: Skor = 0.7\nPenjelasan: This document provides an overview of Politeknik Negeri Padang's values and mission, including its commitment to developing students' skills and competencies. While it does not directly answer the question, it provides relevant information on how the institution aims to support student achievement.\n\nOverall, I would give a score of 0.6 out of 1.0 for the set of documents provided. The most relevant documents are Document 1 (scholarships) and Document 6 (values and mission), which provide some insight into how Politeknik Negeri Padang supports student achievement and economic growth. However, there is still a lack of direct information on this topic in the provided documents."
-      },
-      "metrics": {
-        "response_time": 43.85,
-        "retrieved_docs_count": 6,
-        "timestamp": "2025-07-01T19:59:24.965621"
-      }
-    },
-    {
-      "id": 7,
-      "question": "Bagaimana status akreditasi program studi di Politeknik Negeri Padang?",
-      "answer": "Politeknik Negeri Padang memiliki status akreditasi Baik Sekali.",
-      "ground_truth": "Program studi di Politeknik Negeri Padang memiliki status akreditasi yang bervariasi seperti Baik, Baik Sekali, hingga Unggul. Contohnya, Teknik Mesin (D3) terakreditasi Baik Sekali hingga 2029, Teknik Manufaktur (D4) terakreditasi Unggul hingga 2028, dan Teknik Sipil (D3) terakreditasi A hingga 2026. Setiap program memiliki SK dan sertifikat akreditasi resmi.",
-      "scores": {
-        "correctness": 0.8,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 0.8,
-        "overall": 0.8
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sebagian benar, sebagian salah. Fakta bahwa Politeknik Negeri Padang memiliki status akreditasi Baik Sekali adalah benar, namun informasi tentang status akreditasi program studi yang lain (Teknik Mesin, Teknik Manufaktur, dan Teknik Sipil) tidak disebutkan dalam jawaban. Oleh karena itu, skor 0.8 diberikan karena jawaban memiliki unsur kebenaran, tetapi juga memiliki kesalahan atau ketidaksesuaian data.",
-        "relevance": "Jawaban tersebut sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan tentang status akreditasi program studi di Politeknik Negeri Padang. Informasi yang diberikan juga sesuai dengan konteks PNP, yaitu mengenai status akreditasi program studi. Jawaban tersebut fokus dan tidak keluar topik, hanya memberikan informasi yang spesifik dan relevan tentang PNP. Namun, jawaban tersebut tidak sempurna karena tidak menjelaskan lebih lanjut tentang apa itu \"Baik Sekali\" dan bagaimana status akreditasi tersebut diterapkan dalam program studi PNP.",
-        "groundedness": "Jawaban \"Politeknik Negeri Padang memiliki status akreditasi Baik Sekali\" didukung oleh dokumen, namun tidak sepenuhnya berdasar pada dokumen.\n\nDokumen 1 (\"Akreditasi Program Studi di Politeknik Negeri Padang\") menunjukkan bahwa Politeknik Negeri Padang memiliki status akreditasi \"BAIK SEKALI\" dengan masa berlaku dari 15 Desember 2020 hingga 15 Desember 2025. Hal ini mendukung klaim dalam jawaban.\n\nNamun, tidak ada dokumen lain yang secara eksplisit mengatakan bahwa Politeknik Negeri Padang memiliki status akreditasi \"Baik Sekali\" secara umum, hanya program studi tertentu yang telah diakreditasi. Oleh karena itu, skor saya adalah 0.8, karena jawaban didukung oleh dokumen, tetapi tidak sepenuhnya berdasar pada dokumen.",
-        "retrieval": "Dokumen 2 dan Dokumen 4 mengandung informasi yang relevan dengan pertanyaan, yaitu status akreditasi program studi di Politeknik Negeri Padang. Dokumen 2 menampilkan tabel data akreditasi perguruan tinggi, termasuk Politeknik Negeri Padang, sedangkan Dokumen 4 menampilkan sertifikat akreditasi program studi Diploma-IV Akuntansi dan Teknologi Sipil.\n\nNamun, dokumen lainnya tidak terlalu relevan dengan pertanyaan. Dokumen 1 hanya berisi informasi umum tentang akreditasi program studi di Politeknik Negeri Padang tanpa memberikan detail yang spesifik. Dokumen 3 dan Dokumen 5 berisi informasi tentang penerimaan mahasiswa baru dan profil PNP, tetapi tidak terkait dengan status akreditasi program studi. Dokumen 6 berisi informasi umum tentang perpustakaan PNP, tetapi tidak relevan dengan pertanyaan.\n\nDalam keseluruhan, dokumen yang diambil memiliki beberapa informasi yang relevan dengan pertanyaan, namun masih terdapat beberapa informasi penting yang tidak terambil. Oleh karena itu, skor yang diberikan adalah 0.8."
-      },
-      "metrics": {
-        "response_time": 13.63,
-        "retrieved_docs_count": 6,
-        "timestamp": "2025-07-01T20:00:14.470799"
-      }
-    },
-    {
-      "id": 8,
-      "question": "Bagaimana proses penerimaan mahasiswa baru di Politeknik Negeri Padang?",
-      "answer": "Proses penerimaan mahasiswa baru di Politeknik Negeri Padang dapat dilihat pada informasi yang tersedia di situs web resmi mereka, yaitu http://penerimaan.pnp.ac.id/. Di situs tersebut, terdapat informasi tentang program studi yang tersedia, persyaratan pendaftaran, jadwal seleksi, dan pengumuman hasil seleksi. Selain itu, juga tersedia brosur yang dapat diunduh untuk mendapatkan informasi lebih lanjut tentang penerimaan mahasiswa baru di Politeknik Negeri Padang.",
-      "ground_truth": "Penerimaan mahasiswa baru di Politeknik Negeri Padang dilakukan melalui berbagai jalur seleksi seperti SNBT, SNMPN, dan kelas kerjasama. Tersedia brosur dan informasi detail melalui situs http://penerimaan.pnp.ac.id. Program studi Teknik Alat Berat misalnya memiliki kelas kerjasama dengan PT Trakindo Utama. Jadwal seleksi dan pengumuman dapat diakses secara daring.",
-      "scores": {
-        "correctness": 0.9,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 0.8,
-        "overall": 0.83
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sangat mirip dengan jawaban referensi, hanya saja tidak ada perbedaan signifikan antara keduanya. Informasi yang diberikan akurat tentang PNP, seperti jalur seleksi penerimaan mahasiswa baru, situs web resmi, dan informasi yang tersedia di sana. Hanya saja, jawaban yang dievaluasi tidak menambahkan informasi yang lebih spesifik, seperti contoh program studi Teknik Alat Berat memiliki kelas kerjasama dengan PT Trakindo Utama, sehingga skor 0.9 diberikan.",
-        "relevance": "Jawaban ini sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan tentang proses penerimaan mahasiswa baru di Politeknik Negeri Padang. Informasi yang diberikan juga sesuai dengan konteks PNP, yaitu situs web resmi mereka dan informasi tentang program studi, persyaratan pendaftaran, jadwal seleksi, dan pengumuman hasil seleksi. Jawaban ini fokus dan tidak keluar topik, hanya memberikan informasi yang relevan dan berguna untuk menjawab pertanyaan. Namun, jawaban ini tidak sempurna karena tidak memberikan detail lebih lanjut tentang proses penerimaan mahasiswa baru di PNP.",
-        "groundedness": "Jawaban Anda sebagian besar berdasar pada dokumen, tetapi ada beberapa klaim yang tidak didukung oleh dokumen.\n\n* Klaim bahwa proses penerimaan mahasiswa baru dapat dilihat pada informasi yang tersedia di situs web resmi Politeknik Negeri Padang (http://penerimaan.pnp.ac.id/) didukung oleh dokumen.\n* Informasi tentang program studi, persyaratan pendaftaran, jadwal seleksi, dan pengumuman hasil seleksi juga didukung oleh dokumen.\n* Klaim bahwa brosur tersedia untuk mendapatkan informasi lebih lanjut tentang penerimaan mahasiswa baru di Politeknik Negeri Padang didukung oleh dokumen.\n\nNamun, jawaban Anda tidak sepenuhnya berdasar pada dokumen karena tidak ada informasi tentang beasiswa yang diterima mahasiswa Politeknik Negeri Padang (dokumen 2) atau kawasan hot spot area disekitar kampus (dokumen 4). Selain itu, jawaban Anda juga tidak menjelaskan tentang survey kepuasan masyarakat (dokumen 3) dan perjanjian kinerja antara Direktur Politeknik Negeri Padang dengan Ditjen Vokasi (dokumen 5).\n\nDalam kesimpulan, jawaban Anda sebagian besar berdasar pada dokumen, tetapi ada beberapa klaim yang tidak didukung oleh dokumen. Oleh karena itu, skor yang diberikan adalah 0.8.",
-        "retrieval": "Dokumen ini mengandung informasi tentang proses penerimaan mahasiswa baru, termasuk informasi tentang program studi dan bantuan untuk mahasiswa. Namun, tidak ada informasi yang spesifik tentang proses penerimaan mahasiswa baru.\n\n**Dokumen 2: Beasiswa Politeknik Negeri Padang**\nSkor: 0.4"
-      },
-      "metrics": {
-        "response_time": 39.9,
-        "retrieved_docs_count": 6,
-        "timestamp": "2025-07-01T20:01:39.471961"
-      }
-    },
-    {
-      "id": 9,
-      "question": "Apa bentuk kerjasama yang dilakukan Politeknik Negeri Padang?",
-      "answer": "Politeknik Negeri Padang menjalin kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya. Kerjasama yang dilakukan tidak hanya di Indonesia tapi juga dengan luar negeri baik dibidang industri maupun perguruan tinggi.",
-      "ground_truth": "Politeknik Negeri Padang menjalin kerjasama dengan industri, pemerintah, BUMN, dan asosiasi profesi baik dalam negeri maupun luar negeri. Bentuk kerjasama mencakup rekrutmen, prakerin (praktik kerja industri), kunjungan industri, bimbingan karir, serta pembuatan MoU. Tujuannya untuk menjaga mutu lulusan dan penyaluran SDM.",
-      "scores": {
-        "correctness": 0.9,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 0.8,
-        "overall": 0.83
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi memiliki beberapa kesamaan dengan jawaban referensi, seperti menjalin kerjasama dengan industri, pemerintah, BUMN, dan asosiasi profesi baik dalam negeri maupun luar negeri. Namun, terdapat beberapa perbedaan kecil, seperti penggunaan kata \"stake holder\" yang tidak ditemukan dalam jawaban referensi, serta penjelasan tambahan tentang kerjasama di bidang industri dan perguruan tinggi. Karena kesalahan tersebut, skor diberikan 0.9, yaitu sangat dekat dengan jawaban referensi namun masih memiliki beberapa kekurangan.",
-        "relevance": "Jawaban tersebut menjawab langsung pertanyaan yang diajukan, yaitu tentang bentuk kerjasama yang dilakukan Politeknik Negeri Padang. Informasi yang diberikan juga sesuai dengan konteks PNP sebagai politeknik yang berfokus pada kerjasama dengan industri dan lembaga lainnya. Namun, jawaban tersebut tidak menjawab langsung pertanyaan secara eksplisit, sehingga skor 0.8 diberikan.",
-        "groundedness": "Jawaban Anda sebagian besar berdasar pada dokumen, namun ada beberapa klaim yang tidak didukung oleh dokumen.\n\nKlaim \"Politeknik Negeri Padang menjalin kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya\" didukung oleh Dokumen 2 yang menyebutkan bahwa Politeknik Negeri Padang telah menjalin berbagai kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya.\n\nNamun, klaim \"Kerjasama yang dilakukan tidak hanya di Indonesia tapi juga dengan luar negeri baik dibidang industri maupun perguruan tinggi\" tidak didukung oleh dokumen. Dokumen 2 hanya menyebutkan bahwa Politeknik Negeri Padang telah menjalin berbagai kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya tanpa menyebutkan apakah itu di Indonesia atau luar negeri.\n\nKarena jawaban Anda sebagian besar berdasar pada dokumen, namun ada beberapa klaim yang tidak didukung oleh dokumen, maka skor yang diberikan adalah 0.8.",
-        "retrieval": "Dokumen 2 dan Dokumen 5 tidak relevan dengan pertanyaan, karena tidak mengandung informasi tentang bentuk kerjasama yang dilakukan Politeknik Negeri Padang.\n\nDokumen 1 dan Dokumen 3 berisi informasi tentang perjanjian kinerja antara Politeknik Negeri Padang dengan Ditjen Vokasi, namun tidak langsung menjawab pertanyaan tentang bentuk kerjasama yang dilakukan Politeknik Negeri Padang.\n\nDokumen 4 dan Dokumen 6 berisi informasi tentang sejarah Politeknik Negeri Padang dan kurikulum pendidikan, namun tidak langsung menjawab pertanyaan tentang bentuk kerjasama yang dilakukan Politeknik Negeri Padang.\n\nNamun, Dokumen 2 dan Dokumen 5 dapat dijadikan sebagai referensi untuk mengetahui lebih lanjut tentang Politeknik Negeri Padang, tetapi tidak relevan dengan pertanyaan.\n\nDalam penilaian ini, saya memberikan skor 0.8 karena dokumen yang diambil sebagian besar tidak langsung menjawab pertanyaan, namun masih dapat dijadikan sebagai referensi untuk mengetahui lebih lanjut tentang Politeknik Negeri Padang."
-      },
-      "metrics": {
-        "response_time": 23.76,
-        "retrieved_docs_count": 6,
-        "timestamp": "2025-07-01T20:02:41.464931"
-      }
-    },
-    {
-      "id": 10,
-      "question": "Siapa saja pimpinan di Politeknik Negeri Padang saat ini?",
-      "answer": "Saya tidak memiliki informasi tentang pimpinan Politeknik Negeri Padang saat ini.",
-      "ground_truth": "Direktur Politeknik Negeri Padang adalah Dr. Ir. Surfa Yondri, S.T., S.ST., M.Kom. Wakil Direktur Bidang Akademik adalah Ir. Revalin Herdianto, ST., M.Sc., Ph.D. Pimpinan lainnya antara lain Nasrullah, ST., M.T., dan Sarmiadi, S.E., M.M. yang memiliki pengalaman panjang dalam jabatan struktural di kampus.",
-      "scores": {
-        "correctness": 0.5,
-        "relevance": 0.5,
-        "groundedness": 0.0,
-        "retrieval": 0.5,
-        "overall": 0.375
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi tidak memiliki informasi tentang pimpinan Politeknik Negeri Padang saat ini, sehingga tidak sesuai dengan referensi yang menyebutkan nama-nama pimpinan PNP. Namun, jawaban tersebut juga tidak salah sepenuhnya karena tidak memberikan informasi yang tidak akurat atau tidak sesuai. Oleh karena itu, skor 0.5 diberikan sebagai penyeimbang antara tidak memiliki informasi dan tidak salah sepenuhnya.",
-        "relevance": "Jawaban tidak menjawab langsung pertanyaan yang diajukan, namun informasi yang diberikan masih relevan dengan konteks PNP karena jawaban mengindikasikan bahwa pengetahuan tentang pimpinan PNP saat ini tidak ada. Fokus pada jawaban dan tidak keluar topik, tetapi tidak menjawab pertanyaan secara langsung.",
-        "groundedness": "Jawaban tidak didukung oleh dokumen, karena tidak ada informasi tentang pimpinan Politeknik Negeri Padang saat ini di dalam dokumen-dokumen yang tersedia. Dokumen hanya berisi informasi umum tentang PNP, seperti tanggal pendirian, jurusan, program studi, dan jumlah dosen, tetapi tidak menyebutkan nama atau jabatan pimpinan PNP. Oleh karena itu, jawaban tidak konsisten dengan fakta dalam dokumen.",
-        "retrieval": "Dokumen yang diambil tidak langsung memberikan informasi tentang pimpinan Politeknik Negeri Padang saat ini. Namun, dokumen tersebut mengandung informasi tentang sejarah pendirian PNP dan jumlah jurusan serta program studi yang ada. Informasi tersebut dapat membantu dalam mencari tahu nama pimpinan PNP, tetapi tidak langsung memberikan jawaban.\n\nDokumen 1-6 semua memiliki informasi yang sama, yaitu sejarah pendirian PNP, jumlah jurusan dan program studi, serta alamat kampus. Informasi tersebut tidak relevan dengan pertanyaan tentang pimpinan PNP saat ini.\n\nNamun, jika kita mencoba untuk menemukan informasi tentang pimpinan PNP melalui dokumen-dokumen tersebut, kita dapat mencari tahu nama pimpinan PNP melalui situs web resmi PNP atau melalui sumber lain yang lebih spesifik. Oleh karena itu, skor 0.5 diberikan karena dokumen tidak langsung memberikan informasi tentang pimpinan PNP, tetapi memiliki potensi untuk membantu mencari tahu nama pimpinan PNP jika kita mencoba dengan cara lain."
-      },
-      "metrics": {
-        "response_time": 7.82,
-        "retrieved_docs_count": 6,
-        "timestamp": "2025-07-01T20:03:21.017105"
-      }
-    },
-    {
-      "id": 11,
-      "question": "Bagaimana sejarah singkat berdirinya Politeknik Negeri Padang?",
-      "answer": "Politeknik Negeri Padang didirikan pada tahun 1987, dimana keberadaan Politeknik merupakan salah satu dari 17 (tujuh belas) Politeknik pertama di Indonesia, yang bertujuan menjawab tantangan perkembangan dunia industri dan dunia usaha yang menuntut kompetensi dari tenaga-tenaga kerja terampil, professional dan mandiri yang lebih mengutamakan attitude, knowledge dan skill serta kompeten dibidangnya. Pada awal berdirinya dikenal dengan nama Politeknik Engineering Universitas Andalas, yang hanya menyelenggarakan Program Studi Bidang Rekayasa/keteknikan. Dengan Program Studi Teknik Mesin, Sipil, Listrik dan Elektronika Komunikasi. Tahun 1997 diganti nama menjadi Politeknik Universitas Andalas, dengan pertimbangan karena dibuka Program Studi Bidang Tataniaga (Akuntansi, Administrasi Bisnis). Dalam rangka memenuhi tuntutan dunia kerja maka Politeknik membuka program studi baru, sampai saat ini Politeknik telah mempunyai 32 Program Studi (20 program Diploma 3, 11 program Diploma 4 dan 1 program Magister Terapan). Dalam rangka menuju Kemandiriannya maka Politeknik saat itu mempunyai dua nama yaitu Politeknik Universitas Andalas dan Politeknik Negeri Padang.",
-      "ground_truth": "Politeknik Negeri Padang didirikan pada tahun 1987 sebagai salah satu dari 17 politeknik pertama di Indonesia. Awalnya bernama Politeknik Engineering Universitas Andalas. Pada 1997 menjadi Politeknik Universitas Andalas lalu berubah menjadi Politeknik Negeri Padang. Saat ini memiliki 32 program studi dari jenjang D3 hingga Magister Terapan.",
-      "scores": {
-        "correctness": 0.8,
-        "relevance": 0.9,
-        "groundedness": 0.2,
-        "retrieval": 0.8,
-        "overall": 0.675
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi memiliki beberapa kesamaan dengan referensi, seperti:\n\n* Politeknik Negeri Padang didirikan pada tahun 1987 sebagai salah satu politeknik pertama di Indonesia.\n* Awalnya bernama Politeknik Engineering Universitas Andalas.\n* Pada 1997 menjadi Politeknik Universitas Andalas lalu berubah menjadi Politeknik Negeri Padang.\n\nNamun, jawaban yang dievaluasi juga memiliki beberapa kesalahan dan ketidaksesuaian data, seperti:\n\n* Tahun 1987 tidak disebutkan sebagai awal keberadaan Politeknik Engineering Universitas Andalas, melainkan hanya sebagai tahun berdirinya Politeknik Negeri Padang.\n* Informasi tentang program studi yang tersedia pada awal berdirinya Politeknik Engineering Universitas Andalas tidak sesuai dengan referensi. Jawaban yang dievaluasi menyebutkan Program Studi Teknik Mesin, Sipil, Listrik dan Elektronika Komunikasi, sedangkan referensi hanya mengatakan bahwa awalnya hanya menyelenggarakan Program Studi Bidang Rekayasa/keteknikan.\n* Informasi tentang perubahan nama Politeknik Universitas Andalas menjadi Politeknik Negeri Padang tidak sesuai dengan referensi. Jawaban yang dievaluasi mengatakan bahwa perubahan nama terjadi karena dibuka Program Studi Bidang Tataniaga (Akuntansi, Administrasi Bisnis), sedangkan referensi hanya mengatakan bahwa perubahan nama terjadi pada 1997.\n* Informasi tentang jumlah program studi yang tersedia saat ini tidak sesuai dengan referensi. Jawaban yang dievaluasi menyebutkan bahwa Politeknik memiliki 32 Program Studi (20 program Diploma 3, 11 program Diploma 4 dan 1 program Magister Terapan), sedangkan referensi hanya mengatakan bahwa Politeknik memiliki 32 program studi dari jenjang D3 hingga Magister Terapan.\n\nDalam kesimpulan, jawaban yang dievaluasi memiliki beberapa kesamaan dengan referensi, tetapi juga memiliki beberapa kesalahan dan ketidaksesuaian data. Oleh karena itu, skor yang diberikan adalah 0.8.",
-        "relevance": "Jawaban ini sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan tentang sejarah singkat berdirinya Politeknik Negeri Padang. Informasi yang diberikan juga sesuai dengan konteks PNP, termasuk informasi tentang awal berdirinya sebagai Politeknik Engineering Universitas Andalas dan perubahan nama menjadi Politeknik Universitas Andalas kemudian Politeknik Negeri Padang. Jawaban ini juga fokus dan tidak keluar topik, hanya membahas sejarah singkat PNP tanpa menambahkan informasi yang tidak relevan.\n\nNamun, skor 0.9 karena jawaban ini tidak menjawab langsung pertanyaan tentang \"bagaimana\" sejarah berdirinya PNP, melainkan lebih fokus pada kronologi perubahan nama dan perkembangan program studi.",
-        "groundedness": "Jawaban tidak sepenuhnya berdasar pada dokumen, karena beberapa informasi yang diklaim dalam jawaban tidak terdapat di dokumen.\n\nContoh:\n- \"Dengan Program Studi Teknik Mesin, Sipil, Listrik dan Elektronika Komunikasi.\" Tidak terdapat di dokumen.\n- \"Tahun 1997 diganti nama menjadi Politeknik Universitas Andalas\" Tidak terdapat di dokumen.\n- \"Sampai saat ini Politeknik telah mempunyai 32 Program Studi (20 program Diploma 3, 11 program Diploma 4 dan 1 program Magister Terapan)\" Tidak terdapat di dokumen.\n\nNamun, beberapa informasi yang diklaim dalam jawaban didukung oleh dokumen, seperti:\n- \"Politeknik Negeri Padang didirikan pada tahun 1987\"\n- \"PNP memiliki 7 jurusan dan 33 Program Studi yang meliputi Diploma 3, Sarjana Terapan dan Magister Terapan.\"\n- \"Kampus Politeknik Negeri Padang Limau Manis Kecamatan Pauh Kota Padang 25164\"\n\nDalam skor 0.2, saya memberikan penilaian yang lebih rendah karena jawaban tidak sepenuhnya berdasar pada dokumen dan terdapat beberapa informasi yang dibuat-buat atau tidak ada di dokumen.",
-        "retrieval": "Dokumen yang diambil (Dokumen 1) mengandung informasi yang dibutuhkan untuk menjawab pertanyaan, yaitu sejarah singkat berdirinya Politeknik Negeri Padang. Dokumen ini memuat informasi tentang tahun berdirinya Politeknik Negeri Padang, yaitu 1987, serta tujuan pendirian Politeknik sebagai salah satu dari 17 Politeknik pertama di Indonesia.\n\nNamun, dokumen yang diambil tidak lengkap dan tidak terlalu relevan dengan topik pertanyaan. Dokumen lainnya (Dokumen 2-6) juga mengandung informasi tentang sejarah berdirinya Politeknik Negeri Padang, tetapi informasi tersebut tidak terlalu relevan dengan pertanyaan yang diajukan.\n\nKesimpulan: Dokumen yang diambil memiliki skor 0.8 karena memuat informasi yang dibutuhkan untuk menjawab pertanyaan, namun tidak lengkap dan tidak terlalu relevan dengan topik pertanyaan."
-      },
-      "metrics": {
-        "response_time": 66.59,
-        "retrieved_docs_count": 6,
-        "timestamp": "2025-07-01T20:05:16.220842"
-      }
-    }
-  ]
-}

hasil_evaluasi/k6/pnp_rag_evaluation_results_intermediate_10of11.json

@@ -1,302 +0,0 @@
-{
-  "metadata": {
-    "evaluation_system": "PNP RAG Evaluator",
-    "dataset": "Politeknik Negeri Padang Q&A",
-    "model": "fauziisyrinapridal/sahabat-ai-v1:latest",
-    "evaluator": "llama3",
-    "timestamp": "2025-07-01T20:03:21.017633"
-  },
-  "summary": {
-    "total_evaluations": 10,
-    "correctness": {
-      "mean": 0.86,
-      "median": 0.9,
-      "std": 0.14298407059684812,
-      "min": 0.5,
-      "max": 1.0
-    },
-    "relevance": {
-      "mean": 0.75,
-      "median": 0.8,
-      "std": 0.10801234497346436,
-      "min": 0.5,
-      "max": 0.8
-    },
-    "groundedness": {
-      "mean": 0.63,
-      "median": 0.8,
-      "std": 0.26267851073127396,
-      "min": 0.0,
-      "max": 0.8
-    },
-    "retrieval": {
-      "mean": 0.78,
-      "median": 0.8,
-      "std": 0.16865480854231357,
-      "min": 0.5,
-      "max": 1.0
-    },
-    "overall_performance": {
-      "mean": 0.759,
-      "median": 0.7975,
-      "std": 0.1450632046155514,
-      "min": 0.375,
-      "max": 0.8999999999999999
-    },
-    "performance_metrics": {
-      "avg_response_time": 37.295780181884766,
-      "median_response_time": 36.60742163658142,
-      "total_response_time": 372.95780181884766,
-      "fastest_response": 7.8230438232421875,
-      "slowest_response": 96.34029650688171
-    },
-    "score_distribution": {
-      "excellent_count": 5,
-      "good_count": 4,
-      "fair_count": 0,
-      "poor_count": 1
-    }
-  },
-  "detailed_results": [
-    {
-      "id": 1,
-      "question": "Bagaimana sistem pendidikan yang diterapkan di Politeknik Negeri Padang?",
-      "answer": "Sistem pendidikan yang diterapkan di Politeknik Negeri Padang adalah dengan menggabungkan pendidikan teoritis, praktek (terapan) di Laboratorium dan praktek industry. Pelaksanaan praktik di industri dilakukan oleh mahasiswa selama satu semester untuk menambah wawasan, pengalaman dan pengembangan ilmu guna membentuk tenaga ahli yang terampil dan profesional.",
-      "ground_truth": "Sistem pendidikan yang diterapkan di Politeknik adalah dengan menggabungkan pendidikan teoritis, praktek (terapan) di Laboratorium dan praktek industry. Pelaksanaan praktik di industri dilakukan oleh mahasiswa selama satu semester untuk menambah wawasan, pengalaman dan pengembangan ilmu guna membentuk tenaga ahli yang terampil dan profesional.",
-      "scores": {
-        "correctness": 1.0,
-        "relevance": 0.8,
-        "groundedness": 0.5,
-        "retrieval": 0.8,
-        "overall": 0.785
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sepenuhnya sesuai dengan referensi. Fakta-fakta yang diberikan dalam jawaban, seperti menggabungkan pendidikan teoritis, praktek di Laboratorium, dan praktek industry, serta pelaksanaan praktik di industri selama satu semester untuk menambah wawasan, pengalaman, dan pengembangan ilmu, semua sesuai dengan referensi. Informasi yang diberikan tentang PNP juga akurat dan tidak ada kesalahan atau ketidaksesuaian data.",
-        "relevance": "Jawaban ini sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan tentang sistem pendidikan yang diterapkan di Politeknik Negeri Padang. Informasi yang diberikan juga sesuai dengan konteks PNP, yaitu menggabungkan pendidikan teoritis, praktek (terapan) di Laboratorium dan praktek industry. Jawaban ini fokus dan tidak keluar topik, hanya membahas sistem pendidikan yang diterapkan di PNP tanpa menambahkan informasi yang tidak relevan. Namun, jawaban ini tidak sempurna karena tidak menjelaskan lebih lanjut tentang bagaimana pelaksanaan praktik di industri dilakukan oleh mahasiswa dan apa yang mereka lakukan selama satu semester.",
-        "groundedness": "Jawaban tidak sepenuhnya berdasar pada dokumen, namun ada beberapa informasi yang didukung oleh dokumen.\n\nDokumen 1 menjelaskan bahwa Politeknik Negeri Padang memiliki sistem pendidikan vokasional dengan aplikatif dan menyesuaikan diri dengan perkembangan dunia industri. Namun, tidak ada informasi tentang pelaksanaan praktik di industri yang disebutkan dalam jawaban.\n\nDokumen 2 hanya menjelaskan kurikulum pendidikan berbasis kompetensi tanpa menggambarkan sistem pendidikan yang diterapkan.\n\nDokumen 3-6 tidak memiliki informasi tentang sistem pendidikan yang diterapkan di Politeknik Negeri Padang.\n\nJawaban juga tidak konsisten dengan fakta dalam dokumen. Dokumen 1 hanya menjelaskan bahwa Politeknik Negeri Padang memiliki sistem pendidikan vokasional, namun jawaban menggabungkan pendidikan teoritis, praktek (terapan) di Laboratorium dan praktek industry yang tidak ada dalam dokumen.\n\nNamun, jawaban juga memiliki beberapa informasi yang didukung oleh dokumen, seperti sistem pendidikan vokasional yang diterapkan di Politeknik Negeri Padang. Oleh karena itu, skor 0.5 diberikan.",
-        "retrieval": "Dokumen 1 dan Dokumen 2 memberikan informasi tentang sistem pendidikan yang diterapkan di Politeknik Negeri Padang, termasuk kurikulum berbasis kompetensi dan program D IV. Informasi ini relevan dengan pertanyaan karena menjawab bagaimana sistem pendidikan di Politeknik Negeri Padang.\n\nDokumen 3 memberikan informasi tentang perjanjian kinerja antara Direktur Politeknik Negeri Padang dengan Ditjen Vokasi, yang dapat membantu menjawab pertanyaan. Namun, dokumen ini tidak langsung mengandung informasi tentang sistem pendidikan.\n\nDokumen 4 dan Dokumen 6 memberikan informasi tentang lokasi kampus dan jadwal perkuliahan, tetapi tidak relevan dengan pertanyaan.\n\nDokumen 5 memberikan informasi tentang tata nilai Politeknik Negeri Padang, yang tidak langsung mengandung informasi tentang sistem pendidikan.\n\nDalam keseluruhan, dokumen 1 dan Dokumen 2 sangat relevan dan lengkap dalam menjawab pertanyaan. Oleh karena itu, skor yang diberikan adalah 0.8."
-      },
-      "metrics": {
-        "response_time": 96.34,
-        "retrieved_docs_count": 6,
-        "timestamp": "2025-07-01T19:52:48.451999"
-      }
-    },
-    {
-      "id": 2,
-      "question": "Apa saja mata kuliah yang terdapat dalam kurikulum pendidikan Politeknik Negeri Padang?",
-      "answer": "Mata kuliah yang terdapat dalam kurikulum pendidikan Politeknik Negeri Padang adalah:\n\n1. Mata Kuliah Pengembangan Kepribadian (MPK)\n2. Mata Kuliah dan Keimuan dan Keterampilan (MKK)\n3. Mata Kuliah Berkarya (MKB)\n4. Mata Kulah Berkehidupan Bermasyarakat (MBB)",
-      "ground_truth": "Kurikulum Pendidikan telah disusun berbasis kompetensi dengan kelompok mata kuliah sebagai berikut : - Mata Kuliah Pengembangan Kepribadian (MPK) - Mata Kuliah Keimuan dan Keterampilan (MKK) - Mata Kuliah Berkarya (MKB) - Mata Kuliah Berkehidupan Bermasyarakat (MBB)",
-      "scores": {
-        "correctness": 0.9,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 0.8,
-        "overall": 0.83
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi memiliki kesamaan dengan referensi sebesar 90%. Kesamaan tersebut terlihat pada mata kuliah MPK, MKK, MKB, dan MBB yang tercantum dalam kurikulum pendidikan Politeknik Negeri Padang. Namun, terdapat satu kesalahan kecil yaitu penulisan \"Mata Kulah\" menjadi \"Mata Kuliah\" pada nomor 4. Karena kesalahan tersebut, skor yang diberikan adalah 0.9.",
-        "relevance": "Jawaban ini sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan yang diajukan tentang mata kuliah yang terdapat dalam kurikulum pendidikan Politeknik Negeri Padang. Informasi yang diberikan juga sesuai dengan konteks PNP, yaitu nama-nama mata kuliah yang terkait dengan pendidikan politeknik. Namun, jawaban ini tidak sempurna karena tidak menjelaskan lebih lanjut tentang isi atau tujuan dari masing-masing mata kuliah tersebut.",
-        "groundedness": "Jawaban Anda menyebutkan empat mata kuliah yang terdapat dalam kurikulum pendidikan Politeknik Negeri Padang, yaitu MPK, MKK, MKB, dan MBB. Dokumen 1 memang menjelaskan tentang kurikulum pendidikan yang telah disusun berbasis kompetensi dengan kelompok mata kuliah sebagai berikut: Mata Kuliah Pengembangan Kepribadian (MPK), Mata Kuliah dan Keimuan dan Keterampilan (MKK), Mata Kuliah Berkarya (MKB), dan Mata Kulah Berkehidupan Bermasyarakat (MBB). Namun, dokumen lainnya tidak menyebutkan informasi tentang mata kuliah tersebut.\n\nDokumen 2-6 tidak memiliki informasi yang relevan dengan mata kuliah. Oleh karena itu, jawaban Anda hanya didukung oleh Dokumen 1 sebesar 80%, sehingga skor yang diberikan adalah 0.8.",
-        "retrieval": "Dokumen 1 dan Dokumen 6 mengandung informasi yang relevan dengan pertanyaan, yaitu tentang mata kuliah yang terdapat dalam kurikulum pendidikan Politeknik Negeri Padang. Dokumen 1 menjelaskan bahwa kurikulum Pendidikan telah disusun berbasis kompetensi dengan kelompok mata kuliah sebagai berikut : Mata Kuliah Pengembangan Kepribadian (MPK), Mata Kuliah dan Keimuan dan Keterampilan (MKK), Mata Kulah Berkehidupan Bermasyarakat (MBB). Dokumen 6 menampilkan jadwal perkuliahan Politeknik Negeri Padang D3 TEL II A, yang mencakup informasi tentang mata kuliah dan waktu pelajaran.\n\nNamun, dokumen lainnya tidak terlalu relevan dengan pertanyaan. Dokumen 2 hanya berisi informasi akreditasi program studi, sedangkan Dokumen 3 berisi informasi lokasi kampus Politeknik Negeri Padang. Dokumen 4 berisi informasi tentang beasiswa yang tersedia untuk mahasiswa, tetapi tidak terkait dengan pertanyaan. Dokumen 5 berisi informasi tentang penerimaan mahasiswa baru, tetapi tidak memiliki informasi yang relevan dengan pertanyaan.\n\nDalam kesimpulan, dokumen 1 dan Dokumen 6 adalah dokumen yang paling relevan dengan pertanyaan, sehingga skor yang diberikan adalah 0.8."
-      },
-      "metrics": {
-        "response_time": 38.61,
-        "retrieved_docs_count": 6,
-        "timestamp": "2025-07-01T19:54:03.313289"
-      }
-    },
-    {
-      "id": 3,
-      "question": "Bagaimana Politeknik Negeri Padang mendukung misi tridharma perguruan tinggi?",
-      "answer": "Politeknik Negeri Padang didukung oleh tenaga pendidik dan tenaga kependidikan yang profesional pada bidangnya. Jumlah dan kualifikasi staf tersebut berdasarkan keadaan Desember 2017 sebagai berikut :\n\n1. Tenaga Pendidik : S1 = 14 orang S2 = 256 S3 = 21 orang   Yang sedangmenempuh S3 = 7 orang   Yang sdang menempuh S2 = 5 orang\n\n2. Tenaga Kependidikan : SD = 5 orang, SMP = 4 orang, SLTA = 71 orang, D3 = 25 orang,   S1 = 54 orang S2 = 15 orang",
-      "ground_truth": "Politeknik Negeri Padang dalam menjalankan misi tridharma perguruan tinggi didukung oleh tenaga pendidik dan tenaga kependidikan yang profesional pada bidangnya. Jumlah dan kualifikasi staf tersebut berdasarkan keadaan Desember 2017 sebagai berikut : - Tenaga Pendidik : S1 = 14 orang, S2 = 256 orang, S3 = 21 orang (Yang sedang menempuh S3 = 7 orang, Yang sedang menempuh S2 = 5 orang) - Tenaga Kependidikan : SD = 5 orang, SMP = 4 orang, SLTA = 71 orang, D3 = 25 orang, S1 = 54 orang, S2 = 15 orang.",
-      "scores": {
-        "correctness": 0.9,
-        "relevance": 0.6,
-        "groundedness": 0.5,
-        "retrieval": 0.8,
-        "overall": 0.705
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sangat mirip dengan jawaban referensi, hanya ada beberapa perbedaan kecil dalam penulisan dan format data. Keduanya memiliki informasi yang sama tentang jumlah dan kualifikasi tenaga pendidik dan tenaga kependidikan PNP.\n\nNamun, terdapat beberapa kesalahan kecil yang membuat skor tidak sempurna:\n\n* Tidak ada spasi antara baris dalam penulisan data, sehingga menjadi sulit dibaca.\n* Penulisan \"Yang sedang menempuh S3 = 7 orang\" dan \"Yang sdang menempuh S2 = 5 orang\" agak tidak rapih.\n\nKesalahan-kesalahan kecil ini membuat skor menjadi 0.9, bukan 1.0.",
-        "relevance": "Jawaban yang diberikan tidak langsung menjawab pertanyaan tentang bagaimana PNP mendukung misi tridharma perguruan tinggi. Jawaban tersebut lebih fokus pada jumlah dan kualifikasi tenaga pendidik dan kependidikan di PNP, namun tidak menjelaskan bagaimana mereka mendukung misi tridharma.\n\nNamun, jawaban tersebut masih relevan dengan konteks PNP karena informasi yang diberikan tentang tenaga pendidik dan kependidikan dapat membantu memahami bagaimana PNP beroperasi. Oleh karena itu, skor 0.6 diberikan untuk jawaban yang relatif relevan namun tidak langsung menjawab pertanyaan.\n\nPerlu diingat bahwa jawaban yang lebih relevan dan tepat sasaran akan memberikan skor yang lebih tinggi, seperti 0.8 atau 1.0.",
-        "groundedness": "Jawaban tersebut tidak sepenuhnya berdasar pada dokumen, karena:\n\n* Dokumen tidak menyebutkan jumlah dan kualifikasi staf yang diperlukan.\n* Dokumen hanya menjabarkan tentang komitmen dan pertanggungjawaban kepada Pemerintah dan Masyarakat, serta tujuan Politeknik Negeri Padang, tetapi tidak memberikan informasi tentang tenaga pendidik dan kependidikan.\n* Jawaban tersebut juga tidak konsisten dengan fakta dalam dokumen, karena tidak ada informasi tentang jumlah dan kualifikasi staf yang diperlukan.\n\nNamun, jawaban tersebut juga tidak sepenuhnya tidak berdasar pada dokumen, karena:\n\n* Dokumen 1-5 memberikan informasi tentang Politeknik Negeri Padang sebagai lembaga pendidikan vokasional yang profesional.\n* Dokumen 6 memberikan informasi tentang Tata Nilai Politeknik Negeri Padang.\n\nDengan demikian, skor yang diberikan adalah 0.5, karena jawaban tersebut tidak sepenuhnya berdasar pada dokumen, tetapi juga tidak sepenuhnya tidak berdasar pada dokumen.",
-        "retrieval": "Dokumen-dokumen yang diambil terdiri dari berbagai informasi tentang Politeknik Negeri Padang, termasuk visi dan misinya, program pendidikan, kurikulum, bantuan untuk mahasiswa, serta kerjasama dengan lembaga lain. Dokumen 1-5 memberikan gambaran yang jelas tentang bagaimana Politeknik Negeri Padang mendukung misi tridharma perguruan tinggi, termasuk pengembangan pendidikan vokasional, penelitian, dan karya pengabdian kepada masyarakat.\n\nNamun, dokumen 6 tidak terlalu relevan dengan pertanyaan yang diajukan. Dokumen ini lebih berfokus pada profil Politeknik Negeri Padang dan tata nilai, sehingga informasinya tidak langsung membantu menjawab pertanyaan.\n\nDalam keseluruhan, dokumen-dokumen yang diambil memberikan informasi yang cukup untuk menjawab pertanyaan, tetapi masih ada beberapa informasi penting yang tidak terambil. Oleh karena itu, skor yang diberikan adalah 0.8."
-      },
-      "metrics": {
-        "response_time": 53.35,
-        "retrieved_docs_count": 6,
-        "timestamp": "2025-07-01T19:55:35.747438"
-      }
-    },
-    {
-      "id": 4,
-      "question": "Bagaimana Politeknik Negeri Padang menyediakan akses internet bagi mahasiswa?",
-      "answer": "Politeknik Negeri Padang menyediakan akses internet bagi mahasiswa melalui Anjungan Internet Mandiri (AIM) yang dapat diakses secara gratis di titik-titik strategis kampus. Selain itu, Politeknik Negeri Padang juga memiliki kawasan hot spot area di sekitar kampus, sehingga mahasiswa dapat memanfaatkan internet secara bebas dengan menggunakan laptop/PC.",
-      "ground_truth": "Politeknik Negeri Padang telah memiliki Anjungan Internet Mandiri (AIM) yang dapat diakses oleh mahasiswa secara gratis, yang tersedia pada titik-titik strategis. Juga tersedia kawasan hot spot area di sekitar kampus sehingga mahasiswa dapat memanfaatkan internet dengan bebas menggunakan laptop/PC.",
-      "scores": {
-        "correctness": 1.0,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 1.0,
-        "overall": 0.9
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sepenuhnya sesuai dengan referensi. Fakta-fakta yang diberikan dalam jawaban, seperti adanya Anjungan Internet Mandiri (AIM) dan kawasan hot spot area di sekitar kampus, juga akurat tentang Politeknik Negeri Padang. Tidak ada kesalahan atau ketidaksesuaian data dalam jawaban.",
-        "relevance": "Jawaban ini sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan yang diajukan tentang bagaimana PNP menyediakan akses internet bagi mahasiswa. Informasi yang diberikan juga sesuai dengan konteks PNP, yaitu tentang Anjungan Internet Mandiri (AIM) dan kawasan hot spot area di sekitar kampus. Jawaban ini fokus dan tidak keluar topik, hanya memberikan informasi yang relevan dan berguna untuk menjawab pertanyaan. Namun, jawaban ini tidak sempurna karena tidak memberikan detail lebih lanjut tentang Anjungan Internet Mandiri (AIM) dan kawasan hot spot area, sehingga skor 0.8 diberikan.",
-        "groundedness": "Jawaban tersebut sebagian besar berdasar pada dokumen, namun ada beberapa klaim yang tidak didukung oleh dokumen.\n\n* Klaim bahwa Politeknik Negeri Padang menyediakan akses internet bagi mahasiswa melalui Anjungan Internet Mandiri (AIM) yang dapat diakses secara gratis di titik-titik strategis kampus. Dokumen 1 dan Dokumen 3 tidak mengatakan tentang AIM, namun Dokumen 5 hanya berisi informasi teknis tentang gtranslateSettings.\n* Klaim bahwa Politeknik Negeri Padang memiliki kawasan hot spot area di sekitar kampus. Dokumen 1 tidak mengatakan tentang hot spot area.\n\nNamun, jawaban tersebut juga memuat beberapa informasi yang didukung oleh dokumen, seperti:\n\n* Informasi tentang AIM dan kawasan hot spot area di Dokumen 2.\n* Informasi tentang Politeknik Negeri Padang sebagai institusi pendidikan yang memiliki kampus dan program studi.\n\nDalam skala 0-1, saya memberikan skor 0.8 karena jawaban tersebut sebagian besar berdasar pada dokumen, namun ada beberapa klaim yang tidak didukung oleh dokumen.",
-        "retrieval": "Based on the provided documents, I evaluate the relevance and completeness of each document in answering the question \"Bagaimana Politeknik Negeri Padang menyediakan akses internet bagi mahasiswa?\"\n\nDocument 1: This document provides information about the number of staff members at Politeknik Negeri Padang, but it does not directly relate to the provision of internet access for students. Score: 0.2\nPenjelasan: The document provides some general information about the institution, but it is not relevant to the specific question being asked.\n\nDocument 2: This document discusses various forms of assistance and scholarships available to students at Politeknik Negeri Padang, including beasiswa for academic excellence. However, it does not specifically mention internet access. Score: 0.3\nPenjelasan: The document provides some relevant information about student support services, but it is not directly related to the provision of internet access.\n\nDocument 3: This document appears to be a collection of news articles and announcements from Politeknik Negeri Padang, including mentions of digital initiatives and technology transfer. However, it does not specifically address the question of how the institution provides internet access for students. Score: 0.1\nPenjelasan: The document is too general and does not provide specific information about internet access.\n\nDocument 4: This document appears to be related to student admission procedures at Politeknik Negeri Padang, including links to relevant information and forms. However, it does not specifically address the question of how the institution provides internet access for students. Score: 0.1\nPenjelasan: The document is too general and does not provide specific information about internet access.\n\nDocument 5: This document appears to be a settings file for Google Translate, which is not relevant to the question being asked. Score: 0.0\nPenjelasan: The document is not related to the provision of internet access or any other aspect of student life at Politeknik Negeri Padang.\n\nDocument 6: This document appears to be a performance agreement between the Director of Politeknik Negeri Padang and the Directorate General for Vocational Education, which does not specifically address the question of how the institution provides internet access for students. Score: 0.1\nPenjelasan: The document is too general and does not provide specific information about internet access.\n\nOverall score: 0.5\n\nPenjelasan: While some documents provide relevant information about Politeknik Negeri Padang, none of them specifically address the question of how the institution provides internet access for students. Therefore, I would give a score of 0.5 out of 1.0."
-      },
-      "metrics": {
-        "response_time": 34.6,
-        "retrieved_docs_count": 6,
-        "timestamp": "2025-07-01T19:56:55.199826"
-      }
-    },
-    {
-      "id": 5,
-      "question": "Apa saja contoh kerjasama Politeknik Negeri Padang dengan industri?",
-      "answer": "Politeknik Negeri Padang menjalin kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya. Kerjasama yang dilakukan tidak hanya di Indonesia tapi juga dengan luar negeri baik dibidang industri maupun perguruan tinggi.",
-      "ground_truth": "PT. Siemens Indonesia, PT. Toyota Aichi Takaoua Japan, PT. PLN, PT. INTI, Futaba Rashi Siisha Kusho Japan, PT. Sintom, PT. Krakatau Steel, Komatssu Shinge Koumuten, PT. PAL Indonesia, PT. Hexindo, Taishurin Co. Ltd Fukuoaka Japan, PT. Texmaco Perkasa, PT. LEN Industri, PT. Toyota Astra Motor, PT. Indah Kiat, PT. Trakindo Utama, BTN.",
-      "scores": {
-        "correctness": 0.8,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 0.5,
-        "overall": 0.74
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sebagian benar, sebagian salah. PNP memang menjalin kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya, seperti terlihat dalam daftar nama-nama perusahaan yang disebutkan. Namun, informasi tentang kerjasama luar negeri tidak sesuai dengan referensi, karena tidak ada bukti bahwa PNP menjalin kerjasama dengan perusahaan-perusahaan Jepang seperti Futaba Rashi Siisha Kusho Japan, Taishurin Co. Ltd Fukuoaka Japan, dan Komatssu Shinge Koumuten.\n\nKesalahan lainnya adalah adanya nama-nama perusahaan yang tidak relevan dengan PNP, seperti PT. PAL Indonesia dan BTN, yang bukan merupakan kerjasama PNP dengan industri. Oleh karena itu, skor 0.8 diberikan karena jawaban sebagian benar namun juga mengandung kesalahan.",
-        "relevance": "Jawaban ini relevan dan tepat sasaran, namun tidak langsung menjawab pertanyaan yang diajukan. Pertanyaan meminta contoh kerjasama PNP dengan industri, tetapi jawaban lebih fokus pada jenis kerjasama yang dilakukan PNP daripada memberikan contoh spesifik. Informasi yang diberikan juga sesuai dengan konteks PNP sebagai politeknik negeri yang menjalin kerjasama dengan berbagai pihak. Namun, untuk meningkatkan relevansi dan tepat sasaran, jawaban dapat lebih fokus pada contoh-contoh kerjasama PNP dengan industri yang spesifik.",
-        "groundedness": "Jawaban Anda sebagian besar berdasar pada dokumen, namun terdapat beberapa klaim yang tidak didukung oleh dokumen.\n\nKlaim \"Politeknik Negeri Padang menjalin kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya\" didukung oleh Dokumen 1, yang menyatakan bahwa Politeknik Negeri Padang telah menjalin berbagai kerjasama dengan industri, stake holder, dan instansi lainnya.\n\nNamun, klaim \"Kerjasama yang dilakukan tidak hanya di Indonesia tapi juga dengan luar negeri baik dibidang industri maupun perguruan tinggi\" tidak didukung oleh dokumen. Dokumen 1 hanya menyatakan bahwa Politeknik Negeri Padang telah menjalin berbagai kerjasama, namun tidak memberikan informasi tentang lokasi atau bidang kerjasama.\n\nDalam penilaian, saya memberikan skor 0.8 karena jawaban Anda sebagian besar berdasar pada dokumen, namun terdapat beberapa klaim yang tidak didukung oleh dokumen.",
-        "retrieval": "The document mentions that PNP has collaborated with various stakeholders, including industries, but it does not provide specific examples of these collaborations.\n\nDocument 2:\nSkor: 0.8"
-      },
-      "metrics": {
-        "response_time": 21.09,
-        "retrieved_docs_count": 6,
-        "timestamp": "2025-07-01T19:57:57.391660"
-      }
-    },
-    {
-      "id": 6,
-      "question": "Bagaimana Politeknik Negeri Padang membantu mahasiswa dalam bidang prestasi dan ekonomi?",
-      "answer": "Politeknik Negeri Padang menyediakan bantuan untuk sekitar 800 orang mahasiswa setiap tahunnya. Bantuan ini diberikan kepada mahasiswa yang berprestasi dalam bidang akademik dan prestasi lainnya, serta mahasiswa kurang mampu. Beasiswa yang tersedia antara lain: Beasiswa Peningkatan Prestasi Akademik (PPA), Beasiswa Kerja Mahasiswa (BKM), Beasiswa Bantuan Belajar Mahasiswa (BBM), Beasiswa TPSDP, Beasiswa Kredit Bantuan Belajar Mahasiswa (KBBM), Beasiswa Depertemen Hankam (ABRI), Beasiswa PT. Toyota Astra, Beasiswa ORBIT (ICMI), Beasiswa Supersemar.",
-      "ground_truth": "Tersedia bantuan untuk sekitar 800 mahasiswa setiap tahunnya. Beasiswa yang diterima antara lain: - Beasiswa Peningkatan Prestasi Akademik (PPA), - Beasiswa Kerja Mahasiswa (BKM), - Beasiswa Bantuan Belajar Mahasiswa (BBM), - Beasiswa TPSDP, - Beasiswa Kredit Bantuan Belajar Mahasiswa (KBBM), - Beasiswa Depertemen Hankam (ABRI), - Beasiswa PT. Toyota Astra, - Beasiswa ORBIT (ICMI), - Beasiswa Supersemar.",
-      "scores": {
-        "correctness": 0.9,
-        "relevance": 0.8,
-        "groundedness": 0.5,
-        "retrieval": 1.0,
-        "overall": 0.795
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sangat mirip dengan jawaban referensi, hanya ada beberapa perbedaan kecil dalam penulisan dan penggunaan kata-kata. Fakta-fakta yang diberikan sesuai dengan referensi, termasuk jumlah mahasiswa yang dibantu setiap tahunnya (sekitar 800 orang). Informasi tentang beasiswa yang tersedia juga akurat dan sesuai dengan referensi. Namun, terdapat beberapa perbedaan kecil dalam penulisan, seperti penggunaan kata \"kurang mampu\" di jawaban yang dievaluasi tidak ditemukan di jawaban referensi. Oleh karena itu, skor 0.9 diberikan untuk jawaban yang dievaluasi.",
-        "relevance": "Jawaban ini relevan dan tepat sasaran karena menjawab langsung pertanyaan tentang bagaimana PNP membantu mahasiswa dalam bidang prestasi dan ekonomi. Informasi yang diberikan juga sesuai dengan konteks PNP, yaitu menyediakan bantuan untuk sekitar 800 orang mahasiswa setiap tahunnya. Jawaban ini fokus pada bagaimana PNP membantu mahasiswa, tidak keluar topik dan memberikan contoh-contoh beasiswa yang tersedia. Namun, jawaban ini tidak sepenuhnya relevan karena tidak menjelaskan secara spesifik bagaimana bantuan tersebut mempengaruhi prestasi dan ekonomi mahasiswa.",
-        "groundedness": "Jawaban Anda menyebutkan bahwa Politeknik Negeri Padang menyediakan bantuan untuk sekitar 800 orang mahasiswa setiap tahunnya, serta beberapa jenis beasiswa yang tersedia. Namun, tidak ada dokumen yang secara eksplisit mengatakan bahwa Politeknik Negeri Padang memberikan bantuan kepada mahasiswa kurang mampu.\n\nDokumen 1 hanya menjelaskan tentang beasiswa yang diterima oleh mahasiswa Politeknik Negeri Padang, tetapi tidak menjelaskan tentang bantuan untuk mahasiswa kurang mampu. Dokumen lainnya juga tidak memberikan informasi tentang bantuan tersebut.\n\nJawaban Anda juga menyebutkan beberapa jenis beasiswa yang tersedia, seperti Beasiswa Peningkatan Prestasi Akademik (PPA), Beasiswa Kerja Mahasiswa (BKM), dan lain-lain. Namun, tidak ada dokumen yang secara eksplisit mengatakan bahwa semua beasiswa tersebut diberikan oleh Politeknik Negeri Padang.\n\nOleh karena itu, skor saya adalah 0.5, karena jawaban Anda sebagian berdasar pada dokumen, tetapi juga memiliki informasi yang tidak didukung oleh dokumen.",
-        "retrieval": "Based on the provided documents, I evaluate the relevance and completeness of each document in answering the question \"Bagaimana Politeknik Negeri Padang membantu mahasiswa dalam bidang prestasi dan ekonomi?\"\n\nDocument 1: Skor = 0.8\nPenjelasan: This document provides information on the types of scholarships available to students at Politeknik Negeri Padang, including Beasiswa Peningkatan Prestasi Akademik (PPA), Beasiswa Kerja Mahasiswa (BKM), and others. While it does not directly answer the question, it provides relevant information on how the institution supports student achievement.\n\nDocument 2: Skor = 0.5\nPenjelasan: This document discusses the link and match program between Politeknik Negeri Padang and Ditjen Vokasi, but it does not provide direct information on how the institution helps students in terms of prestige and economy.\n\nDocument 3: Skor = 0.2\nPenjelasan: This document provides a brief history of Politeknik Negeri Padang's development, but it does not contain relevant information on how the institution supports student achievement or economic growth.\n\nDocument 4: Skor = 0.1\nPenjelasan: This is a survey link for students' satisfaction, which is not directly related to the question about how Politeknik Negeri Padang helps students in terms of prestige and economy.\n\nDocument 5: Skor = 0.0\nPenjelasan: This document appears to be a translation setting for Google Translate, which does not provide any relevant information on the topic.\n\nDocument 6: Skor = 0.7\nPenjelasan: This document provides an overview of Politeknik Negeri Padang's values and mission, including its commitment to developing students' skills and competencies. While it does not directly answer the question, it provides relevant information on how the institution aims to support student achievement.\n\nOverall, I would give a score of 0.6 out of 1.0 for the set of documents provided. The most relevant documents are Document 1 (scholarships) and Document 6 (values and mission), which provide some insight into how Politeknik Negeri Padang supports student achievement and economic growth. However, there is still a lack of direct information on this topic in the provided documents."
-      },
-      "metrics": {
-        "response_time": 43.85,
-        "retrieved_docs_count": 6,
-        "timestamp": "2025-07-01T19:59:24.965621"
-      }
-    },
-    {
-      "id": 7,
-      "question": "Bagaimana status akreditasi program studi di Politeknik Negeri Padang?",
-      "answer": "Politeknik Negeri Padang memiliki status akreditasi Baik Sekali.",
-      "ground_truth": "Program studi di Politeknik Negeri Padang memiliki status akreditasi yang bervariasi seperti Baik, Baik Sekali, hingga Unggul. Contohnya, Teknik Mesin (D3) terakreditasi Baik Sekali hingga 2029, Teknik Manufaktur (D4) terakreditasi Unggul hingga 2028, dan Teknik Sipil (D3) terakreditasi A hingga 2026. Setiap program memiliki SK dan sertifikat akreditasi resmi.",
-      "scores": {
-        "correctness": 0.8,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 0.8,
-        "overall": 0.8
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sebagian benar, sebagian salah. Fakta bahwa Politeknik Negeri Padang memiliki status akreditasi Baik Sekali adalah benar, namun informasi tentang status akreditasi program studi yang lain (Teknik Mesin, Teknik Manufaktur, dan Teknik Sipil) tidak disebutkan dalam jawaban. Oleh karena itu, skor 0.8 diberikan karena jawaban memiliki unsur kebenaran, tetapi juga memiliki kesalahan atau ketidaksesuaian data.",
-        "relevance": "Jawaban tersebut sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan tentang status akreditasi program studi di Politeknik Negeri Padang. Informasi yang diberikan juga sesuai dengan konteks PNP, yaitu mengenai status akreditasi program studi. Jawaban tersebut fokus dan tidak keluar topik, hanya memberikan informasi yang spesifik dan relevan tentang PNP. Namun, jawaban tersebut tidak sempurna karena tidak menjelaskan lebih lanjut tentang apa itu \"Baik Sekali\" dan bagaimana status akreditasi tersebut diterapkan dalam program studi PNP.",
-        "groundedness": "Jawaban \"Politeknik Negeri Padang memiliki status akreditasi Baik Sekali\" didukung oleh dokumen, namun tidak sepenuhnya berdasar pada dokumen.\n\nDokumen 1 (\"Akreditasi Program Studi di Politeknik Negeri Padang\") menunjukkan bahwa Politeknik Negeri Padang memiliki status akreditasi \"BAIK SEKALI\" dengan masa berlaku dari 15 Desember 2020 hingga 15 Desember 2025. Hal ini mendukung klaim dalam jawaban.\n\nNamun, tidak ada dokumen lain yang secara eksplisit mengatakan bahwa Politeknik Negeri Padang memiliki status akreditasi \"Baik Sekali\" secara umum, hanya program studi tertentu yang telah diakreditasi. Oleh karena itu, skor saya adalah 0.8, karena jawaban didukung oleh dokumen, tetapi tidak sepenuhnya berdasar pada dokumen.",
-        "retrieval": "Dokumen 2 dan Dokumen 4 mengandung informasi yang relevan dengan pertanyaan, yaitu status akreditasi program studi di Politeknik Negeri Padang. Dokumen 2 menampilkan tabel data akreditasi perguruan tinggi, termasuk Politeknik Negeri Padang, sedangkan Dokumen 4 menampilkan sertifikat akreditasi program studi Diploma-IV Akuntansi dan Teknologi Sipil.\n\nNamun, dokumen lainnya tidak terlalu relevan dengan pertanyaan. Dokumen 1 hanya berisi informasi umum tentang akreditasi program studi di Politeknik Negeri Padang tanpa memberikan detail yang spesifik. Dokumen 3 dan Dokumen 5 berisi informasi tentang penerimaan mahasiswa baru dan profil PNP, tetapi tidak terkait dengan status akreditasi program studi. Dokumen 6 berisi informasi umum tentang perpustakaan PNP, tetapi tidak relevan dengan pertanyaan.\n\nDalam keseluruhan, dokumen yang diambil memiliki beberapa informasi yang relevan dengan pertanyaan, namun masih terdapat beberapa informasi penting yang tidak terambil. Oleh karena itu, skor yang diberikan adalah 0.8."
-      },
-      "metrics": {
-        "response_time": 13.63,
-        "retrieved_docs_count": 6,
-        "timestamp": "2025-07-01T20:00:14.470799"
-      }
-    },
-    {
-      "id": 8,
-      "question": "Bagaimana proses penerimaan mahasiswa baru di Politeknik Negeri Padang?",
-      "answer": "Proses penerimaan mahasiswa baru di Politeknik Negeri Padang dapat dilihat pada informasi yang tersedia di situs web resmi mereka, yaitu http://penerimaan.pnp.ac.id/. Di situs tersebut, terdapat informasi tentang program studi yang tersedia, persyaratan pendaftaran, jadwal seleksi, dan pengumuman hasil seleksi. Selain itu, juga tersedia brosur yang dapat diunduh untuk mendapatkan informasi lebih lanjut tentang penerimaan mahasiswa baru di Politeknik Negeri Padang.",
-      "ground_truth": "Penerimaan mahasiswa baru di Politeknik Negeri Padang dilakukan melalui berbagai jalur seleksi seperti SNBT, SNMPN, dan kelas kerjasama. Tersedia brosur dan informasi detail melalui situs http://penerimaan.pnp.ac.id. Program studi Teknik Alat Berat misalnya memiliki kelas kerjasama dengan PT Trakindo Utama. Jadwal seleksi dan pengumuman dapat diakses secara daring.",
-      "scores": {
-        "correctness": 0.9,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 0.8,
-        "overall": 0.83
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sangat mirip dengan jawaban referensi, hanya saja tidak ada perbedaan signifikan antara keduanya. Informasi yang diberikan akurat tentang PNP, seperti jalur seleksi penerimaan mahasiswa baru, situs web resmi, dan informasi yang tersedia di sana. Hanya saja, jawaban yang dievaluasi tidak menambahkan informasi yang lebih spesifik, seperti contoh program studi Teknik Alat Berat memiliki kelas kerjasama dengan PT Trakindo Utama, sehingga skor 0.9 diberikan.",
-        "relevance": "Jawaban ini sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan tentang proses penerimaan mahasiswa baru di Politeknik Negeri Padang. Informasi yang diberikan juga sesuai dengan konteks PNP, yaitu situs web resmi mereka dan informasi tentang program studi, persyaratan pendaftaran, jadwal seleksi, dan pengumuman hasil seleksi. Jawaban ini fokus dan tidak keluar topik, hanya memberikan informasi yang relevan dan berguna untuk menjawab pertanyaan. Namun, jawaban ini tidak sempurna karena tidak memberikan detail lebih lanjut tentang proses penerimaan mahasiswa baru di PNP.",
-        "groundedness": "Jawaban Anda sebagian besar berdasar pada dokumen, tetapi ada beberapa klaim yang tidak didukung oleh dokumen.\n\n* Klaim bahwa proses penerimaan mahasiswa baru dapat dilihat pada informasi yang tersedia di situs web resmi Politeknik Negeri Padang (http://penerimaan.pnp.ac.id/) didukung oleh dokumen.\n* Informasi tentang program studi, persyaratan pendaftaran, jadwal seleksi, dan pengumuman hasil seleksi juga didukung oleh dokumen.\n* Klaim bahwa brosur tersedia untuk mendapatkan informasi lebih lanjut tentang penerimaan mahasiswa baru di Politeknik Negeri Padang didukung oleh dokumen.\n\nNamun, jawaban Anda tidak sepenuhnya berdasar pada dokumen karena tidak ada informasi tentang beasiswa yang diterima mahasiswa Politeknik Negeri Padang (dokumen 2) atau kawasan hot spot area disekitar kampus (dokumen 4). Selain itu, jawaban Anda juga tidak menjelaskan tentang survey kepuasan masyarakat (dokumen 3) dan perjanjian kinerja antara Direktur Politeknik Negeri Padang dengan Ditjen Vokasi (dokumen 5).\n\nDalam kesimpulan, jawaban Anda sebagian besar berdasar pada dokumen, tetapi ada beberapa klaim yang tidak didukung oleh dokumen. Oleh karena itu, skor yang diberikan adalah 0.8.",
-        "retrieval": "Dokumen ini mengandung informasi tentang proses penerimaan mahasiswa baru, termasuk informasi tentang program studi dan bantuan untuk mahasiswa. Namun, tidak ada informasi yang spesifik tentang proses penerimaan mahasiswa baru.\n\n**Dokumen 2: Beasiswa Politeknik Negeri Padang**\nSkor: 0.4"
-      },
-      "metrics": {
-        "response_time": 39.9,
-        "retrieved_docs_count": 6,
-        "timestamp": "2025-07-01T20:01:39.471961"
-      }
-    },
-    {
-      "id": 9,
-      "question": "Apa bentuk kerjasama yang dilakukan Politeknik Negeri Padang?",
-      "answer": "Politeknik Negeri Padang menjalin kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya. Kerjasama yang dilakukan tidak hanya di Indonesia tapi juga dengan luar negeri baik dibidang industri maupun perguruan tinggi.",
-      "ground_truth": "Politeknik Negeri Padang menjalin kerjasama dengan industri, pemerintah, BUMN, dan asosiasi profesi baik dalam negeri maupun luar negeri. Bentuk kerjasama mencakup rekrutmen, prakerin (praktik kerja industri), kunjungan industri, bimbingan karir, serta pembuatan MoU. Tujuannya untuk menjaga mutu lulusan dan penyaluran SDM.",
-      "scores": {
-        "correctness": 0.9,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 0.8,
-        "overall": 0.83
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi memiliki beberapa kesamaan dengan jawaban referensi, seperti menjalin kerjasama dengan industri, pemerintah, BUMN, dan asosiasi profesi baik dalam negeri maupun luar negeri. Namun, terdapat beberapa perbedaan kecil, seperti penggunaan kata \"stake holder\" yang tidak ditemukan dalam jawaban referensi, serta penjelasan tambahan tentang kerjasama di bidang industri dan perguruan tinggi. Karena kesalahan tersebut, skor diberikan 0.9, yaitu sangat dekat dengan jawaban referensi namun masih memiliki beberapa kekurangan.",
-        "relevance": "Jawaban tersebut menjawab langsung pertanyaan yang diajukan, yaitu tentang bentuk kerjasama yang dilakukan Politeknik Negeri Padang. Informasi yang diberikan juga sesuai dengan konteks PNP sebagai politeknik yang berfokus pada kerjasama dengan industri dan lembaga lainnya. Namun, jawaban tersebut tidak menjawab langsung pertanyaan secara eksplisit, sehingga skor 0.8 diberikan.",
-        "groundedness": "Jawaban Anda sebagian besar berdasar pada dokumen, namun ada beberapa klaim yang tidak didukung oleh dokumen.\n\nKlaim \"Politeknik Negeri Padang menjalin kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya\" didukung oleh Dokumen 2 yang menyebutkan bahwa Politeknik Negeri Padang telah menjalin berbagai kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya.\n\nNamun, klaim \"Kerjasama yang dilakukan tidak hanya di Indonesia tapi juga dengan luar negeri baik dibidang industri maupun perguruan tinggi\" tidak didukung oleh dokumen. Dokumen 2 hanya menyebutkan bahwa Politeknik Negeri Padang telah menjalin berbagai kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya tanpa menyebutkan apakah itu di Indonesia atau luar negeri.\n\nKarena jawaban Anda sebagian besar berdasar pada dokumen, namun ada beberapa klaim yang tidak didukung oleh dokumen, maka skor yang diberikan adalah 0.8.",
-        "retrieval": "Dokumen 2 dan Dokumen 5 tidak relevan dengan pertanyaan, karena tidak mengandung informasi tentang bentuk kerjasama yang dilakukan Politeknik Negeri Padang.\n\nDokumen 1 dan Dokumen 3 berisi informasi tentang perjanjian kinerja antara Politeknik Negeri Padang dengan Ditjen Vokasi, namun tidak langsung menjawab pertanyaan tentang bentuk kerjasama yang dilakukan Politeknik Negeri Padang.\n\nDokumen 4 dan Dokumen 6 berisi informasi tentang sejarah Politeknik Negeri Padang dan kurikulum pendidikan, namun tidak langsung menjawab pertanyaan tentang bentuk kerjasama yang dilakukan Politeknik Negeri Padang.\n\nNamun, Dokumen 2 dan Dokumen 5 dapat dijadikan sebagai referensi untuk mengetahui lebih lanjut tentang Politeknik Negeri Padang, tetapi tidak relevan dengan pertanyaan.\n\nDalam penilaian ini, saya memberikan skor 0.8 karena dokumen yang diambil sebagian besar tidak langsung menjawab pertanyaan, namun masih dapat dijadikan sebagai referensi untuk mengetahui lebih lanjut tentang Politeknik Negeri Padang."
-      },
-      "metrics": {
-        "response_time": 23.76,
-        "retrieved_docs_count": 6,
-        "timestamp": "2025-07-01T20:02:41.464931"
-      }
-    },
-    {
-      "id": 10,
-      "question": "Siapa saja pimpinan di Politeknik Negeri Padang saat ini?",
-      "answer": "Saya tidak memiliki informasi tentang pimpinan Politeknik Negeri Padang saat ini.",
-      "ground_truth": "Direktur Politeknik Negeri Padang adalah Dr. Ir. Surfa Yondri, S.T., S.ST., M.Kom. Wakil Direktur Bidang Akademik adalah Ir. Revalin Herdianto, ST., M.Sc., Ph.D. Pimpinan lainnya antara lain Nasrullah, ST., M.T., dan Sarmiadi, S.E., M.M. yang memiliki pengalaman panjang dalam jabatan struktural di kampus.",
-      "scores": {
-        "correctness": 0.5,
-        "relevance": 0.5,
-        "groundedness": 0.0,
-        "retrieval": 0.5,
-        "overall": 0.375
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi tidak memiliki informasi tentang pimpinan Politeknik Negeri Padang saat ini, sehingga tidak sesuai dengan referensi yang menyebutkan nama-nama pimpinan PNP. Namun, jawaban tersebut juga tidak salah sepenuhnya karena tidak memberikan informasi yang tidak akurat atau tidak sesuai. Oleh karena itu, skor 0.5 diberikan sebagai penyeimbang antara tidak memiliki informasi dan tidak salah sepenuhnya.",
-        "relevance": "Jawaban tidak menjawab langsung pertanyaan yang diajukan, namun informasi yang diberikan masih relevan dengan konteks PNP karena jawaban mengindikasikan bahwa pengetahuan tentang pimpinan PNP saat ini tidak ada. Fokus pada jawaban dan tidak keluar topik, tetapi tidak menjawab pertanyaan secara langsung.",
-        "groundedness": "Jawaban tidak didukung oleh dokumen, karena tidak ada informasi tentang pimpinan Politeknik Negeri Padang saat ini di dalam dokumen-dokumen yang tersedia. Dokumen hanya berisi informasi umum tentang PNP, seperti tanggal pendirian, jurusan, program studi, dan jumlah dosen, tetapi tidak menyebutkan nama atau jabatan pimpinan PNP. Oleh karena itu, jawaban tidak konsisten dengan fakta dalam dokumen.",
-        "retrieval": "Dokumen yang diambil tidak langsung memberikan informasi tentang pimpinan Politeknik Negeri Padang saat ini. Namun, dokumen tersebut mengandung informasi tentang sejarah pendirian PNP dan jumlah jurusan serta program studi yang ada. Informasi tersebut dapat membantu dalam mencari tahu nama pimpinan PNP, tetapi tidak langsung memberikan jawaban.\n\nDokumen 1-6 semua memiliki informasi yang sama, yaitu sejarah pendirian PNP, jumlah jurusan dan program studi, serta alamat kampus. Informasi tersebut tidak relevan dengan pertanyaan tentang pimpinan PNP saat ini.\n\nNamun, jika kita mencoba untuk menemukan informasi tentang pimpinan PNP melalui dokumen-dokumen tersebut, kita dapat mencari tahu nama pimpinan PNP melalui situs web resmi PNP atau melalui sumber lain yang lebih spesifik. Oleh karena itu, skor 0.5 diberikan karena dokumen tidak langsung memberikan informasi tentang pimpinan PNP, tetapi memiliki potensi untuk membantu mencari tahu nama pimpinan PNP jika kita mencoba dengan cara lain."
-      },
-      "metrics": {
-        "response_time": 7.82,
-        "retrieved_docs_count": 6,
-        "timestamp": "2025-07-01T20:03:21.017105"
-      }
-    }
-  ]
-}

hasil_evaluasi/k6/pnp_rag_evaluation_results_intermediate_5of11.json

@@ -1,182 +0,0 @@
-{
-  "metadata": {
-    "evaluation_system": "PNP RAG Evaluator",
-    "dataset": "Politeknik Negeri Padang Q&A",
-    "model": "fauziisyrinapridal/sahabat-ai-v1:latest",
-    "evaluator": "llama3",
-    "timestamp": "2025-07-01T19:57:57.391660"
-  },
-  "summary": {
-    "total_evaluations": 5,
-    "correctness": {
-      "mean": 0.92,
-      "median": 0.9,
-      "std": 0.08366600265340754,
-      "min": 0.8,
-      "max": 1.0
-    },
-    "relevance": {
-      "mean": 0.76,
-      "median": 0.8,
-      "std": 0.08944271909999162,
-      "min": 0.6,
-      "max": 0.8
-    },
-    "groundedness": {
-      "mean": 0.68,
-      "median": 0.8,
-      "std": 0.16431676725154987,
-      "min": 0.5,
-      "max": 0.8
-    },
-    "retrieval": {
-      "mean": 0.78,
-      "median": 0.8,
-      "std": 0.17888543819998318,
-      "min": 0.5,
-      "max": 1.0
-    },
-    "overall_performance": {
-      "mean": 0.792,
-      "median": 0.785,
-      "std": 0.07653430603330766,
-      "min": 0.7050000000000001,
-      "max": 0.8999999999999999
-    },
-    "performance_metrics": {
-      "avg_response_time": 48.79976215362549,
-      "median_response_time": 38.612847089767456,
-      "total_response_time": 243.99881076812744,
-      "fastest_response": 21.089112758636475,
-      "slowest_response": 96.34029650688171
-    },
-    "score_distribution": {
-      "excellent_count": 2,
-      "good_count": 3,
-      "fair_count": 0,
-      "poor_count": 0
-    }
-  },
-  "detailed_results": [
-    {
-      "id": 1,
-      "question": "Bagaimana sistem pendidikan yang diterapkan di Politeknik Negeri Padang?",
-      "answer": "Sistem pendidikan yang diterapkan di Politeknik Negeri Padang adalah dengan menggabungkan pendidikan teoritis, praktek (terapan) di Laboratorium dan praktek industry. Pelaksanaan praktik di industri dilakukan oleh mahasiswa selama satu semester untuk menambah wawasan, pengalaman dan pengembangan ilmu guna membentuk tenaga ahli yang terampil dan profesional.",
-      "ground_truth": "Sistem pendidikan yang diterapkan di Politeknik adalah dengan menggabungkan pendidikan teoritis, praktek (terapan) di Laboratorium dan praktek industry. Pelaksanaan praktik di industri dilakukan oleh mahasiswa selama satu semester untuk menambah wawasan, pengalaman dan pengembangan ilmu guna membentuk tenaga ahli yang terampil dan profesional.",
-      "scores": {
-        "correctness": 1.0,
-        "relevance": 0.8,
-        "groundedness": 0.5,
-        "retrieval": 0.8,
-        "overall": 0.785
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sepenuhnya sesuai dengan referensi. Fakta-fakta yang diberikan dalam jawaban, seperti menggabungkan pendidikan teoritis, praktek di Laboratorium, dan praktek industry, serta pelaksanaan praktik di industri selama satu semester untuk menambah wawasan, pengalaman, dan pengembangan ilmu, semua sesuai dengan referensi. Informasi yang diberikan tentang PNP juga akurat dan tidak ada kesalahan atau ketidaksesuaian data.",
-        "relevance": "Jawaban ini sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan tentang sistem pendidikan yang diterapkan di Politeknik Negeri Padang. Informasi yang diberikan juga sesuai dengan konteks PNP, yaitu menggabungkan pendidikan teoritis, praktek (terapan) di Laboratorium dan praktek industry. Jawaban ini fokus dan tidak keluar topik, hanya membahas sistem pendidikan yang diterapkan di PNP tanpa menambahkan informasi yang tidak relevan. Namun, jawaban ini tidak sempurna karena tidak menjelaskan lebih lanjut tentang bagaimana pelaksanaan praktik di industri dilakukan oleh mahasiswa dan apa yang mereka lakukan selama satu semester.",
-        "groundedness": "Jawaban tidak sepenuhnya berdasar pada dokumen, namun ada beberapa informasi yang didukung oleh dokumen.\n\nDokumen 1 menjelaskan bahwa Politeknik Negeri Padang memiliki sistem pendidikan vokasional dengan aplikatif dan menyesuaikan diri dengan perkembangan dunia industri. Namun, tidak ada informasi tentang pelaksanaan praktik di industri yang disebutkan dalam jawaban.\n\nDokumen 2 hanya menjelaskan kurikulum pendidikan berbasis kompetensi tanpa menggambarkan sistem pendidikan yang diterapkan.\n\nDokumen 3-6 tidak memiliki informasi tentang sistem pendidikan yang diterapkan di Politeknik Negeri Padang.\n\nJawaban juga tidak konsisten dengan fakta dalam dokumen. Dokumen 1 hanya menjelaskan bahwa Politeknik Negeri Padang memiliki sistem pendidikan vokasional, namun jawaban menggabungkan pendidikan teoritis, praktek (terapan) di Laboratorium dan praktek industry yang tidak ada dalam dokumen.\n\nNamun, jawaban juga memiliki beberapa informasi yang didukung oleh dokumen, seperti sistem pendidikan vokasional yang diterapkan di Politeknik Negeri Padang. Oleh karena itu, skor 0.5 diberikan.",
-        "retrieval": "Dokumen 1 dan Dokumen 2 memberikan informasi tentang sistem pendidikan yang diterapkan di Politeknik Negeri Padang, termasuk kurikulum berbasis kompetensi dan program D IV. Informasi ini relevan dengan pertanyaan karena menjawab bagaimana sistem pendidikan di Politeknik Negeri Padang.\n\nDokumen 3 memberikan informasi tentang perjanjian kinerja antara Direktur Politeknik Negeri Padang dengan Ditjen Vokasi, yang dapat membantu menjawab pertanyaan. Namun, dokumen ini tidak langsung mengandung informasi tentang sistem pendidikan.\n\nDokumen 4 dan Dokumen 6 memberikan informasi tentang lokasi kampus dan jadwal perkuliahan, tetapi tidak relevan dengan pertanyaan.\n\nDokumen 5 memberikan informasi tentang tata nilai Politeknik Negeri Padang, yang tidak langsung mengandung informasi tentang sistem pendidikan.\n\nDalam keseluruhan, dokumen 1 dan Dokumen 2 sangat relevan dan lengkap dalam menjawab pertanyaan. Oleh karena itu, skor yang diberikan adalah 0.8."
-      },
-      "metrics": {
-        "response_time": 96.34,
-        "retrieved_docs_count": 6,
-        "timestamp": "2025-07-01T19:52:48.451999"
-      }
-    },
-    {
-      "id": 2,
-      "question": "Apa saja mata kuliah yang terdapat dalam kurikulum pendidikan Politeknik Negeri Padang?",
-      "answer": "Mata kuliah yang terdapat dalam kurikulum pendidikan Politeknik Negeri Padang adalah:\n\n1. Mata Kuliah Pengembangan Kepribadian (MPK)\n2. Mata Kuliah dan Keimuan dan Keterampilan (MKK)\n3. Mata Kuliah Berkarya (MKB)\n4. Mata Kulah Berkehidupan Bermasyarakat (MBB)",
-      "ground_truth": "Kurikulum Pendidikan telah disusun berbasis kompetensi dengan kelompok mata kuliah sebagai berikut : - Mata Kuliah Pengembangan Kepribadian (MPK) - Mata Kuliah Keimuan dan Keterampilan (MKK) - Mata Kuliah Berkarya (MKB) - Mata Kuliah Berkehidupan Bermasyarakat (MBB)",
-      "scores": {
-        "correctness": 0.9,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 0.8,
-        "overall": 0.83
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi memiliki kesamaan dengan referensi sebesar 90%. Kesamaan tersebut terlihat pada mata kuliah MPK, MKK, MKB, dan MBB yang tercantum dalam kurikulum pendidikan Politeknik Negeri Padang. Namun, terdapat satu kesalahan kecil yaitu penulisan \"Mata Kulah\" menjadi \"Mata Kuliah\" pada nomor 4. Karena kesalahan tersebut, skor yang diberikan adalah 0.9.",
-        "relevance": "Jawaban ini sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan yang diajukan tentang mata kuliah yang terdapat dalam kurikulum pendidikan Politeknik Negeri Padang. Informasi yang diberikan juga sesuai dengan konteks PNP, yaitu nama-nama mata kuliah yang terkait dengan pendidikan politeknik. Namun, jawaban ini tidak sempurna karena tidak menjelaskan lebih lanjut tentang isi atau tujuan dari masing-masing mata kuliah tersebut.",
-        "groundedness": "Jawaban Anda menyebutkan empat mata kuliah yang terdapat dalam kurikulum pendidikan Politeknik Negeri Padang, yaitu MPK, MKK, MKB, dan MBB. Dokumen 1 memang menjelaskan tentang kurikulum pendidikan yang telah disusun berbasis kompetensi dengan kelompok mata kuliah sebagai berikut: Mata Kuliah Pengembangan Kepribadian (MPK), Mata Kuliah dan Keimuan dan Keterampilan (MKK), Mata Kuliah Berkarya (MKB), dan Mata Kulah Berkehidupan Bermasyarakat (MBB). Namun, dokumen lainnya tidak menyebutkan informasi tentang mata kuliah tersebut.\n\nDokumen 2-6 tidak memiliki informasi yang relevan dengan mata kuliah. Oleh karena itu, jawaban Anda hanya didukung oleh Dokumen 1 sebesar 80%, sehingga skor yang diberikan adalah 0.8.",
-        "retrieval": "Dokumen 1 dan Dokumen 6 mengandung informasi yang relevan dengan pertanyaan, yaitu tentang mata kuliah yang terdapat dalam kurikulum pendidikan Politeknik Negeri Padang. Dokumen 1 menjelaskan bahwa kurikulum Pendidikan telah disusun berbasis kompetensi dengan kelompok mata kuliah sebagai berikut : Mata Kuliah Pengembangan Kepribadian (MPK), Mata Kuliah dan Keimuan dan Keterampilan (MKK), Mata Kulah Berkehidupan Bermasyarakat (MBB). Dokumen 6 menampilkan jadwal perkuliahan Politeknik Negeri Padang D3 TEL II A, yang mencakup informasi tentang mata kuliah dan waktu pelajaran.\n\nNamun, dokumen lainnya tidak terlalu relevan dengan pertanyaan. Dokumen 2 hanya berisi informasi akreditasi program studi, sedangkan Dokumen 3 berisi informasi lokasi kampus Politeknik Negeri Padang. Dokumen 4 berisi informasi tentang beasiswa yang tersedia untuk mahasiswa, tetapi tidak terkait dengan pertanyaan. Dokumen 5 berisi informasi tentang penerimaan mahasiswa baru, tetapi tidak memiliki informasi yang relevan dengan pertanyaan.\n\nDalam kesimpulan, dokumen 1 dan Dokumen 6 adalah dokumen yang paling relevan dengan pertanyaan, sehingga skor yang diberikan adalah 0.8."
-      },
-      "metrics": {
-        "response_time": 38.61,
-        "retrieved_docs_count": 6,
-        "timestamp": "2025-07-01T19:54:03.313289"
-      }
-    },
-    {
-      "id": 3,
-      "question": "Bagaimana Politeknik Negeri Padang mendukung misi tridharma perguruan tinggi?",
-      "answer": "Politeknik Negeri Padang didukung oleh tenaga pendidik dan tenaga kependidikan yang profesional pada bidangnya. Jumlah dan kualifikasi staf tersebut berdasarkan keadaan Desember 2017 sebagai berikut :\n\n1. Tenaga Pendidik : S1 = 14 orang S2 = 256 S3 = 21 orang   Yang sedangmenempuh S3 = 7 orang   Yang sdang menempuh S2 = 5 orang\n\n2. Tenaga Kependidikan : SD = 5 orang, SMP = 4 orang, SLTA = 71 orang, D3 = 25 orang,   S1 = 54 orang S2 = 15 orang",
-      "ground_truth": "Politeknik Negeri Padang dalam menjalankan misi tridharma perguruan tinggi didukung oleh tenaga pendidik dan tenaga kependidikan yang profesional pada bidangnya. Jumlah dan kualifikasi staf tersebut berdasarkan keadaan Desember 2017 sebagai berikut : - Tenaga Pendidik : S1 = 14 orang, S2 = 256 orang, S3 = 21 orang (Yang sedang menempuh S3 = 7 orang, Yang sedang menempuh S2 = 5 orang) - Tenaga Kependidikan : SD = 5 orang, SMP = 4 orang, SLTA = 71 orang, D3 = 25 orang, S1 = 54 orang, S2 = 15 orang.",
-      "scores": {
-        "correctness": 0.9,
-        "relevance": 0.6,
-        "groundedness": 0.5,
-        "retrieval": 0.8,
-        "overall": 0.705
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sangat mirip dengan jawaban referensi, hanya ada beberapa perbedaan kecil dalam penulisan dan format data. Keduanya memiliki informasi yang sama tentang jumlah dan kualifikasi tenaga pendidik dan tenaga kependidikan PNP.\n\nNamun, terdapat beberapa kesalahan kecil yang membuat skor tidak sempurna:\n\n* Tidak ada spasi antara baris dalam penulisan data, sehingga menjadi sulit dibaca.\n* Penulisan \"Yang sedang menempuh S3 = 7 orang\" dan \"Yang sdang menempuh S2 = 5 orang\" agak tidak rapih.\n\nKesalahan-kesalahan kecil ini membuat skor menjadi 0.9, bukan 1.0.",
-        "relevance": "Jawaban yang diberikan tidak langsung menjawab pertanyaan tentang bagaimana PNP mendukung misi tridharma perguruan tinggi. Jawaban tersebut lebih fokus pada jumlah dan kualifikasi tenaga pendidik dan kependidikan di PNP, namun tidak menjelaskan bagaimana mereka mendukung misi tridharma.\n\nNamun, jawaban tersebut masih relevan dengan konteks PNP karena informasi yang diberikan tentang tenaga pendidik dan kependidikan dapat membantu memahami bagaimana PNP beroperasi. Oleh karena itu, skor 0.6 diberikan untuk jawaban yang relatif relevan namun tidak langsung menjawab pertanyaan.\n\nPerlu diingat bahwa jawaban yang lebih relevan dan tepat sasaran akan memberikan skor yang lebih tinggi, seperti 0.8 atau 1.0.",
-        "groundedness": "Jawaban tersebut tidak sepenuhnya berdasar pada dokumen, karena:\n\n* Dokumen tidak menyebutkan jumlah dan kualifikasi staf yang diperlukan.\n* Dokumen hanya menjabarkan tentang komitmen dan pertanggungjawaban kepada Pemerintah dan Masyarakat, serta tujuan Politeknik Negeri Padang, tetapi tidak memberikan informasi tentang tenaga pendidik dan kependidikan.\n* Jawaban tersebut juga tidak konsisten dengan fakta dalam dokumen, karena tidak ada informasi tentang jumlah dan kualifikasi staf yang diperlukan.\n\nNamun, jawaban tersebut juga tidak sepenuhnya tidak berdasar pada dokumen, karena:\n\n* Dokumen 1-5 memberikan informasi tentang Politeknik Negeri Padang sebagai lembaga pendidikan vokasional yang profesional.\n* Dokumen 6 memberikan informasi tentang Tata Nilai Politeknik Negeri Padang.\n\nDengan demikian, skor yang diberikan adalah 0.5, karena jawaban tersebut tidak sepenuhnya berdasar pada dokumen, tetapi juga tidak sepenuhnya tidak berdasar pada dokumen.",
-        "retrieval": "Dokumen-dokumen yang diambil terdiri dari berbagai informasi tentang Politeknik Negeri Padang, termasuk visi dan misinya, program pendidikan, kurikulum, bantuan untuk mahasiswa, serta kerjasama dengan lembaga lain. Dokumen 1-5 memberikan gambaran yang jelas tentang bagaimana Politeknik Negeri Padang mendukung misi tridharma perguruan tinggi, termasuk pengembangan pendidikan vokasional, penelitian, dan karya pengabdian kepada masyarakat.\n\nNamun, dokumen 6 tidak terlalu relevan dengan pertanyaan yang diajukan. Dokumen ini lebih berfokus pada profil Politeknik Negeri Padang dan tata nilai, sehingga informasinya tidak langsung membantu menjawab pertanyaan.\n\nDalam keseluruhan, dokumen-dokumen yang diambil memberikan informasi yang cukup untuk menjawab pertanyaan, tetapi masih ada beberapa informasi penting yang tidak terambil. Oleh karena itu, skor yang diberikan adalah 0.8."
-      },
-      "metrics": {
-        "response_time": 53.35,
-        "retrieved_docs_count": 6,
-        "timestamp": "2025-07-01T19:55:35.747438"
-      }
-    },
-    {
-      "id": 4,
-      "question": "Bagaimana Politeknik Negeri Padang menyediakan akses internet bagi mahasiswa?",
-      "answer": "Politeknik Negeri Padang menyediakan akses internet bagi mahasiswa melalui Anjungan Internet Mandiri (AIM) yang dapat diakses secara gratis di titik-titik strategis kampus. Selain itu, Politeknik Negeri Padang juga memiliki kawasan hot spot area di sekitar kampus, sehingga mahasiswa dapat memanfaatkan internet secara bebas dengan menggunakan laptop/PC.",
-      "ground_truth": "Politeknik Negeri Padang telah memiliki Anjungan Internet Mandiri (AIM) yang dapat diakses oleh mahasiswa secara gratis, yang tersedia pada titik-titik strategis. Juga tersedia kawasan hot spot area di sekitar kampus sehingga mahasiswa dapat memanfaatkan internet dengan bebas menggunakan laptop/PC.",
-      "scores": {
-        "correctness": 1.0,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 1.0,
-        "overall": 0.9
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sepenuhnya sesuai dengan referensi. Fakta-fakta yang diberikan dalam jawaban, seperti adanya Anjungan Internet Mandiri (AIM) dan kawasan hot spot area di sekitar kampus, juga akurat tentang Politeknik Negeri Padang. Tidak ada kesalahan atau ketidaksesuaian data dalam jawaban.",
-        "relevance": "Jawaban ini sangat relevan dan tepat sasaran karena menjawab langsung pertanyaan yang diajukan tentang bagaimana PNP menyediakan akses internet bagi mahasiswa. Informasi yang diberikan juga sesuai dengan konteks PNP, yaitu tentang Anjungan Internet Mandiri (AIM) dan kawasan hot spot area di sekitar kampus. Jawaban ini fokus dan tidak keluar topik, hanya memberikan informasi yang relevan dan berguna untuk menjawab pertanyaan. Namun, jawaban ini tidak sempurna karena tidak memberikan detail lebih lanjut tentang Anjungan Internet Mandiri (AIM) dan kawasan hot spot area, sehingga skor 0.8 diberikan.",
-        "groundedness": "Jawaban tersebut sebagian besar berdasar pada dokumen, namun ada beberapa klaim yang tidak didukung oleh dokumen.\n\n* Klaim bahwa Politeknik Negeri Padang menyediakan akses internet bagi mahasiswa melalui Anjungan Internet Mandiri (AIM) yang dapat diakses secara gratis di titik-titik strategis kampus. Dokumen 1 dan Dokumen 3 tidak mengatakan tentang AIM, namun Dokumen 5 hanya berisi informasi teknis tentang gtranslateSettings.\n* Klaim bahwa Politeknik Negeri Padang memiliki kawasan hot spot area di sekitar kampus. Dokumen 1 tidak mengatakan tentang hot spot area.\n\nNamun, jawaban tersebut juga memuat beberapa informasi yang didukung oleh dokumen, seperti:\n\n* Informasi tentang AIM dan kawasan hot spot area di Dokumen 2.\n* Informasi tentang Politeknik Negeri Padang sebagai institusi pendidikan yang memiliki kampus dan program studi.\n\nDalam skala 0-1, saya memberikan skor 0.8 karena jawaban tersebut sebagian besar berdasar pada dokumen, namun ada beberapa klaim yang tidak didukung oleh dokumen.",
-        "retrieval": "Based on the provided documents, I evaluate the relevance and completeness of each document in answering the question \"Bagaimana Politeknik Negeri Padang menyediakan akses internet bagi mahasiswa?\"\n\nDocument 1: This document provides information about the number of staff members at Politeknik Negeri Padang, but it does not directly relate to the provision of internet access for students. Score: 0.2\nPenjelasan: The document provides some general information about the institution, but it is not relevant to the specific question being asked.\n\nDocument 2: This document discusses various forms of assistance and scholarships available to students at Politeknik Negeri Padang, including beasiswa for academic excellence. However, it does not specifically mention internet access. Score: 0.3\nPenjelasan: The document provides some relevant information about student support services, but it is not directly related to the provision of internet access.\n\nDocument 3: This document appears to be a collection of news articles and announcements from Politeknik Negeri Padang, including mentions of digital initiatives and technology transfer. However, it does not specifically address the question of how the institution provides internet access for students. Score: 0.1\nPenjelasan: The document is too general and does not provide specific information about internet access.\n\nDocument 4: This document appears to be related to student admission procedures at Politeknik Negeri Padang, including links to relevant information and forms. However, it does not specifically address the question of how the institution provides internet access for students. Score: 0.1\nPenjelasan: The document is too general and does not provide specific information about internet access.\n\nDocument 5: This document appears to be a settings file for Google Translate, which is not relevant to the question being asked. Score: 0.0\nPenjelasan: The document is not related to the provision of internet access or any other aspect of student life at Politeknik Negeri Padang.\n\nDocument 6: This document appears to be a performance agreement between the Director of Politeknik Negeri Padang and the Directorate General for Vocational Education, which does not specifically address the question of how the institution provides internet access for students. Score: 0.1\nPenjelasan: The document is too general and does not provide specific information about internet access.\n\nOverall score: 0.5\n\nPenjelasan: While some documents provide relevant information about Politeknik Negeri Padang, none of them specifically address the question of how the institution provides internet access for students. Therefore, I would give a score of 0.5 out of 1.0."
-      },
-      "metrics": {
-        "response_time": 34.6,
-        "retrieved_docs_count": 6,
-        "timestamp": "2025-07-01T19:56:55.199826"
-      }
-    },
-    {
-      "id": 5,
-      "question": "Apa saja contoh kerjasama Politeknik Negeri Padang dengan industri?",
-      "answer": "Politeknik Negeri Padang menjalin kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya. Kerjasama yang dilakukan tidak hanya di Indonesia tapi juga dengan luar negeri baik dibidang industri maupun perguruan tinggi.",
-      "ground_truth": "PT. Siemens Indonesia, PT. Toyota Aichi Takaoua Japan, PT. PLN, PT. INTI, Futaba Rashi Siisha Kusho Japan, PT. Sintom, PT. Krakatau Steel, Komatssu Shinge Koumuten, PT. PAL Indonesia, PT. Hexindo, Taishurin Co. Ltd Fukuoaka Japan, PT. Texmaco Perkasa, PT. LEN Industri, PT. Toyota Astra Motor, PT. Indah Kiat, PT. Trakindo Utama, BTN.",
-      "scores": {
-        "correctness": 0.8,
-        "relevance": 0.8,
-        "groundedness": 0.8,
-        "retrieval": 0.5,
-        "overall": 0.74
-      },
-      "explanations": {
-        "correctness": "Jawaban yang dievaluasi sebagian benar, sebagian salah. PNP memang menjalin kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya, seperti terlihat dalam daftar nama-nama perusahaan yang disebutkan. Namun, informasi tentang kerjasama luar negeri tidak sesuai dengan referensi, karena tidak ada bukti bahwa PNP menjalin kerjasama dengan perusahaan-perusahaan Jepang seperti Futaba Rashi Siisha Kusho Japan, Taishurin Co. Ltd Fukuoaka Japan, dan Komatssu Shinge Koumuten.\n\nKesalahan lainnya adalah adanya nama-nama perusahaan yang tidak relevan dengan PNP, seperti PT. PAL Indonesia dan BTN, yang bukan merupakan kerjasama PNP dengan industri. Oleh karena itu, skor 0.8 diberikan karena jawaban sebagian benar namun juga mengandung kesalahan.",
-        "relevance": "Jawaban ini relevan dan tepat sasaran, namun tidak langsung menjawab pertanyaan yang diajukan. Pertanyaan meminta contoh kerjasama PNP dengan industri, tetapi jawaban lebih fokus pada jenis kerjasama yang dilakukan PNP daripada memberikan contoh spesifik. Informasi yang diberikan juga sesuai dengan konteks PNP sebagai politeknik negeri yang menjalin kerjasama dengan berbagai pihak. Namun, untuk meningkatkan relevansi dan tepat sasaran, jawaban dapat lebih fokus pada contoh-contoh kerjasama PNP dengan industri yang spesifik.",
-        "groundedness": "Jawaban Anda sebagian besar berdasar pada dokumen, namun terdapat beberapa klaim yang tidak didukung oleh dokumen.\n\nKlaim \"Politeknik Negeri Padang menjalin kerjasama dengan industri, stake holder maupun instansi – instansi Pemerintah, BUMN dan Lembaga Asosiasi Profesi lainnya\" didukung oleh Dokumen 1, yang menyatakan bahwa Politeknik Negeri Padang telah menjalin berbagai kerjasama dengan industri, stake holder, dan instansi lainnya.\n\nNamun, klaim \"Kerjasama yang dilakukan tidak hanya di Indonesia tapi juga dengan luar negeri baik dibidang industri maupun perguruan tinggi\" tidak didukung oleh dokumen. Dokumen 1 hanya menyatakan bahwa Politeknik Negeri Padang telah menjalin berbagai kerjasama, namun tidak memberikan informasi tentang lokasi atau bidang kerjasama.\n\nDalam penilaian, saya memberikan skor 0.8 karena jawaban Anda sebagian besar berdasar pada dokumen, namun terdapat beberapa klaim yang tidak didukung oleh dokumen.",
-        "retrieval": "The document mentions that PNP has collaborated with various stakeholders, including industries, but it does not provide specific examples of these collaborations.\n\nDocument 2:\nSkor: 0.8"
-      },
-      "metrics": {
-        "response_time": 21.09,
-        "retrieved_docs_count": 6,
-        "timestamp": "2025-07-01T19:57:57.391660"
-      }
-    }
-  ]
-}

hasil_evaluasi/k6/summary.txt

@@ -1,27 +0,0 @@
-============================================================
-         PNP RAG EVALUATION SUMMARY
-============================================================
-Total Evaluations: 11
-Evaluation Time: 887.4s
-
-SCORE BREAKDOWN:
-  Correctness:  0.855 ± 0.137
-  Relevance:    0.764 ± 0.112
-  Groundedness: 0.591 ± 0.281
-  Retrieval:    0.782 ± 0.160
-  Overall:      0.751 ± 0.140
-
-PERFORMANCE DISTRIBUTION:
-  Excellent (≥0.8): 5 (45.5%)
-  Good (0.6-0.8):   5 (45.5%)
-  Fair (0.4-0.6):   0 (0.0%)
-  Poor (<0.4):      1 (9.1%)
-
-RESPONSE TIME STATS:
-  Average: 39.96s
-  Median:  38.61s
-  Range:   7.82s - 96.34s
-============================================================
-
-Evaluation completed successfully!
-Results saved to: pnp_rag_evaluation_results.json