feat: random key rotation

freshqa/fresheval_parallel.py

@@ -93,8 +93,9 @@ class FreshEvalParallel:
         """워커 함수 - 각 워커마다 독립적인 FreshEval 인스턴스 생성"""
         row, mode, current_date = args
         
-        # 각 워커마다 독립적인 FreshEval 인스턴스 생성 (로테이터로 키 분배)
-        api_key = get_rotator().pick_key()
+        # 각 워커마다 랜덤한 키로 시작 (부하 분산)
+        # 429 에러 발생 시 FreshEval 내부에서 자동으로 다음 키로 순차 로테이션
+        api_key = get_rotator().pick_key_random()
         worker_eval = FreshEval(model=self.model, api_key=api_key)
         
         # 기존 evaluate_single_row 메서드 사용

src/api_key_rotator.py

@@ -4,6 +4,7 @@ API 키 로테이터 모듈
 """
 
 import threading
+import random
 from itertools import count
 from typing import List
 
@@ -42,6 +43,27 @@ class ApiKeyRotator:
         with self._lock:
             index = next(self._counter) % len(self.keys)
             return self.keys[index]
+    
+    def pick_key_random(self) -> str:
+        """
+        랜덤하게 키를 선택합니다 (Thread-safe)
+        
+        Returns:
+            랜덤하게 선택된 API 키
+        
+        Example:
+            >>> rotator = ApiKeyRotator(["key1", "key2", "key3"])
+            >>> rotator.pick_key_random()  # "key2" (랜덤)
+            >>> rotator.pick_key_random()  # "key1" (랜덤)
+            >>> rotator.pick_key_random()  # "key3" (랜덤)
+        
+        Note:
+            - 워커 시작 시 첫 키를 선택할 때 사용하여 부하를 분산시킵니다.
+            - 각 유저/워커가 서로 다른 키로 시작하여 특정 키에 부하가 집중되는 것을 방지합니다.
+        """
+        with self._lock:
+            index = random.randint(0, len(self.keys) - 1)
+            return self.keys[index]
 
 
 # 전역 인스턴스 (싱글톤 패턴)