update scan bills and speech function

app.py

@@ -49,11 +49,23 @@ def handle_transcribe_speech():
     file = request.files['file']
     if file.filename == '':
         return jsonify({'error': 'No selected file'}), 400
+    
+    mood = request.form.get('mood', 'neutral')
+    
     temp_path = 'temp_audio.wav'
     file.save(temp_path)
     try:
         transcription = transcribe_file(temp_path)
-        return jsonify({'transcription': transcription})
+        result = classify_transaction(transcription)
+        
+        message = chat(mood, transcription)
+        result_dict = {
+            "description": result['description'],
+            "amount": result['amount'],
+            "category": result['category'],
+            "chat_response": message
+        }
+        return jsonify(result_dict)
     except Exception as e:
         return jsonify({'error': str(e)}), 500
     finally:
@@ -82,12 +94,19 @@ def handle_scan_bills():
         return jsonify({'error': 'No selected file'}), 400
     temp_path = 'temp_image.jpg'
     file.save(temp_path)
+    mood = request.form.get('mood', 'neutral')
     try:
         result = scan_bills(temp_path)
-        key, value = result.split(':')
-        value = value.strip()
+        values = result.split(':')
+        values = [v.strip() for v in values]
+        
         result_dict = {}
-        result_dict[key] = value
+        result_dict["description"] = values[0]
+        result_dict["category"] = values[1]
+        result_dict["amount"] = values[2]
+        
+        message = chat(mood, result)
+        result_dict["chat_response"] = message
         return jsonify(result_dict)
     except Exception as e:
         return jsonify({'error': str(e)}), 500

chatbot/chatbot.py

@@ -24,31 +24,67 @@ def extract_amount(prompt):
         if match.group(2):
             amount *= 1000
         return amount
-    return None
+            
+    llm_amount_prompt = (
+        f"Người dùng đã mô tả giao dịch là: {prompt} "
+        "Bạn hãy trả về số tiền cho giao dịch này, ví dụ như 'Ăn sáng 20k' thì bạn trả về '20000' "
+        "Hoặc 'bốn mươi nghìn' thì bạn trả về '40000' "
+        "Nếu không xác định được, hãy cho nó vào danh mục 'Các chi phí khác' "
+        "Nếu hoàn toàn không phải bất cứ giao dịch thu hoặc chi nào, hãy trả lời 'Không xác định' "
+        "Chú ý: chỉ trả về số tiền chứ không trả về từ nào khác, Ví dụ: '20000' "
+    )
+    try:
+        response = category_classification_model.generate_content(
+            contents=llm_amount_prompt,
+            generation_config={
+                "temperature": 0.7,
+                "max_output_tokens": 100
+            }
+        )
+        amount = response.text.strip()
+    except Exception as e:
+        amount = f'Lỗi trong quá trình xử lý: {e}'
+    return amount
 
 def classify_transaction(prompt):
     if not prompt:
         return {'amount': None, 'category': TransactionCategory.UNKNOWN.value}
     amount = extract_amount(prompt)
-    llm_prompt = (
+    llm_category_prompt = (
         f" Dựa vào mô tả giao dịch từ người dùng {prompt}, hãy xác định xem đây thuộc loại giao dịch nào trong danh sách này: {categories} "
         "Ví dụ, nếu mô tả là 'Ăn sáng 20k' thì có nghĩa là đây là giao dịch thuộc loại 'Ăn uống' với số tiền là 20.000đ "
         "Nếu không xác định được, hãy cho nó vào danh mục 'Các chi phí khác' "
         "Nếu hoàn toàn không phải bất cứ giao dịch thu hoặc chi nào, hãy trả lời 'Không xác định' "
-        "Chú ý: chỉ trả về tên loại giao dịch chứ không trả về số tiền hay bất cứ từ nào khác "
+        "Chú ý: chỉ trả về tên loại giao dịch chứ không trả về số tiền hay bất cứ từ nào khác, Ví dụ: 'Ăn uống' "
+    )
+    llm_description_prompt = (
+        f"Người dùng đã mô tả giao dịch là: {prompt} "
+        "Bạn hãy trả về mô tả cho giao dịch này, ví dụ như 'Ăn sáng 20k' thì bạn trả về 'Ăn sáng' "
+        "Nếu không xác định được, hãy cho nó vào danh mục 'Các chi phí khác' "
+        "Nếu hoàn toàn không phải bất cứ giao dịch thu hoặc chi nào, hãy trả lời 'Không xác định' "
+        "Chú ý: chỉ trả về mô tả giao dịch chứ không trả về số tiền hay bất cứ từ nào khác, Ví dụ: 'Ăn sáng' "
     )
     try:
         response = category_classification_model.generate_content(
-            contents=llm_prompt,
+            contents=llm_category_prompt,
+            generation_config={
+                "temperature": 0.7,
+                "max_output_tokens": 100
+            }
+        )
+        response_description = category_classification_model.generate_content(
+            contents=llm_description_prompt,
             generation_config={
                 "temperature": 0.7,
                 "max_output_tokens": 100
             }
         )
         category = response.text.strip()
+        description = response_description.text.strip()
     except Exception as e:
         category = f'Lỗi trong quá trình xử lý: {e}'
     return {
+        "description" : description,
         "amount" : amount,
         "category" : category
     }

read_image/scan_bills.py

@@ -14,9 +14,10 @@ genai.configure(api_key=API_KEY)
 scan_model = genai.GenerativeModel(
     model_name='gemini-2.0-flash',
     system_instruction='Hãy giúp tôi quét hóa đơn và trích xuất thông tin từ hóa đơn này'
-    f'Hãy giúp tôi phân loại giao dịch từ danh sách có sẵn: {categories} và cho tôi biết số tiền của giao dịch đó'
-    'Ví dụ: Mua sắm 200000 VND'
-    'Chỉ trả lời theo dạng: Tên danh mục: số tiền VND'
+    f'Hãy giúp tôi phân loại giao dịch từ danh sách có sẵn: {categories} và cho tôi biết số tiền, mô tả của giao dịch đó'
+    'Ví dụ của phản hồi: Ăn bánh cuốn: Ăn uống: 200000'
+    'Chỉ trả lời theo dạng: Mô tả: Tên danh mục: số tiền'
+    'Hãy trả lời đúng theo mẫu trên và không thừa bất cứ từ nào khác'
 )
 
 def scan_bills(image_path):