initial config

.env

@@ -0,0 +1 @@
+API_KEY = AIzaSyCU1wkyt7csYhluYLVCbGAGT5Ud3VBtBjo

Procfile

@@ -0,0 +1 @@
+web: gunicorn app:app

app.py

@@ -0,0 +1,99 @@
+from flask import Flask, request, jsonify
+import pandas as pd
+from expense_forecast.Expense_Forecasting import get_input_data, forecast_expense, model_fit, df
+from chatbot.chatbot import classify_transaction, chat
+from speech_transcribe.speech_transcribe import transcribe_file
+from budget_suggestion.budget_suggestion import budget_suggestion
+from read_image.scan_bills import scan_bills
+import os
+from flask_cors import CORS
+
+app = Flask(__name__)
+CORS(app)
+
+@app.route('/monthly_expense_prediction', methods=['POST'])
+def handle_predict():
+    data = request.get_json()
+    input_data = get_input_data(
+        data['Income (VND)'], 
+        data['Interest rate (%)'], 
+        data['Inflation rate (%)'], 
+        data['Holidays']
+    )
+    forecast = forecast_expense(model_fit, input_data, df)
+    return jsonify({'forecasted_expense': forecast})
+
+@app.route('/transaction_classification', methods=['POST'])
+def handle_classify():
+    data = request.get_json()
+    result = classify_transaction(data['prompt'])
+    return jsonify(result)
+
+@app.route('/chat', methods=['POST'])
+def chat_with_user():
+    data = request.get_json()
+    mood = data['mood']
+    prompt = data['prompt']
+    response = chat(mood, prompt)
+    return jsonify({'response': response})
+
+@app.route('/speech_transcribe', methods=['POST'])
+def handle_transcribe_speech():
+    if 'file' not in request.files:
+        return jsonify({'error': 'No file part'}), 400
+    file = request.files['file']
+    if file.filename == '':
+        return jsonify({'error': 'No selected file'}), 400
+    temp_path = 'temp_audio.wav'
+    file.save(temp_path)
+    try:
+        transcription = transcribe_file(temp_path)
+        return jsonify({'transcription': transcription})
+    except Exception as e:
+        return jsonify({'error': str(e)}), 500
+    finally:
+        if os.path.exists(temp_path):
+            os.remove(temp_path)
+            
+@app.route('/suggest_budget', methods=['POST'])
+def handle_suggest_budget():
+    data = request.get_json()
+    amount = data['income']
+    suggestion_text = budget_suggestion(amount)
+    budget_dict = {}
+    items = suggestion_text.split(',')
+    for item in items:
+        if ':' in item:
+            key, value = item.split(':')
+            budget_dict[key.strip()] = value.strip()
+    return jsonify(budget_dict)
+
+@app.route('/scan_bills', methods=['POST'])
+def handle_scan_bills():
+    if 'file' not in request.files:
+        return jsonify({'error': 'No file part'}), 400
+    file = request.files['file']
+    if file.filename == '':
+        return jsonify({'error': 'No selected file'}), 400
+    temp_path = 'temp_image.jpg'
+    file.save(temp_path)
+    try:
+        result = scan_bills(temp_path)
+        key, value = result.split(':')
+        value = value.strip()
+        result_dict = {}
+        result_dict[key] = value
+        return jsonify(result_dict)
+    except Exception as e:
+        return jsonify({'error': str(e)}), 500
+    finally:
+        if os.path.exists(temp_path):
+            os.remove(temp_path)
+            
+@app.route('/hello-world', methods=['GET'])
+def hello():
+    return "Hello World!"
+    
+if __name__ == '__main__':
+    # app.run(debug=True)
+    app.run(host='0.0.0.0', port=7860)

budget_suggestion/budget_suggestion.py

@@ -0,0 +1,34 @@
+import google.generativeai as genai
+import os
+from dotenv import load_dotenv
+
+load_dotenv()
+
+API_KEY = os.getenv('API_KEY')
+
+genai.configure(api_key=API_KEY)
+budget_model = genai.GenerativeModel(
+    model_name='gemini-2.0-flash',
+    system_instruction='Bạn hãy giúp người dùng chia tỷ lệ ngân sách cho từng mục chi tiêu trong tháng này dựa vào thu nhập của họ'
+    'Ví dụ: tôi có thu nhập 10000000 VND, tôi dành khoảng 3 triệu cho ăn uống, 3 triệu cho nhà ở, 2 triệu cho tiết kiệm và 2 triệu còn lại cho các mục khác'
+    'Hãy trả lời theo dạng: Ăn uống: 3000000 VND, Nhà ở: 3000000 VND, Tiết kiệm: 2000000 VND, Các mục khác: 2000000 VND'
+    'Chỉ trả lời theo dạng trên mà không kèm theo từ nào khác, chỉ gồm những danh mục trên'
+    'Hãy trả lời với bối cảnh là cá nhân đang sinh sống tại thành phố Hà Nội'
+)
+
+def budget_suggestion(income):
+    prompt = (
+        f"Người dùng có thu nhập là {income} VND, hãy giúp họ chia tỷ lệ ngân sách cho từng mục chi tiêu trong tháng này"
+    )
+    try:
+        response = budget_model.generate_content(
+            contents=prompt,
+            generation_config={
+                "temperature": 0.7,
+                "max_output_tokens": 100
+            }
+        )
+        suggestion = response.text.strip()
+    except Exception as e:
+        suggestion = f'Lỗi trong quá trình xử lý: {e}'
+    return suggestion

chatbot/chatbot.py

@@ -0,0 +1,84 @@
+import google.generativeai as genai
+import re
+import os
+from dotenv import load_dotenv
+from chatbot.moods import Mood
+from chatbot.transaction_categories import TransactionCategory
+
+load_dotenv()
+
+API_KEY = os.getenv('API_KEY')
+
+categories = ', '.join([c.value for c in TransactionCategory])
+
+genai.configure(api_key=API_KEY)
+category_classification_model = genai.GenerativeModel(
+    model_name='gemini-2.0-flash',
+    system_instruction='Bạn cần giúp tôi phân loại giao dịch từ danh sách có sẵn'
+)
+
+def extract_amount(prompt):
+    match = re.search(r'(\d+)\s*(k|K)?', prompt)
+    if match:
+        amount = int(match.group(1))
+        if match.group(2):
+            amount *= 1000
+        return amount
+    return None
+
+def classify_transaction(prompt):
+    if not prompt:
+        return {'amount': None, 'category': TransactionCategory.UNKNOWN.value}
+    amount = extract_amount(prompt)
+    llm_prompt = (
+        f" Dựa vào mô tả giao dịch từ người dùng {prompt}, hãy xác định xem đây thuộc loại giao dịch nào trong danh sách này: {categories} "
+        "Ví dụ, nếu mô tả là 'Ăn sáng 20k' thì có nghĩa là đây là giao dịch thuộc loại 'Ăn uống' với số tiền là 20.000đ "
+        "Nếu không xác định được, hãy cho nó vào danh mục 'Các chi phí khác' "
+        "Nếu hoàn toàn không phải bất cứ giao dịch thu hoặc chi nào, hãy trả lời 'Không xác định' "
+        "Chú ý: chỉ trả về tên loại giao dịch chứ không trả về số tiền hay bất cứ từ nào khác "
+    )
+    try:
+        response = category_classification_model.generate_content(
+            contents=llm_prompt,
+            generation_config={
+                "temperature": 0.7,
+                "max_output_tokens": 100
+            }
+        )
+        category = response.text.strip()
+    except Exception as e:
+        category = f'Lỗi trong quá trình xử lý: {e}'
+    return {
+        "amount" : amount,
+        "category" : category
+    }
+    
+chat_model = genai.GenerativeModel(
+    model_name='gemini-2.0-flash',
+    system_instruction='Bạn là một trợ lý ảo trong việc quản lý tài chính cá nhân, hãy đưa ra một vài nhận xét về giao dịch của người dùng hoặc lời khuyên có ích '
+    'Nếu như mô tả của người dùng không phải thuộc lĩnh vực này, hãy trả lời "Tôi không thể trả lời dựa trên thông tin bạn cung cấp"'
+)
+
+def chat(mood, prompt):
+    llm_prompt = (
+        f'Bạn có trách nhiệm trò chuyện cùng người dùng, bạn phải tỏ ra {Mood[mood].value} về việc chi tiêu của họ. '
+        'Người dùng nói: ' + prompt + ' '
+        'Bạn chỉ đưa ra phản hồi, không hỏi thêm gì từ người dùng.'
+    )
+    try:
+        response = chat_model.generate_content(
+            contents=llm_prompt,
+            generation_config={
+                "temperature": 0.7,
+                "max_output_tokens": 100
+            }
+        )
+        return response.text.strip()
+    except Exception as e:
+        return f'Lỗi trong quá trình xử lý: {e}'
+
+# input = 'ăn sáng 20k'
+# result = classify_transaction(input)
+# print(result)
+# response = chat(mood=Mood.IRRITATION.value, prompt=input)
+# print(response)

chatbot/moods.py

@@ -0,0 +1,5 @@
+from enum import Enum
+
+class Mood(Enum):
+    IRRITATION = 'Tức giận'
+    ECOURAGEMENT = 'Khích lệ'

chatbot/transaction_categories.py

@@ -0,0 +1,24 @@
+from enum import Enum
+
+class TransactionCategory(Enum):
+    EATING = "Ăn uống"
+    HOUSING = "Nhà ở"
+    TRANSPORT = "Di chuyển"
+    EDUCATION = "Giáo dục"
+    GIFTS = "Quà tặng"
+    BILLS = "Hóa đơn & Tiện ích"
+    SHOPPING = "Mua sắm"
+    BEAUTY = "Làm đẹp"
+    FAMILY = "Gia đình"
+    PETS = "Vật nuôi"
+    HEALTH = "Sức khỏe"
+    ENTERTAINMENT = "Giải trí"
+    WORK = "Công việc"
+    INSURANCE = "Bảo hiểm"
+    OTHER = "Các chi phí khác"
+    DEBT = "Trả nợ"
+    SPORTS = "Thể thao"
+    INVESTMENT = "Đầu tư"
+    SALARY = "Lương"
+    OTHER_INCOME = "Thu nhập khác"
+    UNKNOWN = "Không xác định"

expense_forecast/Expense_Forecasting.py

@@ -0,0 +1,68 @@
+import pandas as pd
+import matplotlib.pyplot as plt
+from statsmodels.tsa.statespace.sarimax import SARIMAX
+import os
+
+script_dir = os.path.dirname(os.path.abspath(__file__))
+csv_path = os.path.join(script_dir, 'sample_data_extended.csv')
+df = pd.read_csv(csv_path)
+
+def preprocess_data(df):
+    df = df.dropna()
+    # Set the time column as the index
+    df['Time'] = pd.to_datetime(df['Time'])
+    df = df.set_index('Time')
+    # convert string to float and remove commas
+    df['Total expense (VND)'] = df['Total expense (VND)'].str.replace(',', '').astype(float)
+    df['Income (VND)'] = df['Income (VND)'].str.replace(',', '').astype(float)
+    return df
+
+def plot_data(df):
+    plt.figure(figsize=(10, 6))
+    plt.plot(df['Total expense (VND)'], label='Total expense (VND)')
+    plt.plot(df['Income (VND)'], label='Income (VND)')
+    plt.legend(loc='best')
+    plt.show()
+    
+def fit_model(df):
+    # define the output and exxogenous variables
+    y = df['Total expense (VND)']
+    exog = df[['Income (VND)', 'Interest rate (%)', 'Inflation rate (%)', 'Holidays']]
+    # define orders for the model
+    order = (1, 1, 1)
+    seasonal_order = (1, 1, 1, 12)
+    # fit the model
+    model = SARIMAX(y, exog=exog, order=order, seasonal_order=seasonal_order)
+    model_fit = model.fit()
+    return model_fit
+
+def get_input_data(income, interest_rate, inflation_rate, holidays):
+    income = float(income)
+    interest_rate = float(interest_rate)
+    inflation_rate = float(inflation_rate)
+    holidays = int(holidays)
+    input_data = pd.DataFrame({
+        'Income (VND)': [income],
+        'Interest rate (%)': [interest_rate],
+        'Inflation rate (%)': [inflation_rate],
+        'Holidays': [holidays]
+    })
+    return input_data
+
+def forecast_expense(model_fit, input_data, df):
+    forecast = model_fit.predict(start=len(df), end=len(df), exog=input_data)
+    return forecast.iloc[0]
+
+df = preprocess_data(df)
+model_fit = fit_model(df)
+
+# def main():
+#     global df
+#     df = preprocess_data(df)
+#     model_fit = fit_model(df)
+#     input_data = get_input_data(10000000, 5, 3, 0)
+#     forecast = forecast_expense(model_fit, input_data)
+#     print(forecast)
+
+# if __name__ == '__main__':
+#     main()

expense_forecast/sample_data_extended.csv

@@ -0,0 +1,37 @@
+Time,Income (VND),Interest rate (%),Inflation rate (%),Holidays,Total expense (VND)
+1/1/2022,"18,090,000",6.5,2.43,1,"12,575,093"
+2/1/2022,"18,090,000",6.2,2.53,1,"13,085,146"
+3/1/2022,"18,090,000",7.2,2.33,0,"6,955,509"
+4/1/2022,"18,090,000",7,2.54,1,"9,961,749"
+5/1/2022,"18,090,000",7.5,2.56,1,"10,270,506"
+6/1/2022,"18,090,000",8,2.33,0,"6,913,467"
+7/1/2022,"20,058,000",7.8,2.4,0,"7,330,779"
+8/1/2022,"20,058,000",7.9,2.46,0,"6,679,634"
+9/1/2022,"20,058,000",7.5,2.44,1,"9,481,953"
+10/1/2022,"20,058,000",7.9,2.41,0,"6,959,445"
+11/1/2022,"20,058,000",8.1,2.46,0,"7,356,952"
+12/1/2022,"20,058,000",8.3,2.5,1,"9,916,820"
+1/1/2023,"20,058,000",7.6,2.52,1,"12,910,931"
+2/1/2023,"21,760,000",7.1,2.54,1,"13,517,360"
+3/1/2023,"21,760,000",6.7,2.47,0,"7,168,542"
+4/1/2023,"21,760,000",6.6,2.7,1,"9,800,059"
+5/1/2023,"21,760,000",6.7,2.57,1,"10,883,733"
+6/1/2023,"21,760,000",6.4,2.55,0,"7,100,469"
+7/1/2023,"21,760,000",6.5,2.4,0,"7,552,425"
+8/1/2023,"23,550,000",6.8,2.61,0,"7,093,214"
+9/1/2023,"23,550,000",6.3,2.5,1,"9,837,942"
+10/1/2023,"23,550,000",6.1,2.43,0,"7,601,792"
+11/1/2023,"23,550,000",6,2.49,0,"7,980,883"
+12/1/2023,"23,550,000",6.6,2.58,1,"10,441,683"
+1/1/2024,"23,550,000",6.8,2.62,1,"12,777,962"
+2/1/2024,"23,550,000",6.9,2.73,1,"14,329,909"
+3/1/2024,"24,440,000",6,2.6,0,"7,968,521"
+4/1/2024,"24,440,000",5.8,2.77,1,"10,805,263"
+5/1/2024,"24,440,000",5.6,2.65,1,"10,645,173"
+6/1/2024,"24,440,000",5.5,2.5,0,"7,095,471"
+7/1/2024,"25,390,000",5.3,2.49,0,"7,955,498"
+8/1/2024,"25,390,000",5.2,2.71,0,"7,316,647"
+9/1/2024,"25,390,000",5.1,2.6,1,"10,255,177"
+10/1/2024,"25,390,000",5,2.53,0,"7,828,662"
+11/1/2024,"25,390,000",5.25,2.54,0,"8,500,142"
+12/1/2024,"25,390,000",5.25,2.73,1,"10,564,971"

read_image/scan_bills.py

@@ -0,0 +1,39 @@
+import google.generativeai as genai
+import PIL.Image
+import os
+from dotenv import load_dotenv
+from chatbot.transaction_categories import TransactionCategory
+
+load_dotenv()
+
+API_KEY = os.getenv('API_KEY')
+
+categories = ', '.join([c.value for c in TransactionCategory])
+
+genai.configure(api_key=API_KEY)
+scan_model = genai.GenerativeModel(
+    model_name='gemini-2.0-flash',
+    system_instruction='Hãy giúp tôi quét hóa đơn và trích xuất thông tin từ hóa đơn này'
+    f'Hãy giúp tôi phân loại giao dịch từ danh sách có sẵn: {categories} và cho tôi biết số tiền của giao dịch đó'
+    'Ví dụ: Mua sắm 200000 VND'
+    'Chỉ trả lời theo dạng: Tên danh mục: số tiền VND'
+)
+
+def scan_bills(image_path):
+    organ = PIL.Image.open(image_path)
+    try:
+        response = scan_model.generate_content(
+            contents=[organ],
+            generation_config={
+                "temperature": 0.7,
+                "max_output_tokens": 100
+            }
+        )
+        result = response.text.strip()
+    except Exception as e:
+        result = f'Lỗi trong quá trình xử lý: {e}'
+    return result
+
+# if __name__ == '__main__':
+#     path = r'C:\Users\duong\Documents\UET-VNU\K68-CS1\HKII_2024-2025\Software_Engineering\ai_services\read_image\test.jpg'
+#     print(scan_bills(path))

requirements.txt

@@ -0,0 +1,13 @@
+google-generativeai
+python-dotenv
+flask
+flask-cors
+scikit-learn
+pandas
+numpy
+torch
+transformers
+librosa
+matplotlib
+statsmodels
+uvicorn

speech_transcribe/speech_transcribe.py

@@ -0,0 +1,36 @@
+import torch
+from transformers import AutoProcessor, AutoModelForCTC
+import librosa
+
+processor = AutoProcessor.from_pretrained("nguyenvulebinh/wav2vec2-base-vietnamese-250h")
+model = AutoModelForCTC.from_pretrained("nguyenvulebinh/wav2vec2-base-vietnamese-250h")
+
+def transcribe(audio_data, sampling_rate):
+    if len(audio_data.shape) > 1:
+        audio_data = audio_data.mean(axis=1)
+        
+    if sampling_rate != 16000:
+        raise ValueError("Sampling rate phải là 16 kHz")
+    
+    inputs = processor(audio_data, 
+                       sampling_rate=sampling_rate, 
+                       return_tensors="pt", 
+                       padding="longest")
+    
+    with torch.no_grad():
+        logits = model(input_values=inputs.input_values).logits
+    
+    predicted_ids = torch.argmax(logits, dim=-1)
+    
+    transcription = processor.batch_decode(predicted_ids)
+    
+    return transcription[0]
+
+def transcribe_file(file_path):
+    audio_data, sampling_rate = librosa.load(file_path, sr=16000)
+    return transcribe(audio_data, sampling_rate)
+
+# if __name__ == "__main__":
+#     file_path = "vn.wav"
+#     result = transcribe_file(file_path)
+#     print(result)