Create app.py

app.py

@@ -0,0 +1,55 @@
+import os
+from huggingface_hub import InferenceClient
+import streamlit as st
+
+# 환경 변수에서 Hugging Face 토큰 가져오기
+HF_TOKEN = os.getenv("HF_TOKEN")
+
+# Inference Client 설정
+client = InferenceClient(
+    "https://<your-endpoint-url>",  # Inference Endpoint URL
+    token=HF_TOKEN  # Hugging Face 토큰을 환경 변수에서 불러옴
+)
+
+# Streamlit 앱 페이지 설정
+st.set_page_config(page_title="GRIN-MoE Chat", page_icon="🤖")
+st.title("GRIN-MoE와 대화해보세요!")
+
+# 채팅 히스토리 유지
+if 'messages' not in st.session_state:
+    st.session_state.messages = []
+
+# 사용자 입력
+user_input = st.text_input("입력 메시지를 작성하세요:")
+
+# Stream을 처리하는 함수
+def generate_streaming_response(prompt):
+    response_text = ""
+    for message in client.chat_completion(
+        messages=[{"role": "user", "content": prompt}],
+        max_tokens=500,
+        stream=True
+    ):
+        delta = message.choices[0].delta.content
+        response_text += delta
+        yield delta
+
+# 입력 메시지가 있을 때만 대화 처리
+if user_input:
+    st.session_state.messages.append({"role": "user", "content": user_input})
+
+    # Streamlit에서 채팅을 출력하는 영역
+    with st.spinner('GRIN-MoE가 응답하는 중...'):
+        response_text = ""
+        for delta in generate_streaming_response(user_input):
+            response_text += delta
+            st.write(response_text)
+        st.session_state.messages.append({"role": "assistant", "content": response_text})
+
+# 이전 메시지 표시
+if st.session_state.messages:
+    for msg in st.session_state.messages:
+        if msg["role"] == "user":
+            st.write(f"**사용자:** {msg['content']}")
+        else:
+            st.write(f"**GRIN-MoE:** {msg['content']}")