dashboard

anotacoes/raul_anotacoes_discursivas.json

@@ -0,0 +1,5 @@
+{
+    "1": {
+        "exame_41_area_administrativo_questao_numero_1_letra_A_parte_I": "Sim"
+    }
+}

anotacoes/raul_anotacoes_praticas.json

@@ -0,0 +1,5 @@
+{
+    "1": {
+        "exame_41_area_administrativo_questao_numero_1_parte_I": "Sim"
+    }
+}

app.py

@@ -1,16 +1,18 @@
 import streamlit as st
 import label_oabench_discursive
 import label_oabench_practical 
+import label_oabench_dashboard
 
 st.set_page_config(layout="wide")
 
 # Criando a barra lateral para navegação
 st.sidebar.title("Anotação paper LLM-as-Judge")
-opcao = st.sidebar.radio("Escolha uma aplicação:", ["Provas práticas", "Questões discursivas"])
+opcao = st.sidebar.radio("Escolha uma aplicação:", ["Provas práticas", "Questões discursivas","Dashboard Anotações"])
 
 # Roteando para a aplicação correta
 if opcao == "Provas práticas":
     label_oabench_practical.run()
 elif opcao ==  "Questões discursivas":
     label_oabench_discursive.run()
-
+elif opcao ==  "Dashboard Anotações":
+    label_oabench_dashboard.run()

label_oabench_dashboard.py

@@ -0,0 +1,119 @@
+import streamlit as st
+import pandas as pd
+import os
+import json
+
+# Função para carregar anotações específicas (discursivas ou práticas)
+def carregar_anotacoes(tipo, pasta="anotacoes"):
+    anotacoes = {}
+    if os.path.exists(pasta):
+        for arquivo in os.listdir(pasta):
+            if arquivo.endswith(f"_{tipo}.json"):
+                usuario = arquivo.split("_")[0]
+                with open(os.path.join(pasta, arquivo), "r", encoding="utf-8") as f:
+                    anotacoes[usuario] = json.load(f)
+    return anotacoes
+
+# Função para calcular os totais de anotações
+def calcular_totais(anotacoes_discursivas, anotacoes_praticas, df_discursivas, df_praticas):
+    resultados = []
+
+    total_questoes_discursivas = len(df_discursivas)
+    total_criterios_discursivos = sum(len(q["formated_criteria"]) for _, q in df_discursivas.iterrows())
+    total_provas_praticas = len(df_praticas)
+    total_criterios_praticos = sum(len(q["formated_criteria"]) for _, q in df_praticas.iterrows())
+
+    usuarios = set(anotacoes_discursivas.keys()).union(set(anotacoes_praticas.keys()))
+
+    for usuario in usuarios:
+        questoes_discursivas_completas = 0
+        criterios_discursivos_anotados = 0
+        provas_praticas_completas = 0
+        criterios_praticos_anotados = 0
+
+        if usuario in anotacoes_discursivas:
+            for questao_id, criterios in anotacoes_discursivas[usuario].items():
+                if questao_id in df_discursivas["id"].astype(str).values:
+                    criterios_totais = len(df_discursivas[df_discursivas["id"] == int(questao_id)].iloc[0]["formated_criteria"])
+                    criterios_anotados = len([k for k, v in criterios.items() if v in ["Sim", "Não"]])
+                    if criterios_anotados == criterios_totais:
+                        questoes_discursivas_completas += 1
+                    criterios_discursivos_anotados += criterios_anotados
+
+        if usuario in anotacoes_praticas:
+            for questao_id, criterios in anotacoes_praticas[usuario].items():
+                if questao_id in df_praticas["id"].astype(str).values:
+                    criterios_totais = len(df_praticas[df_praticas["id"] == int(questao_id)].iloc[0]["formated_criteria"])
+                    criterios_anotados = len([k for k, v in criterios.items() if v in ["Sim", "Não"]])
+                    if criterios_anotados == criterios_totais:
+                        provas_praticas_completas += 1
+                    criterios_praticos_anotados += criterios_anotados
+
+        resultados.append({
+            "usuario": usuario,
+            "questoes_discursivas_anotadas": f"{questoes_discursivas_completas}/{total_questoes_discursivas}",
+            "total_criterios_discursivos_anotados": f"{criterios_discursivos_anotados}/{total_criterios_discursivos}",
+            "provas_praticas_anotadas": f"{provas_praticas_completas}/{total_provas_praticas}",
+            "criterios_praticos_anotados": f"{criterios_praticos_anotados}/{total_criterios_praticos}"
+        })
+
+    return resultados
+
+# Função para calcular contadores de "Sim" e "Não" por parte
+def calcular_contadores_por_parte(anotacoes, df):
+    contadores = {}
+    for usuario, criterios_usuario in anotacoes.items():
+        for questao_id, criterios in criterios_usuario.items():
+            if questao_id in df["id"].astype(str).values:
+                for criterio, valor in criterios.items():
+                    parte = "_".join(criterio.split("_")[-2:])  # Exemplo: "parte_I" ou "parte_II"
+                    if parte not in contadores:
+                        contadores[parte] = {"Sim": 0, "Não": 0}
+                    if valor in ["Sim", "Não"]:
+                        contadores[parte][valor] += 1
+    return contadores
+
+# Função principal para rodar o dashboard no Streamlit
+def run():
+    st.set_page_config(layout="wide")
+    st.title("Dashboard de Anotações - Benchmark Jurídico OAB")
+
+    # Carregar os DataFrames
+    st.markdown("### Carregando dados...")
+    with st.spinner("Carregando arquivos..."):
+        df_discursivas = pd.read_pickle("df_evaluated_discursive.pkl")
+        df_praticas = pd.read_pickle("df_evaluated.pkl")
+        anotacoes_discursivas = carregar_anotacoes("anotacoes_discursivas")
+        anotacoes_praticas = carregar_anotacoes("anotacoes_praticas")
+
+    # Calcular os totais
+    resultados = calcular_totais(anotacoes_discursivas, anotacoes_praticas, df_discursivas, df_praticas)
+
+    # Exibir os dados em uma tabela
+    st.markdown("### Resumo das Anotações")
+    st.write("Análises completas por usuário:")
+
+    df_resultados = pd.DataFrame(resultados)
+    st.dataframe(df_resultados, use_container_width=True)
+
+    # Calcular contadores para discursivas e práticas
+    st.markdown("### Contadores de Sim e Não por Parte")
+    contadores_discursivas = calcular_contadores_por_parte(anotacoes_discursivas, df_discursivas)
+    contadores_praticas = calcular_contadores_por_parte(anotacoes_praticas, df_praticas)
+
+    # Exibir os contadores no dashboard
+    st.markdown("#### Discursivas")
+    if contadores_discursivas:
+        df_contadores_discursivas = pd.DataFrame.from_dict(contadores_discursivas, orient="index").reset_index()
+        df_contadores_discursivas.columns = ["Parte", "Sim", "Não"]
+        st.dataframe(df_contadores_discursivas, use_container_width=True)
+    else:
+        st.write("Nenhum dado encontrado para discursivas.")
+
+    st.markdown("#### Práticas")
+    if contadores_praticas:
+        df_contadores_praticas = pd.DataFrame.from_dict(contadores_praticas, orient="index").reset_index()
+        df_contadores_praticas.columns = ["Parte", "Sim", "Não"]
+        st.dataframe(df_contadores_praticas, use_container_width=True)
+    else:
+        st.write("Nenhum dado encontrado para práticas.")