--- license: cc-by-4.0 base_model: bertin-project/bertin-roberta-base-spanish tags: - generated_from_trainer metrics: - accuracy model-index: - name: bertin_base_climate_detection_spa results: [] datasets: - somosnlp/spa_climate_detection language: - es widget: - text: > El uso excesivo de fertilizantes nitrogenados -un fenómeno frecuente en la agricultura- da lugar a la producción de óxido nitroso, un potente gas de efecto invernadero. Un uso más juicioso de los fertilizantes puede frenar estas emisiones y reducir la producción de fertilizantes, que consume mucha energía. pipeline_tag: text-classification --- # Model Card for bertin_base_climate_detection_spa_v2 Este modelo es una version fine-tuning del modelo: [bertin-project/bertin-roberta-base-spanish](https://huggingface.co/bertin-project/bertin-roberta-base-spanish) utilizando el dataset somosnlp/spa_climate_detection. El modelo esta enfocado en la identificación de textos sobre tematicas relacionadas al cambio climatico y la sustentabilidad. Este proyecto fue basado en la versión en inglés de [climatebert/distilroberta-base-climate-detector](https://huggingface.co/climatebert/distilroberta-base-climate-detector). La motivación del proyecto fue crear una repositorio en español sobre informacion o recursos en temas como: cambio climatico, sustentabilidad, calentamiento global, energía, etc; la idea es dar visibilidad a soluciones, ejemplos de buenas practicas ambientales o noticias que nos ayuden a combatir los efectos del cambio climatico; en cierta forma parecido a lo que el proyecto [Drawdown](https://drawdown.org/solutions/table-of-solutions) realiza pero aportando ejemplos de las soluciones o nuevas investigaciones en cada tema. Para lograr este objetivo, consideramos que la identificacion de textos que hablen sobre dichas tematicas es el primer paso. Algunas de las aplicaciones directas son: clasificacion de papers y publicaciones cientificas, noticias, opiniones. Futuros pasos: - Se pretende crear un modelo avanzado que clasifique en base a sectores (token classification) los textos relacionados a cambio climatico, por ejemplo: clasificar en base a electricidad, agricultura, industria, transporte, etc. - Publicar un dataset basado en sectores. - Realizar un modelo Q/A que pueda brindar información relevante al usuario en la tematica de cambio climatico. ## Descripción del modelo - **Desarrollado por:** [Gerardo Huerta](https://huggingface.co/Gerard-1705) [Gabriela Zuñiga](https://huggingface.co/Gabrielaz) - **Lenguaje(s):** Español - **Licencia:** cc-by-nc-sa-4.0 - **Entrenado usando el modelo:** [bertin-project/bertin-roberta-base-spanish](https://huggingface.co/bertin-project/bertin-roberta-base-spanish) ### Usos directos: - Clasificación de noticias: Con este modelo se puede clasificar titulares de noticias relacionadas a las areas de cambio climatico. - Clasificación de papers: La identificación de textos científicos que divulgan soluciones y/o efectos del cambio climatico. Para este uso se puede utilizar el abstract de cada documento para realizar la identificación. ### Usos inderectos: - Para la creación de repositorios de información con respecto a temas climaticos. - Este modelo puede funcionar de base para crear nuevos sistemas de clasificación de soluciones climáticas para divulgar los nuevos esfuerzos en combatir el cambio climático en los diferentes sectores. - Creacion de nuevos datasets que aborden el tema. ### Usos fuera del ámbito: - El uso para la clasificación de textos de fuentes no verificables o poco confiables y su divulgacion ejemplo: noticias falsas o desinformación. ### Sesgos, riesgos y limitaciones: En este punto no se han realizados estudios concretos sobre los sesgos y limitaciones, sin embargo hacemos los siguientes apuntes en base a experiencia previa y pruebas del modelo: - Hereda los sesgos y limitaciones del modelo base con el que fue entrenado, para mas detalles véase: [BERTIN: Efficient Pre-Training of a Spanish Language Model using Perplexity Sampling](http://journal.sepln.org/sepln/ojs/ojs/index.php/pln/article/view/6403). Sin embargo, no son tan evidentes de encontrar por el tipo de tarea en el que se esta implementando el modelo como lo es la clasificacion de texto. - Sesgos directos como por ejemplo el mayoritario uso de lenguaje de alto nivel en el dataset debido a que se utilizan textos extraidos de noticias, documentación legal de empresas que pueden complicar la identificación de textos con lenguajes de bajo nivel (ejemplo: coloquial). Para mitigar estos sesgos, se incluyeron en el dataset opiniones diversas sobre temas de cambio climatico extraidas de fuentes como redes sociales, adicional se hizo un rebalanceo de las etiquetas. - El dataset nos hereda otras limitaciones como por ejemplo: el modelo pierde rendimiento en textos cortos, esto es debido a que la mayoria de los textos utilizados en el dataset tienen una longitud larga de entre 200 - 500 palabras. Nuevamente se intentó mitigar estas limitaciones con la inclusión de textos cortos. ### Recomendaciones - Como hemos mencionado, el modelo tiende a bajar el rendimiento en textos cortos, por lo que lo recomendable es establecer un criterio de selección de textos largos a los cuales se necesita identificar su temática. ### Ejemplo sencillo de como utilizar el modelo ```python ## Asumiendo tener instalados transformers, torch from transformers import AutoModelForSequenceClassification import torch from transformers import AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("somosnlp/bertin_base_climate_detection_spa_v2") model = AutoModelForSequenceClassification.from_pretrained("somosnlp/bertin_base_climate_detection_spa_v2") # Traduccion del label id2label = {0: "NEGATIVE", 1: "POSITIVE"} label2id = {"NEGATIVE": 0, "POSITIVE": 1} # Funcion de inferencia def inference_fun(Texto): inputs = tokenizer(Texto, return_tensors="pt") with torch.no_grad(): logits = model(**inputs).logits predicted_class_id = logits.argmax().item() output_tag = model.config.id2label[predicted_class_id] return output_tag input_text = "El uso excesivo de fertilizantes nitrogenados -un fenómeno frecuente en la agricultura- da lugar a la producción de óxido nitroso, un potente gas de efecto invernadero. Un uso más juicioso de los fertilizantes puede frenar estas emisiones y reducir la producción de fertilizantes, que consume mucha energía." print(inference_fun(input_text)) ``` ## Detalles del entrenamiento: ### Datos de entrenamiento: Los datos del entrenamiento fueron obtenidos del dataset [somosnlp/spa_climate_detection](https://huggingface.co/datasets/somosnlp/spa_climate_detection). Los datos de entrenamiento representan alrededor de un 79% de los datos totales del dataset. Las etiquetas estan representadas de la siguiente forma: Etiquetas 1s 1000 - datos sobre parrafos extraidos de informes empresariales sobre el tema. 600 - datos sobre opiniones diversas, en su mayorias textos cortos. Etiquetas 0s 300 - datos sobre parrafos extraidos de informes empresariales no relacionados al tema. 500 - datos sobre noticias de temas diversos no relacionados al tema. 500 - datos sobre opiniones de temas diversos no relacionados al tema. ### Speeds, Sizes, Times El modelo fue entrenado en 2 epocas con una duración total de 14.22 minutos de entrenamiento, 'train_runtime': 853.6759. Como dato adicional: No se utilizó precision mixta (FP16 ó BF16) ### Hiperparametros de entrenamiento: The following hyperparameters were used during training: - learning_rate: 2e-05 - train_batch_size: 16 - eval_batch_size: 16 - seed: 42 - optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08 - lr_scheduler_type: linear - num_epochs: 2 ### Resultados del entrenamiento: | Training Loss | Epoch | Step | Validation Loss | Accuracy | |:-------------:|:-----:|:----:|:---------------:|:--------:| | No log | 1.0 | 182 | 0.1964 | 0.9551 | | No log | 2.0 | 364 | 0.1592 | 0.9705 | ## Detalles de la evaluación Los datos de evaluación fueron obtenidos del dataset [somosnlp/spa_climate_detection](https://huggingface.co/datasets/somosnlp/spa_climate_detection). Los datos de evaluación representan alrededor de un 21% de los datos totales del dataset. Las etiquetas estan representadas de la siguiente forma: Etiquetas 1s 320 - datos sobre parrafos extraidos de informes empresariales sobre el tema. 160 - datos sobre opiniones diversas, en su mayorias textos cortos. Etiquetas 0s 80 - datos sobre parrafos extraidos de informes empresariales no relacionados al tema. 120 - datos sobre noticias de temas diversos no relacionados al tema. 100 - datos sobre opiniones de temas diversos no relacionados al tema. **El modelo actual logra los siguientes resultados en el set de evaluación:** - **Loss:** 0.1592 - **Accuracy:** 0.9705 ### Metrica utilizada: La métrica utilizada para evaluar el modelo fue precisión ## Impacto ambiental Utilizando la herramienta de [ML CO2 IMPACT](https://mlco2.github.io/impact/#co2eq) calculamos que el siguiente impacto ambiental debido al entrenamiento: - Tipo de hardware: T4 - Horas utilizadas (incluye pruebas e iteraciones para mejorar el modelo): 4 horas - Proveedor de nube: Google Cloud (colab) - Región computacional: us-east - Huella de carbono emitida: 0.1kg CO2 ## Información Tecnica ### Versiones del framework utilizados - Transformers 4.39.3 - Pytorch 2.2.1+cu121 - Datasets 2.18.0 - Tokenizers 0.15.2 ### Hardware - GPU equivalente a T4 - Para tomarlo como referencia, el modelo se entrenó en la version gratuita de Google Colab