Hugging Face's logo

GbrlOl
/
ft-all-MiniLM-L6-v2-geotechnical-semanticidad-test-2

Sentence Similarity
sentence-transformers
Safetensors
bert
feature-extraction
Generated from Trainer
dataset_size:1628
loss:CoSENTLoss
text-embeddings-inference
Model card Files Community

SentenceTransformer based on sentence-transformers/all-MiniLM-L6-v2

This is a sentence-transformers model finetuned from sentence-transformers/all-MiniLM-L6-v2 on the json dataset. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: sentence-transformers/all-MiniLM-L6-v2
  • Maximum Sequence Length: 256 tokens
  • Output Dimensionality: 384 dimensions
  • Similarity Function: Cosine Similarity
  • Training Dataset:
    • json

Model Sources

Full Model Architecture 

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("GbrlOl/ft-all-MiniLM-L6-v2-geotechnical-semanticidad-test-2")
# Run inference
sentences = [
    '¿Qué compromisos ambientales voluntarios ha adquirido el titular del proyecto "Depósito de Relaves Filtrados Doña Rosa"?',
    'Ordinario N° 57 de fecha 25 de Enero de 2011 \ninformó favorablemente.  \n5.  Que, en lo relativo a los efectos, características y circunstancias señalados en los literales “a”,  "b", “c”, \n“d”, “e” y “f”, del artículo 11 de la Ley 19.300, y sobre la base de los antecedentes que constan en el \nexpediente de la evaluación, debe indicarse que el proyecto "Depósito de Relaves Filtrados Doña Rosa” \nno genera ni presenta ninguno de tales efectos, características y circunstancias.  \n6.-    Que, en el proceso de evolución de proyecto " Depósito de Relaves Filtrados Doña Rosa”, el titular \nha adquirido los siguientes compromisos ambientales voluntarios:  \nEl proyecto contempla el monitoreo de aguas superficiales y subterráneas. Respecto a la periodicidad de \nmonitoreo, este será cuatrimestral durante los tres primeros años de operación del proyecto. Una vez \ncumplidos los tres años iniciales, se analizarán los resultados. Sobre la base de dicho análisis el titular \npropondrá fundadamente cambios a los parámetros, puntos y frecuencias de monitoreo, si es que los \nresultados así lo ameritan.  \nEn la siguiente tabla se presentan las coordenadas de los puntos de control de calidad de aguas, tanto \nsuperficiales como subterráneas.',
    '1). \n4.2 Del Proyecto de Depósito de Relaves \n4.2.1 Definición \n\x7f Cierre: Hecho que el depósito de relaves deje de operar por un plazo mayor de dos años o en forma \ndefinitiva o cuando se da por terminada su  vida útil y se han efectuado las acciones tendientes a \nasegurar la obra en el tiempo.  \n\x7f Proyecto de Depósitos de Relaves: el conjunto de estudios técnicos requeridos para la definición de \nun sistema de disposición de relaves, incluyendo etapas de investigación, prospección, diseño, \nevaluación y construcción, cuyos resultados se encuentran en una serie de documentos que para \ngarantizar la estabilidad física y química del depósito y su entorno, con el fin de proteger a las \npersonas, bienes y medio ambiente. (Art. 5). \n\x7f Cierre  final:  Conclusión  definitiva  de  las  actividades  para  el  cierre  de  todas  las labores, áreas \ne instalaciones de una unidad minera, que por razones operativas, no hayan podido cerrarse \ndurante la etapa productiva o comercial, de modo tal que se garantice  el  cumplimiento  de  los  \nobjetivos  de  cierre  contemplados  en  el  Plan  de Cierre  de  Minas  aprobado  y  cuya  adecuada  \nejecución  ha  sido  verificada  a  través de  una  auditoría  integral  dispuesta  por  la  autoridad  \ncompetente,  sin  perjuicio  de las actividades de post cierre que deberán continuar ejecutándose en \nel marco de la legislación ambiental vigente.  \n\x7f Estabilidad física: Comportamiento estable en el corto, mediano y largo plazo de los componentes o',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

json

  • Dataset: json
  • Size: 1,628 training samples
  • Columns: query, sentence, and label
  • Approximate statistics based on the first 1000 samples:
    query sentence label
    type string string int
    details
    • min: 9 tokens
    • mean: 25.12 tokens
    • max: 69 tokens
    • min: 44 tokens
    • mean: 232.21 tokens
    • max: 256 tokens
    • 0: ~59.80%
    • 1: ~40.20%
  • Samples:
    query sentence label
    ¿Cuál es el volumen máximo estimado de aguas servidas generadas por el personal durante la etapa de construcción del proyecto? 3.11.5.2. Efluentes Líquidos
    Etapa de Construcción
    La única generación de residuos líquidos, corresponderá a las aguas servidas generadas por el personal
    que trabajará en la etapa de construcción del proyecto, con un volumen máximo estimado de 6,0 m3/día.
    El personal de construcción se alojará en las instalaciones existentes en la faena de SCMET. Por lo que
    utilizará los servicios sanitarios que se encuentran en operación en el campamento de SCMET.
    Durante la jornada de trabajo en terreno, los trabajadores utilizarán los servicios higiénicos de la sala de
    cambio existente, ubicada en las inmediaciones del portal Doña Rosa. En atención a lo anterior, no se
    requerirá de la construcción de nuevas instalaciones sanitarias adicionales a las ya existentes en la faena.
    Etapa de Operación
    Dadas las características del proceso productivo, no se descargarán residuos industriales líquidos durante
    esta etapa. Toda el agua resultante del proceso de filtrado del relave será recircul...    		 1
    ¿Dónde no deben ser depositados los materiales de baja calidad para evitar problemas de inestabilidad? Esto podría incluir material afectado por Steam Heated
    o suelos asociados a depósitos cuaternarios. Para evitar problemas de inestabilidad, estos
    materiales de baja calidad no deben ser depositados : ni al pie del botadero Sur; ni al fondo de la
    cuenca en donde se emplazará el botadero Sur (donde hay mayor espesor de materiales aluviales
    y piroclásticos); ni bajo el área donde estará emplazado el depósito de relaves filtrados.    		 1
    ¿Cuál es la altura máxima del botadero Cachinalito? 25

    Las características geométricas de los botaderos existentes se presentan se indican en la T abla
    18 y corresponden a las características finales de construcción del botadero. En general , su
    crecimiento se realizará alcanzando rápidamente su cota final de coronamiento y luego se
    avanzará frontalmente con una plataforma pareja, hasta lograr la geometría final indicada.

    Tabla 18. Características Geométricas de Botaderos existentes
    Botadero
    Parámetros
    Altura
    Máxima Longitud Media Ancho Medio Angulo de Talud
    (m) (m) (m) (°)
    1 57 440 270 34
    2 55 390 360 34
    3 58 420 330 26
    4 96 230 160 34
    5 110 340 200 36
    6 66 240 165 37
    7 44 550 435 40


    Las características geométricas del botadero Cachinalito se presenta a continuación:
    Tabla 19. Característica Geométricas Botadero Cachinalito
    Parámetros
    Botadero
    Elevación
    (msnm)
    Altura
    Máxima
    (m)
    Longitud
    Media
    (m)
    Ancho Medio
    (m)
    Inclinación
    Talud (H:V)
    Volumen
    Final
    (m3)
    Cachinalitoa 2710 25 270 1...    		 1
  • Loss: CoSENTLoss with these parameters:
    {
    "scale": 20.0,
    "similarity_fct": "pairwise_cos_sim"
}

Training Hyperparameters

Non-Default Hyperparameters

  • per_device_train_batch_size: 16
  • per_device_eval_batch_size: 16
  • learning_rate: 2e-05
  • num_train_epochs: 100
  • warmup_ratio: 0.1
  • fp16: True
  • batch_sampler: no_duplicates

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: no
  • prediction_loss_only: True
  • per_device_train_batch_size: 16
  • per_device_eval_batch_size: 16
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 2e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1.0
  • num_train_epochs: 100
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.1
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: False
  • fp16: True
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: None
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • include_for_metrics: []
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • eval_use_gather_object: False
  • average_tokens_across_devices: False
  • prompts: None
  • batch_sampler: no_duplicates
  • multi_dataset_batch_sampler: proportional

Training Logs

Epoch Step Training Loss
2.3902 100 4.7321
4.7805 200 2.4273
7.1463 300 0.9425
9.5366 400 0.2229
11.9268 500 0.1093
14.2927 600 0.0061
16.6829 700 0.0053
19.0488 800 0.0057
21.4390 900 0.0005
23.8293 1000 0.0002
26.1951 1100 0.0
28.5854 1200 0.0
30.9756 1300 0.0001
33.3415 1400 0.0
35.7317 1500 0.0
38.0976 1600 0.0
40.4878 1700 0.0
42.8780 1800 0.0
45.2439 1900 0.0
47.6341 2000 0.0
50.0244 2100 0.0
52.3902 2200 0.0
54.7805 2300 0.0
57.1463 2400 0.0
59.5366 2500 0.0
61.9268 2600 0.0
64.2927 2700 0.0
66.6829 2800 0.0
69.0488 2900 0.0
71.4390 3000 0.0
73.8293 3100 0.0
76.1951 3200 0.0
78.5854 3300 0.0
80.9756 3400 0.0
83.3415 3500 0.0
85.7317 3600 0.0
88.0976 3700 0.0
90.4878 3800 0.0
92.8780 3900 0.0
95.2439 4000 0.0
97.6341 4100 0.0

Framework Versions

  • Python: 3.10.16
  • Sentence Transformers: 3.3.1
  • Transformers: 4.48.1
  • PyTorch: 2.5.1+cu124
  • Accelerate: 1.3.0
  • Datasets: 3.2.0
  • Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers 

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CoSENTLoss 

@online{kexuefm-8847,
    title={CoSENT: A more efficient sentence vector scheme than Sentence-BERT},
    author={Su Jianlin},
    year={2022},
    month={Jan},
    url={https://kexue.fm/archives/8847},
}
Downloads last month
4
Safetensors
Model size
22.7M params
Tensor type
F32
·
Inference Providers NEW
Sentence Similarity
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for GbrlOl/ft-all-MiniLM-L6-v2-geotechnical-semanticidad-test-2

Base model

sentence-transformers/all-MiniLM-L6-v2
Finetuned
(365)
this model