diegolacomba/multilingual-e5-base-legal-cmnrl-1

SentenceTransformer based on intfloat/multilingual-e5-base

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-base. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-base
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("diegolacomba/multilingual-e5-base-legal-cmnrl-1")
# Run inference
sentences = [
    'query: ¿En qué casos las actividades hípicas se consideran prestaciones independientes que no están sujetas al impuesto en territorio español?',
    'passage: Dicha regla también sería de aplicación a las actividades hípicas si tuviesen la consideración de prestaciones accesorias a las de alojamiento, en los términos expuestos en el apartado anterior de la presente contestación.\nPor el contrario, si los servicios de actividades hípicas prestadas a quien tiene la condición de empresario o profesional a efectos del Impuesto, tuvieran la consideración de prestaciones independientes de los servicios de alojamiento en los términos expuestos en el apartado anterior de la presente contestación, los mismos no se entenderían realizados en el territorio de aplicación del Impuesto, en virtud de lo dispuesto en el artículo 69.Uno.1º de la Ley del Impuesto, transcrito anteriormente, y, por lo tanto, no se encontrarán sujetos al Impuesto sobre el Valor Añadido.\n4.- Por otra parte, se informa de que, en relación con las dudas suscitadas sobre el lugar de realización de los hechos imponibles, entrega de bienes y prestaciones de servicios, la Agencia Estatal de Administración Tributaria ha incorporado en los portales del Impuesto sobre el Valor Añadido (IVA) y Suministro Inmediato de Información del IVA (SII) un nuevo servicio de ayuda e información al contribuyente denominado “Localizador”, creado para resolver las principales dudas planteadas cuando el empresario o profesional realiza este tipo de operaciones con clientes o proveedores no establecidos en el territorio de aplicación del Impuesto.\nEn concreto, esta herramienta permite conocer el lugar de realización de las entregas de bienes, distinguiendo entre entregas interiores, intracomunitarias y con destino a terceros países.\nEn concreto, puede obtenerse información sobre donde se localiza la entrega de un bien, si está sujeta o exenta del Impuesto sobre el Valor Añadido, quién debe declarar el Impuesto devengado en la operación o cómo se declara en caso de no estar sujeta o exenta en el territorio de aplicación del impuesto español; también indicará si en la factura se debe o no repercutir dicho impuesto.',
    'passage: La consultante es la titular de la plataforma donde se desarrolla los juegos en línea y es la creadora de las soluciones de juego generadas por números aleatorios si bien es importante destacar que su actividad se limita a proporcionar a los operadores de juego los medios tecnológicos para que estos operen en la actividad de juego en línea de forma que no tiene responsabilidad alguna frente a los usuarios/jugadores ni las apuestas efectuados por los mismos.\nLa entidad consultante, en definitiva, no tiene como interlocutor al usuario/jugador sino al operador del juego en línea que contrata sus servicios tecnológicos y/o de software. Los usuarios/jugadores realizan la apuesta a través de la propia web del operador de juego el cual se servirá del software o medios tecnológicos proporcionados por la consultante.\nDel escrito de consulta parece deducirse que la consultante se estaría planteando la grabación en sus estudios y la retransmisión de los eventos de juego en vivo a dos entidades del mismo grupo (denominados servicios de distribución cinematográfica y de videos), las cuales serían las que prestarían los servicios de casino en vivo a los operadores de juego o bien a prestar directamente dichos servicios a los citados operadores.\nDe acuerdo con lo anterior, los servicios objeto de consulta se entienden realizados en el territorio de aplicación del Impuesto y estarán sujetos al Impuesto sobre el Valor Añadido cuando el destinatario del servicio sea un empresario o profesional actuando como tal y tenga en dicho ámbito espacial la sede de actividad económica o cuente en el mismo con un establecimiento permanente o, en su defecto, su residencia o domicilio habitual siempre que los servicios en cuestión tengan por destinatarios a esa sede, establecimiento o domicilio.\nEn consecuencia con todo lo anterior, los servicios prestados por la consultante en el primer escenario descrito a las otras dos entidades del grupo (servicios de distribución cinematográfica y de video), establecidas en otros Estados Miembros, no estarán sujetas al Impuesto sobre el Valor Añadido.\nDe acuerdo con las reglas armonizadas sobre el lugar de realización será, en su caso, los Estados Miembro en los que estén establecidas dichas entidades el lugar en que se deban entender localizadas las prestaciones de servicios objeto de consulta.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

• Dataset: InformationRetrievalEvaluator
• Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.1566
cosine_accuracy@3	0.255
cosine_accuracy@5	0.3124
cosine_accuracy@10	0.392
cosine_precision@1	0.1566
cosine_precision@3	0.085
cosine_precision@5	0.0625
cosine_precision@10	0.0392
cosine_recall@1	0.1566
cosine_recall@3	0.255
cosine_recall@5	0.3124
cosine_recall@10	0.392
cosine_ndcg@10	0.263
cosine_mrr@10	0.2231
cosine_map@100	0.2339

Information Retrieval

• Dataset: InformationRetrievalEvaluator
• Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.332
cosine_accuracy@3	0.4965
cosine_accuracy@5	0.5703
cosine_accuracy@10	0.6671
cosine_precision@1	0.332
cosine_precision@3	0.1655
cosine_precision@5	0.1141
cosine_precision@10	0.0667
cosine_recall@1	0.332
cosine_recall@3	0.4965
cosine_recall@5	0.5703
cosine_recall@10	0.6671
cosine_ndcg@10	0.4895
cosine_mrr@10	0.4339
cosine_map@100	0.4441

Training Details

Training Dataset

Unnamed Dataset

• Size: 79,908 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 19 tokens mean: 30.77 tokens max: 48 tokens	min: 17 tokens mean: 342.89 tokens max: 502 tokens

• Samples:

  anchor	positive
  query: ¿Cómo se determina si una persona con discapacidad califica para beneficios fiscales en la compra de ciertos dispositivos médicos según la normativa vigente?	passage: 3.- Por otro lado, el artículo 91, apartado dos.1, número 5º de la citada Ley 37/1992, establece que se aplicará el tipo impositivo del 4 por ciento a las entregas, adquisiciones intracomunitarias e importaciones de prótesis, ortesis e implantes internos para personas con discapacidad. A tal efecto, el último párrafo del número 4º del mencionado artículo 91, apartado dos.1 de dicha Ley, declara lo siguiente: "A efectos de este apartado dos, se considerarán personas con discapacidad aquellas con un grado de discapacidad igual o superior al 33 por ciento. El grado de discapacidad deberá acreditarse mediante certificación o resolución expedida por el Instituto de Mayores y Servicios Sociales o el órgano competente de la comunidad autónoma.". En relación con la aplicación del tipo impositivo del 4 por ciento en las entregas de gafas graduadas a personas con una discapacidad igual o superior al 33 por ciento, es criterio de este Centro directivo, entre otras, en la contestación vin...
  query: ¿Qué aspectos deben considerarse al evaluar la caución establecida en la legislación del IVA?	passage: Descripción de hechos: La sociedad consultante con sede en el Reino Unido tiene como actividad el desarrollo de soluciones de software para empresas. La consultante dispone de una sucursal en el territorio español de aplicación del Impuesto. La sucursal no lleva a cabo actividades de venta, ni realiza entregas de bienes ni prestaciones de servicios en España. La sociedad consultante solicita devolución del impuesto soportado por el procedimiento de los artículos 119 y 119 bis de la Ley del Impuesto. Cuestión planteada: Determinación del importe y naturaleza de la caución contemplada en el artículo 119 bis de la Ley del Impuesto sobre el Valor Añadido.
  query: ¿Cómo afecta una redistribución de participaciones en una comunidad de bienes a la tributación de actos jurídicos?	passage: Si la Comunidad Autónoma no hubiese aprobado el tipo a que se refiere el párrafo anterior, se aplicará el 0,50 por 100, en cuanto a tales actos o contratos.”. De acuerdo con el artículo 2.1 transcrito, para determinar la tributación correspondiente al supuesto planteado, debe analizarse en primer lugar la naturaleza jurídica de la operación que se pretende realizar. De la aplicación de los anteriores preceptos a los hechos expuestos se deriva claramente que la operación que se pretende llevar acabo no supone una disolución de la comunidad de bienes- que claramente se mantiene en los tres inmuebles que van a continuar en común- produciéndose, en todo caso, lo a veces se denomina una “disolución parcial”, pero que realmente no es una disolución o, en cualquier caso, no lo es a efectos del Impuesto sobre Transmisiones Patrimoniales y Actos Jurídicos Documentados. La operación que van a realizar consiste en una redistribución de las participaciones de los comuneros que antes osten...

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 32
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 128
• per_device_eval_batch_size: 32
• gradient_accumulation_steps: 4
• learning_rate: 3e-05
• num_train_epochs: 12
• lr_scheduler_type: cosine
• warmup_ratio: 0.1
• fp16: True
• tf32: True
• load_best_model_at_end: True
• optim: adamw_torch_fused
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 128
• per_device_eval_batch_size: 32
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 4
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 3e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 12
• max_steps: -1
• lr_scheduler_type: cosine
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: True
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	InformationRetrievalEvaluator_cosine_ndcg@10
-1	-1	-	0.2630
None	0	-	0.2630
0.64	100	7.1037	0.3984
1.2752	200	1.5958	0.4382
1.9152	300	1.3041	0.4555
2.5504	400	1.0579	0.4634
3.1856	500	0.9941	0.4669
3.8256	600	0.9095	0.4727
4.4608	700	0.8385	0.4758
5.096	800	0.7846	0.4771
5.736	900	0.7202	0.4823
6.3712	1000	0.7087	0.4814
7.0064	1100	0.6613	0.4859
7.6464	1200	0.6189	0.4854
8.2816	1300	0.6109	0.4869
8.9216	1400	0.5978	0.4893
9.5568	1500	0.576	0.4875
10.192	1600	0.5572	0.4887
10.832	1700	0.5497	0.4894
11.4672	1800	0.5496	0.4895
12.0	1884	-	0.4895

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.11.13
• Sentence Transformers: 4.1.0
• Transformers: 4.52.4
• PyTorch: 2.6.0+cu124
• Accelerate: 1.7.0
• Datasets: 2.14.4
• Tokenizers: 0.21.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}