sgt-kuraii/xlm-domain-adapted-tsdae

SentenceTransformer based on sgt-kuraii/xlm-domain-adapted-cosine

This is a sentence-transformers model finetuned from sgt-kuraii/xlm-domain-adapted-cosine. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sgt-kuraii/xlm-domain-adapted-cosine
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sgt-kuraii/xlm-domain-adapted-tsdae")
# Run inference
sentences = [
    'niet meer inhoudingsplichtig',
    'U bent niet meer inhoudingsplichtig',
    'U gebruikt voor elk nabetaald maandloon van € 2.500 de witte maandtabel die in april 2025 geldt. De loonbelasting/premie volksverzekeringen (voor inwoners van Nederland) hierover is bijvoorbeeld € 300,00. Dit bedrag vermenigvuldigt u daarna met 6. Het hele loon (€ 15.000) en de totale loonbelasting/premie volksverzekeringen (€ 1.800,00) geeft u, samen met het reguliere loon over april, aan in de aangifte over april.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

• Size: 7,157 training samples
• Columns: sentence_0 and sentence_1
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1
  type	string	string
  details	min: 3 tokens mean: 26.15 tokens max: 211 tokens	min: 3 tokens mean: 60.25 tokens max: 512 tokens

• Samples:

  sentence_0	sentence_1
  Voor de het 15 jaar en de arbeidsrelatie tussen, met andere woorden: de arbeidsvoorwaarden gelijk werknemers In geval: De voor de loonbelasting/premie volksverzekeringen en moet betalen De ouder bijbehorende administratieve voldoen . moet bijvoorbeeld van administratie bewaren . kind is niet de werknemersverzekeringen.	Voor meewerkende kinderen geldt de fictieve dienstbetrekking als het kind ten minste 15 jaar is en de familierelatie in de arbeidsrelatie tussen ouder en kind overheerst, met andere woorden: de arbeidsvoorwaarden zijn niet gelijk aan die van de andere werknemers. In dat geval geldt het volgende: De ouder is inhoudingsplichtig voor de loonbelasting/premie volksverzekeringen en moet werkgeversheffing Zvw betalen. De ouder moet aan alle bijbehorende administratieve verplichtingen voldoen. Hij moet bijvoorbeeld een kopie van het identiteitsbewijs van zijn kind bij de administratie bewaren. Het meewerkende kind is niet verzekerd voor de werknemersverzekeringen.
  U gemiddelde week in het kalenderjaar door de stap 3 berekende arbeidsomvang delen door het stap berekende weken . uren . meer dan week hoeft u te hoeft niet te . Is minder, dan u wel verder.	U berekent de gemiddelde arbeidsomvang per week in het kalenderjaar door de bij stap 3 berekende arbeidsomvang per kalenderjaar te delen door het bij stap 4 berekende aantal weken. U rondt het aantal uren naar boven af op hele uren (zonder decimalen). Is de gemiddelde arbeidsomvang meer dan 30 uur per week, dan hoeft u niet te herzien. U hoeft berekening 2 dan niet te doen. Is de gemiddelde arbeidsomvang 30 uur per week of minder, dan gaat u wel verder met berekening 2.
  het van zaak de percentage bijtelling auto tellen zijn werkelijke van auto zie paragraaf In waarde van € 400 en de eigen van werknemer € . De 300 . bedragen geen van het of de . Wij om de inzichtelijk te . U percentages grondslag de werknemersverzekeringen (kolom de, 11.2.7) de ervan dat toepassing . Met eventuele vcr hoofdstuk we in dit voorbeeld geen rekening gehouden U berekent van loonstaat zie . er de werkgeversheffing Zvw Zou sprake de bijdrage, houdt op het . de mogen . Bedrag de van Nederland (zie 9.3.2 over de voor de loonbelasting/volksverzekeringen van de) U de premiecomponent van gedifferentieerde premie Whk op het van de verhalen Dit u netto de . een gerichte vrijstelling () een deels in de vrije valt, of een . voor meer kosten zijn niet in	U moet voor het privégebruik van de auto van de zaak door de werknemer een vast percentage van de grondslag voor de bijtelling privégebruik auto bij het loon tellen. Dit zijn niet de werkelijke kosten van de auto (zie paragraaf 23.3). In dit voorbeeld is de waarde van het privégebruik € 400 en de eigen bijdrage van de werknemer € 100. De bijtelling is dan € 300. Deze bedragen zijn geen onderdeel van het belaste loon of de loonberekening. Wij hebben ze opgenomen om de loonkosten inzichtelijk te maken. U berekent de percentages over de grondslag voor de werknemersverzekeringen (kolom 8 van de loonstaat, zie paragraaf 11.2.7). Voor de berekening in dit voorbeeld wordt ervan uitgegaan dat de lage premie van toepassing is. Met eventuele effecten van het vcr (zie hoofdstuk 5) hebben we in dit voorbeeld geen rekening gehouden. U berekent het percentage over de grondslag voor de Zorgverzekeringswet (kolom 12 van de loonstaat, zie paragraaf 11.2.8). In dit voorbeeld is er sprake van de werkgeve...

• Loss: DenoisingAutoEncoderLoss

Training Hyperparameters

Non-Default Hyperparameters

• num_train_epochs: 2
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 2
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin

Training Logs

Epoch	Step	Training Loss
0.5587	500	12.0301
1.1173	1000	8.503
1.6760	1500	8.1847

Framework Versions

• Python: 3.11.9
• Sentence Transformers: 4.1.0
• Transformers: 4.41.0
• PyTorch: 2.7.1+cu118
• Accelerate: 1.7.0
• Datasets: 3.6.0
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

DenoisingAutoEncoderLoss

@inproceedings{wang-2021-TSDAE,
    title = "TSDAE: Using Transformer-based Sequential Denoising Auto-Encoderfor Unsupervised Sentence Embedding Learning",
    author = "Wang, Kexin and Reimers, Nils and Gurevych, Iryna",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2021",
    month = nov,
    year = "2021",
    address = "Punta Cana, Dominican Republic",
    publisher = "Association for Computational Linguistics",
    pages = "671--688",
    url = "https://arxiv.org/abs/2104.06979",
}