SentenceTransformer based on KBLab/bert-base-swedish-cased

This is a sentence-transformers model finetuned from KBLab/bert-base-swedish-cased on the parquet dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: KBLab/bert-base-swedish-cased
Maximum Sequence Length: 512 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity
Training Dataset:
- parquet

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("nicher92/embedding_model_one_epoch")
# Run inference
sentences = [
    'Mannen satt ensam i gruset en hel natt, men ingen brydde sig. Det Tove gjorde då värmer mitt hjärta. Vi behöver fler som dig!',
    '<script data-adfscript="adx.adform.net/adx/?mid=168702&rnd=12341523"></script> <script src="//s1.adform.net/banners/scripts/adx.js" async defer></script> Ingen ville hjälpa den 75-årige mannen som suttit ute i gruset – hela natten. Tills 23-årige Tova Eldstål kom förbi. – Jag tycker vi ska börja ta hand om varandra mer, säger hon till Aftonbladet. Nu hyllar tusentals hennes Facebook-inlägg om händelsen. Det var i fredags morse som Tova Eldstål såg den äldre mannen sitta i gruset intill tågstationen i Fagersta. Ingen av de tio personer som gick framför Tova stannade till. Men det gjorde Tova.Hon fick veta att mannen hade ont i bröstet och att han suttit där sedan 17-tiden kvällen innan. Nu har Tova skrivit ett inlägg på Facebook om händelsen. Över 80 000 har gillat texten och tusentals hyllar henne för insatsen."Jag har missat mitt tåg men jag lämnade',
    "Vi har fortsatt noen ledige plasser til kveldens store smaking. Bli med og smak 11 toppviner, deriblant flere årganger av Premier og Grand Cru-chabliser samtidig som du lærer mer om vinområdet. Med sin friske, klare duft av mineraler og nyåpnede østers, har de knusktørre vinene fra Chablis fått stjernestatus i vinverdenen. Smak Chablis på sitt aller beste og lær mer om hva som gjør dette vinområdet så spesielt ved å bli med på denne eksklusive smakingen. Revolusjonerende Grand Cru Denne kvelden får vi besøk fra et av Chablis' mest berømte vinhus, William Fèvre. Takket være fremsynthet på 1960-tallet har huset har den største andelen av Grand Cru-vinmarker blant alle vinhusene i området. Hele 16 av de totalt 100 hektarene med de aller beste vinmarkene i Chablis tilhører eiendommen.",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

parquet

Dataset: parquet
Size: 52,896,778 training samples
Columns: header and body
Approximate statistics based on the first 1000 samples:
header body
type string string
details
min: 4 tokens
mean: 12.12 tokens
max: 178 tokens

min: 13 tokens
mean: 154.53 tokens
max: 362 tokens

	header	body
type	string	string
details	min: 4 tokens mean: 12.12 tokens max: 178 tokens	min: 13 tokens mean: 154.53 tokens max: 362 tokens

Samples:

header	body
`Miljø: 4`	`Ford Focus stv. med 115-hesters diesel har et oppgitt EU-forbruk på 0,42 l/mil og et oppgitt CO2-utslipp på 109 g/km. Begge deler er gode tall for bilstørrelsen. I praksis, ute på veien i vår 20 mil lange testløype, trenger Focus stv. 0,52 l/mil. Fortsatt er det et godkjent tall, men Focusen havner noen dieseldråper bak for eksempel den forbruksoptimerte Skoda Octavia GreenLine.`
`Invitation til klassefest 2013`	17 okt Der kom brev med posten. (frit oversat til html af Leif) Kære gamle klassekammerater:Så er det endnu engang tid til klassekomsammen. Som aftalt sidste år er det lørdag den 26. oktober:Vi mødes kl. 13,00 foran indgangen til Århus Domkirke, Store Torv 1, 8000 Århus C.Herfra går vi til Besættelsesmuseet i Århus 1940-45 i Mathilde Fibrigers Have 2, hvor vi kan gå rundt og se på hvad der skete under besættelsen i Århus By.Når vi er færdige tager vi ud til mig, hvor vi vil få en god middag. Efterfølgende kaffe og senere natmad. Håber vi må få en rigtig hyggelig dag sammen. Du skal give besked, om du kommer senest den 16.10på telefon:eller Mobil:Beløb og opkrævning på dagen: ca. 300,- kr. Hilsen festudvalget: Hanne Gerner Thomsen
`Konklusjon: 6`	Hovedkarakteren er ikke et gjennomsnitt av delkarakterene, men et uttrykk for hvordan bilen totalt sett er i forhold til konkurrentene på det tidspunktet da testen ble gjennomført. Som nevnt allerede i innledningen: Vi mener Ford Focus 1,6 TDCI stv. totalt sett er den beste kompakte stasjonsvogna på markedet per i dag (juni 2011), og slik sett forsvarer den en sekser på terningen. Blant de sterkeste sidene er opplevelsen av at Focus gir mye god bil for pengene både når det gjelder kjøreegenskaper, plass og ytelser. Litt rom for forbedring finner vi først og fremst når det gjelder motoren. 1,5-litersdieselen er ikke lenger klassens mest kultiverte.

Loss: CachedMultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim",
    "mini_batch_size": 128
}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: steps
per_device_train_batch_size: 2048
learning_rate: 0.0002
warmup_ratio: 0.1
bf16: True
load_best_model_at_end: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: steps
prediction_loss_only: True
per_device_train_batch_size: 2048
per_device_eval_batch_size: 8
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 0.0002
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 3
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: True
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: True
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: True
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs