cnmoro/static-retrieval-distilbert-ptbr

SentenceTransformer

This is a sentence-transformers model trained on the all_triplets_ms_marco-ptbr dataset. It maps sentences & paragraphs to a 512-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Maximum Sequence Length: inf tokens
• Output Dimensionality: 512 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • all_triplets_ms_marco-ptbr
• Language: pt

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): StaticEmbedding(
    (embedding): EmbeddingBag(29794, 512, mode='mean')
  )
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("cnmoro/static-retrieval-distilbert-ptbr")
# Run inference
sentences = [
    'o que ajuda a síndrome de ibs',
    'óleo de hortelã-revestida com antecérico é amplamente utilizado para a síndrome do intestino irritável. Tem a intenção de reduzir a dor abdominal e inchaço da síndrome do intestino irritável. Peppermint é considerada uma erva carminativa, o que significa que é usado para eliminar o excesso de gás nos intestinos. Embora novas pesquisas sejam necessárias, estudos preliminares indicam que pode aliviar os sintomas da SII".',
    'diarreia ou prisão de ventre que não responde ao tratamento domiciliar".',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 512]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

• Datasets: NanoClimateFEVER, NanoDBPedia, NanoFEVER, NanoFiQA2018, NanoHotpotQA, NanoMSMARCO, NanoNFCorpus, NanoNQ, NanoQuoraRetrieval, NanoSCIDOCS, NanoArguAna, NanoSciFact and NanoTouche2020
• Evaluated with InformationRetrievalEvaluator

Metric	NanoClimateFEVER	NanoDBPedia	NanoFEVER	NanoFiQA2018	NanoHotpotQA	NanoMSMARCO	NanoNFCorpus	NanoNQ	NanoQuoraRetrieval	NanoSCIDOCS	NanoArguAna	NanoSciFact	NanoTouche2020
cosine_accuracy@1	0.16	0.48	0.32	0.16	0.5	0.08	0.26	0.06	0.7	0.18	0.08	0.34	0.3061
cosine_accuracy@3	0.26	0.7	0.58	0.26	0.68	0.32	0.42	0.12	0.84	0.38	0.28	0.44	0.4898
cosine_accuracy@5	0.34	0.82	0.72	0.32	0.76	0.46	0.46	0.18	0.9	0.48	0.36	0.46	0.6122
cosine_accuracy@10	0.38	0.86	0.82	0.38	0.86	0.58	0.48	0.3	0.94	0.58	0.54	0.52	0.7959
cosine_precision@1	0.16	0.48	0.32	0.16	0.5	0.08	0.26	0.06	0.7	0.18	0.08	0.34	0.3061
cosine_precision@3	0.1	0.44	0.2	0.0933	0.2933	0.1067	0.2267	0.04	0.3067	0.1667	0.0933	0.1533	0.2857
cosine_precision@5	0.088	0.408	0.152	0.072	0.196	0.092	0.2	0.036	0.212	0.14	0.072	0.096	0.2857
cosine_precision@10	0.056	0.36	0.088	0.052	0.122	0.058	0.148	0.03	0.114	0.09	0.054	0.056	0.2714
cosine_recall@1	0.0723	0.0353	0.2867	0.0471	0.25	0.08	0.0391	0.06	0.644	0.0387	0.08	0.34	0.0173
cosine_recall@3	0.1223	0.1043	0.5467	0.1237	0.44	0.32	0.0709	0.11	0.7613	0.1047	0.28	0.43	0.0493
cosine_recall@5	0.169	0.1523	0.6933	0.1498	0.49	0.46	0.0885	0.17	0.848	0.1457	0.36	0.44	0.0802
cosine_recall@10	0.2163	0.2238	0.79	0.1992	0.61	0.58	0.0974	0.27	0.902	0.1857	0.54	0.495	0.154
cosine_ndcg@10	0.1735	0.4247	0.5416	0.1491	0.514	0.3176	0.2066	0.1483	0.7966	0.1755	0.2899	0.4216	0.2813
cosine_mrr@10	0.2267	0.6177	0.4798	0.2209	0.6078	0.2347	0.3372	0.1159	0.7832	0.2969	0.2127	0.3999	0.4445
cosine_map@100	0.1373	0.3112	0.4633	0.1091	0.4297	0.2464	0.0849	0.1221	0.7556	0.1247	0.2218	0.4072	0.1901

Nano BEIR

• Dataset: NanoBEIR_mean
• Evaluated with NanoBEIREvaluator

Metric	Value
cosine_accuracy@1	0.2789
cosine_accuracy@3	0.4438
cosine_accuracy@5	0.5286
cosine_accuracy@10	0.6181
cosine_precision@1	0.2789
cosine_precision@3	0.1927
cosine_precision@5	0.1577
cosine_precision@10	0.1153
cosine_recall@1	0.1531
cosine_recall@3	0.2664
cosine_recall@5	0.3267
cosine_recall@10	0.4049
cosine_ndcg@10	0.3416
cosine_mrr@10	0.3829
cosine_map@100	0.2772

Training Details

Training Dataset

all_triplets_ms_marco-ptbr

• Dataset: all_triplets_ms_marco-ptbr at f934503
• Size: 25,863,649 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 5 characters mean: 35.31 characters max: 105 characters	min: 31 characters mean: 356.8 characters max: 1050 characters	min: 13 characters mean: 359.92 characters max: 1153 characters

• Samples:

  anchor	positive	negative
  partes mais quentes da califórnia em dezembro	as melhores praias da Califórnia para o clima quente do inverno estão ao longo da costa sul, particularmente as margens viradas para o sul. As temperaturas mais quentes acontecem em Avila Beach, Long Beach e Laguna Beach, onde os dias se dem até pelo menos 67 graus F (19 C) em média em dezembro e janeiro".	Outros destinos da ilha do Caribe com uma combinação de clima quente e não muita chuva em dezembro incluem Kingston, Jamaica (87 F), St. Kitts (85 F) e Nassau, Bahamas (79 F). Nos EUA continentais, o clima de férias mais quente em dezembro é mais frequentemente a Flórida. Tente afundar seus dedos na areia branca quente e macia de Nápoles e Sarasota, dois dos nossos locais de férias de inverno românticos da Flórida da Costa do Golfo da Flórida".
  definição de anosmia	Anosmia (/aen-É-zmiÉ/) A sÉ-zmiÉ é a incapacidade de perceber o odor ou a falta de funcionamento da autaraction a perda do sentido.	Anemia é um termo médico que se refere a um número reduzido de glóbulos vermelhos circulantes (RBC), hemoglobina (Hb), ou ambos. Não é uma doença específica, mas sim o resultado de algum outro processo de doença ou condição.nemia é um termo médico referindo-se a um número reduzido de glóbulos vermelhos circulantes (RBC), hemoglobina (Hb), ou ambos. Não é uma doença específica, mas sim o resultado de algum outro processo ou condição de doença".
  can fêmeas obter hemofilia	uma fêmea que herda um afetado x cromossomo torna-se um portador de hemofilia que ela pode passar o gene afetado para seus filhos, além de uma mulher que é um portador às vezes pode ter sintomas de hemofilia na verdade alguns médicos descrevem essas mulheres como tendo mulheres leves que carregam o gene da hemofilia que carregam o gene da hemofilia e têm quaisquer sintomas do transtorno deve ser verificado e cuidado por um provedor de saúde de boa qualidade cuidados médicos e enfermeiros que podem evitar que os problemas sérios que saibam que muitos.	Hemofilia é um X ligado ou sexo ligado a doença hereditária que significa que o defeito é realizado no cromossomo X. As fêmeas têm dois cromossomos X e os machos têm um cromossomo X e um cromossomo Y. O cromossomo X, que carrega o gene da hemofilia em homens, faz com que Fator VIII ou Fator IX esteja ausente ou deficiente (nível baixo). Cada criança de um portador de hemofilia tem 50% de chance de ser afetada pela hemofilia; seja ter hemofilia para um macho ou ser portadora de uma mulher".

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          512,
          384,
          256,
          128,
          64,
          32,
          16,
          8
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1,
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Evaluation Dataset

all_triplets_ms_marco-ptbr

• Dataset: all_triplets_ms_marco-ptbr at f934503
• Size: 527,832 evaluation samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 6 characters mean: 36.15 characters max: 193 characters	min: 20 characters mean: 360.3 characters max: 1097 characters	min: 14 characters mean: 365.67 characters max: 1145 characters

• Samples:

  anchor	positive	negative
  diferença entre o ovo cozido duro e o ovo escalfado	o ovo é escalfado (ou cozido) quando o branco é cozido e a gema ainda é escorrendo, um ovo cozido duro é cozido em sua casca por 7 a 8 minutos até que seja cozido sólido todo o caminho. Carmen D 4 anos atrás. Os polegares para cima. 0".	mexidos, escalfados, fritos ou cozidos, e dado todas essas variações, a questão de longa duração que eles podem ser armazenados com segurança é uma boa a considerar. Uma bactéria chamada Salmonella enteritidis pode estar presente dentro da gema, mas ovos duros os torna seguros para comer".
  quando você pode coletar segurança social se deficientes	Como a Segurança Social pagará benefícios de invalidez a uma pessoa com deficiência é determinada pela data em que você apresentou sua reivindicação de deficiência ao se candidatar à segurança social e/ou incapacidade da SSI.	Se for esse o caso, você não terá mais direito a benefícios de Deficiência da Segurança Social, mas você pode ter direito a benefícios de aposentadoria da Previdência Social uma vez que você atinja a idade de 65 anos. Se você decidir voltar ao trabalho seus benefícios não vai parar imediatamente. Você pode ganhar renda em uma base de â-trialâ para até nove meses antes de seus benefícios de Deficiência Social são revogados. Se você tentar voltar ao trabalho e descobrir que você é incapaz de lidar com isso, seus Benefícios de Segurança Social não terminará.ou pode ganhar renda em uma base de âtrialâ por até nove meses antes de seus benefícios de deficientes de segurança social são revogados. Se você tentar voltar ao trabalho e descobrir que não consegue lidar com isso, seus Benefícios de Segurança Social não terminarão".
  número de contato da sede da união ocidental	número de telefone da União Ocidental. O número e as etapas abaixo são votados no 1 de 4 por mais de 7190 clientes da Western Union. 800-999-9660. Suporte telefônico da Western Union. Leia as principais etapas e dicas abaixo. Eles chamam você em vez dissoNão esperando em espera. Free.ress 1 e continue pressionando 0. Este número de telefone é popular entre outros clientes da Western Union, mas não se esqueça de seguir os 6 passos mais abaixo".	Neste artigo eu listei o número de telefone de serviço ao cliente Western Union essencial e o número de telefone de contato e números gratuitos para a Western Union. Western Union operando em muitos países, então eu listei números de telefone de atendimento ao cliente internacional Western Union. Se você é o cliente da Western Union e gosta de saber informações sobre produtos e serviços da Western Union, basta usar os seguintes números".

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          512,
          384,
          256,
          128,
          64,
          32,
          16,
          8
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1,
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 512
• per_device_eval_batch_size: 512
• learning_rate: 0.2
• num_train_epochs: 5
• warmup_ratio: 0.1
• bf16: True

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 512
• per_device_eval_batch_size: 512
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 0.2
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 5
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss	Validation Loss	NanoClimateFEVER_cosine_ndcg@10	NanoDBPedia_cosine_ndcg@10	NanoFEVER_cosine_ndcg@10	NanoFiQA2018_cosine_ndcg@10	NanoHotpotQA_cosine_ndcg@10	NanoMSMARCO_cosine_ndcg@10	NanoNFCorpus_cosine_ndcg@10	NanoNQ_cosine_ndcg@10	NanoQuoraRetrieval_cosine_ndcg@10	NanoSCIDOCS_cosine_ndcg@10	NanoArguAna_cosine_ndcg@10	NanoSciFact_cosine_ndcg@10	NanoTouche2020_cosine_ndcg@10	NanoBEIR_mean_cosine_ndcg@10
0.0000	1	66.3307	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-
0.0198	1000	42.3936	27.4352	0.1314	0.3901	0.4362	0.0856	0.4261	0.2743	0.1524	0.1226	0.7497	0.1547	0.1544	0.4066	0.2984	0.2910
0.0396	2000	21.4189	17.5353	0.1443	0.4301	0.5087	0.1281	0.4315	0.2600	0.1859	0.1462	0.7842	0.1978	0.1944	0.4489	0.3432	0.3233
0.0594	3000	15.8675	14.6976	0.1579	0.4524	0.5459	0.1350	0.4307	0.2972	0.1980	0.1443	0.7807	0.1921	0.2016	0.4302	0.3561	0.3325
0.0792	4000	14.0655	13.5888	0.1803	0.4522	0.5321	0.1402	0.4479	0.2982	0.1914	0.1912	0.7992	0.2001	0.2143	0.4502	0.3432	0.3416
0.0990	5000	13.2932	13.0002	0.1926	0.4523	0.5118	0.1607	0.4451	0.3059	0.2048	0.2168	0.7903	0.1974	0.2387	0.4653	0.3520	0.3487
0.1188	6000	12.8258	12.6530	0.1998	0.4510	0.5437	0.1296	0.4506	0.3335	0.2100	0.1894	0.8074	0.1761	0.2423	0.4456	0.3688	0.3498
0.1386	7000	12.5101	12.3932	0.1775	0.4638	0.4978	0.1503	0.4547	0.3197	0.2037	0.1864	0.8178	0.1757	0.1987	0.4518	0.3382	0.3412
0.1584	8000	12.2601	12.1873	0.1884	0.4794	0.5263	0.1668	0.4764	0.3603	0.2115	0.1673	0.7835	0.1720	0.2266	0.4534	0.3535	0.3512
0.1782	9000	12.0884	12.0142	0.2139	0.4735	0.5170	0.1598	0.4498	0.3448	0.2002	0.1983	0.7901	0.1651	0.2351	0.4458	0.3240	0.3475
0.1980	10000	11.9352	11.8797	0.2123	0.4813	0.5146	0.1452	0.5095	0.3642	0.1983	0.1637	0.8041	0.1699	0.2384	0.4545	0.3198	0.3520
0.2178	11000	11.8034	11.7615	0.1776	0.4579	0.5237	0.1673	0.4808	0.3068	0.2009	0.1828	0.8173	0.1706	0.2572	0.4408	0.3205	0.3465
0.2376	12000	11.6906	11.6589	0.1789	0.4593	0.5512	0.1341	0.4894	0.3340	0.2106	0.1811	0.8192	0.1773	0.2381	0.4480	0.3209	0.3494
0.2573	13000	11.5868	11.5586	0.1877	0.4648	0.5137	0.1494	0.4939	0.3212	0.2193	0.2025	0.8120	0.1640	0.2452	0.4258	0.3561	0.3504
0.2771	14000	11.4752	11.4752	0.1938	0.4411	0.5186	0.1418	0.4839	0.3411	0.2106	0.1688	0.8217	0.1744	0.2768	0.4688	0.3384	0.3523
0.2969	15000	11.4299	11.3873	0.1989	0.4501	0.5109	0.1309	0.5037	0.3280	0.2040	0.1649	0.8035	0.1707	0.2549	0.4714	0.3308	0.3479
0.3167	16000	11.3369	11.3173	0.1880	0.4666	0.4988	0.1430	0.5086	0.3385	0.2054	0.1786	0.8181	0.1712	0.2766	0.4555	0.3220	0.3516
0.3365	17000	11.2737	11.2503	0.1748	0.4673	0.4849	0.1485	0.4902	0.3567	0.2160	0.1501	0.8059	0.1659	0.2476	0.4728	0.3121	0.3456
0.3563	18000	11.2138	11.1802	0.1738	0.4619	0.5408	0.1426	0.4986	0.3427	0.2193	0.1594	0.7995	0.1597	0.2567	0.4331	0.3140	0.3463
0.3761	19000	11.1662	11.1250	0.1625	0.4522	0.5313	0.1419	0.5093	0.3499	0.1982	0.1713	0.8000	0.1693	0.2332	0.4799	0.3353	0.3488
0.3959	20000	11.0674	11.0633	0.1627	0.4608	0.5167	0.1368	0.5025	0.3653	0.2090	0.1743	0.8166	0.1670	0.2281	0.4614	0.3408	0.3494
0.4157	21000	11.0251	11.0233	0.1730	0.4695	0.4854	0.1417	0.5211	0.3393	0.2246	0.1477	0.8146	0.1692	0.2148	0.4584	0.3356	0.3458
0.4355	22000	10.9932	10.9695	0.1709	0.4630	0.5161	0.1400	0.4945	0.3507	0.2226	0.1585	0.8103	0.1595	0.2355	0.4325	0.3343	0.3453
0.4553	23000	10.9327	10.9186	0.1803	0.4509	0.5341	0.1454	0.5241	0.3485	0.2032	0.1480	0.8056	0.1634	0.2206	0.4557	0.3266	0.3466
0.4751	24000	10.8936	10.8830	0.1891	0.4450	0.5202	0.1485	0.5006	0.3427	0.2079	0.1639	0.8115	0.1731	0.2213	0.4269	0.3424	0.3456
0.4949	25000	10.8654	10.8392	0.1610	0.4479	0.5524	0.1547	0.5002	0.3377	0.2128	0.1802	0.7996	0.1937	0.2240	0.4506	0.3097	0.3480
0.5147	26000	10.8168	10.7826	0.1784	0.4558	0.5211	0.1482	0.5099	0.3531	0.2165	0.1456	0.8090	0.1782	0.2367	0.4240	0.3251	0.3463
0.5345	27000	10.7554	10.7164	0.1841	0.4593	0.5183	0.1377	0.4843	0.3469	0.2066	0.1632	0.8099	0.1818	0.2779	0.4305	0.3270	0.3483
0.5543	28000	10.6605	10.6510	0.1780	0.4566	0.5328	0.1439	0.4923	0.3519	0.2152	0.1507	0.8060	0.1838	0.2585	0.4256	0.3147	0.3469
0.5741	29000	10.6202	10.5959	0.1866	0.4668	0.5370	0.1553	0.5118	0.3699	0.2265	0.1553	0.8090	0.1732	0.2614	0.4287	0.3193	0.3539
0.5939	30000	10.5399	10.5401	0.1862	0.4593	0.5237	0.1510	0.5273	0.3353	0.2101	0.1594	0.8092	0.1709	0.2643	0.4308	0.3199	0.3498
0.6137	31000	10.5212	10.4866	0.2000	0.4547	0.5131	0.1450	0.5213	0.3341	0.2136	0.1518	0.8094	0.1726	0.2911	0.4246	0.3388	0.3516
0.6335	32000	10.4767	10.4375	0.1873	0.4487	0.5162	0.1377	0.5186	0.3463	0.2184	0.1711	0.8087	0.1769	0.2871	0.4441	0.3297	0.3531
0.6533	33000	10.4247	10.4089	0.1949	0.4572	0.5322	0.1524	0.5286	0.3309	0.2204	0.1464	0.8006	0.1765	0.2727	0.4314	0.3323	0.3520
0.6731	34000	10.389	10.3680	0.1867	0.4628	0.5265	0.1369	0.5196	0.3411	0.2224	0.1597	0.8003	0.1702	0.2678	0.4386	0.3163	0.3499
0.6929	35000	10.3299	10.3354	0.1937	0.4614	0.5042	0.1430	0.5215	0.3416	0.2159	0.1488	0.8101	0.1764	0.2601	0.4525	0.3192	0.3499
0.7127	36000	10.3103	10.3054	0.1764	0.4555	0.5281	0.1577	0.5291	0.3338	0.2049	0.1483	0.7980	0.1660	0.2626	0.4153	0.3137	0.3453
0.7325	37000	10.2869	10.2670	0.1703	0.4488	0.5188	0.1560	0.5200	0.3370	0.2118	0.1513	0.8108	0.1671	0.2853	0.4057	0.3102	0.3456
0.7523	38000	10.2414	10.2453	0.1713	0.4556	0.5400	0.1568	0.5228	0.3359	0.2081	0.1624	0.8063	0.1636	0.2644	0.4413	0.3117	0.3492
0.7720	39000	10.231	10.2169	0.1595	0.4577	0.5599	0.1510	0.5195	0.3300	0.2070	0.1635	0.8145	0.1615	0.2846	0.4269	0.3236	0.3507
0.7918	40000	10.2115	10.1964	0.1734	0.4621	0.5414	0.1481	0.5300	0.3438	0.2072	0.1712	0.8062	0.1639	0.2815	0.4122	0.3000	0.3493
0.8116	41000	10.1947	10.1671	0.1712	0.4559	0.5450	0.1523	0.5145	0.3392	0.2198	0.1588	0.7927	0.1734	0.2826	0.4281	0.3014	0.3488
0.8314	42000	10.1666	10.1581	0.1648	0.4464	0.5555	0.1639	0.5014	0.3477	0.2099	0.1443	0.7988	0.1640	0.2784	0.4482	0.2983	0.3478
0.8512	43000	10.1528	10.1265	0.1789	0.4437	0.5328	0.1525	0.5266	0.3369	0.2016	0.1561	0.8097	0.1742	0.2863	0.4503	0.3008	0.3500
0.8710	44000	10.1054	10.1122	0.1716	0.4542	0.5310	0.1610	0.5359	0.3454	0.2022	0.1725	0.7948	0.1666	0.2840	0.4246	0.3149	0.3507
0.8908	45000	10.0878	10.0890	0.1729	0.4489	0.5533	0.1561	0.5401	0.3413	0.2135	0.1510	0.7989	0.1735	0.2950	0.4348	0.3202	0.3538
0.9106	46000	10.0875	10.0730	0.1776	0.4550	0.5499	0.1563	0.5313	0.3357	0.2084	0.1578	0.8058	0.1739	0.2976	0.4468	0.3176	0.3549
0.9304	47000	10.0615	10.0561	0.1816	0.4569	0.5310	0.1583	0.5279	0.3332	0.2058	0.1532	0.7976	0.1727	0.2813	0.4513	0.3146	0.3512
0.9502	48000	10.0378	10.0374	0.1916	0.4558	0.5242	0.1552	0.5368	0.3518	0.2050	0.1617	0.8065	0.1736	0.2898	0.4268	0.3109	0.3531
0.9700	49000	10.0393	10.0283	0.1809	0.4542	0.5319	0.1594	0.5240	0.3329	0.2070	0.1595	0.7998	0.1670	0.2885	0.4522	0.3204	0.3521
0.9898	50000	10.0035	10.0112	0.1721	0.4495	0.5200	0.1548	0.5294	0.3514	0.2124	0.1597	0.8063	0.1798	0.2785	0.4479	0.3322	0.3534
1.0096	51000	9.9575	10.0040	0.1737	0.4476	0.5422	0.1527	0.5345	0.3513	0.2076	0.1513	0.8071	0.1681	0.2715	0.4547	0.3149	0.3521
1.0294	52000	9.9083	9.9996	0.1668	0.4530	0.5315	0.1645	0.5212	0.3375	0.2168	0.1458	0.8046	0.1720	0.2746	0.4432	0.3234	0.3504
1.0492	53000	9.9229	9.9895	0.1777	0.4434	0.5348	0.1601	0.5158	0.3390	0.2130	0.1461	0.8014	0.1717	0.2808	0.4546	0.3161	0.3504
1.0690	54000	9.884	9.9758	0.1797	0.4507	0.5372	0.1685	0.5202	0.3398	0.2174	0.1739	0.7949	0.1744	0.2944	0.4334	0.3191	0.3541
1.0888	55000	9.9108	9.9650	0.1780	0.4458	0.5249	0.1510	0.5190	0.3492	0.2222	0.1639	0.7968	0.1895	0.2878	0.4251	0.3153	0.3514
1.1086	56000	9.9019	9.9556	0.1893	0.4465	0.5368	0.1514	0.5131	0.3384	0.2151	0.1609	0.8029	0.1886	0.2993	0.4280	0.3223	0.3533
1.1284	57000	9.8931	9.9392	0.1837	0.4409	0.5381	0.1632	0.5254	0.3332	0.2046	0.1470	0.8067	0.1915	0.2797	0.4167	0.3212	0.3501
1.1482	58000	9.8714	9.9229	0.1731	0.4440	0.5289	0.1477	0.5073	0.3257	0.2063	0.1631	0.8079	0.1844	0.3001	0.4391	0.3194	0.3498
1.1680	59000	9.885	9.9159	0.1756	0.4498	0.5274	0.1580	0.5156	0.3227	0.2101	0.1470	0.8042	0.1783	0.3026	0.4215	0.3237	0.3490
1.1878	60000	9.8824	9.9016	0.1794	0.4512	0.5261	0.1523	0.5093	0.3427	0.1964	0.1468	0.8029	0.1756	0.2898	0.4325	0.3173	0.3479
1.2076	61000	9.8846	9.8969	0.1768	0.4518	0.5452	0.1643	0.5087	0.3471	0.2004	0.1509	0.7959	0.1847	0.2954	0.4386	0.3099	0.3515
1.2274	62000	9.8534	9.8831	0.1848	0.4532	0.5422	0.1583	0.5177	0.3546	0.2087	0.1546	0.7985	0.1815	0.3024	0.4335	0.3285	0.3553
1.2472	63000	9.8494	9.8759	0.1776	0.4490	0.5305	0.1641	0.5138	0.3517	0.2043	0.1474	0.8040	0.1809	0.2947	0.4252	0.3183	0.3509
1.2670	64000	9.8514	9.8639	0.1820	0.4553	0.5386	0.1569	0.5055	0.3442	0.2116	0.1396	0.7949	0.1807	0.2820	0.4225	0.3154	0.3484
1.2867	65000	9.8341	9.8563	0.1772	0.4507	0.5300	0.1579	0.5072	0.3392	0.2067	0.1529	0.7961	0.1825	0.2874	0.4215	0.3195	0.3484
1.3065	66000	9.8417	9.8492	0.1784	0.4557	0.5251	0.1598	0.5011	0.3324	0.2183	0.1566	0.7928	0.1821	0.2873	0.4181	0.3153	0.3479
1.3263	67000	9.8081	9.8369	0.1831	0.4488	0.5360	0.1681	0.5046	0.3317	0.2064	0.1467	0.8013	0.1738	0.2887	0.4381	0.3043	0.3486
1.3461	68000	9.8001	9.8274	0.1842	0.4563	0.5387	0.1647	0.5080	0.3174	0.2089	0.1595	0.7964	0.1705	0.2918	0.4187	0.3054	0.3477
1.3659	69000	9.8059	9.8159	0.1827	0.4570	0.5528	0.1715	0.5207	0.3289	0.2046	0.1543	0.8094	0.1757	0.2839	0.4281	0.3025	0.3517
1.3857	70000	9.7848	9.8117	0.1656	0.4547	0.5381	0.1562	0.5091	0.3233	0.2127	0.1539	0.8000	0.1722	0.2885	0.4168	0.3091	0.3462
1.4055	71000	9.7847	9.8049	0.1786	0.4499	0.5495	0.1675	0.5194	0.3180	0.2133	0.1587	0.8025	0.1588	0.2895	0.4224	0.3056	0.3487
1.4253	72000	9.7587	9.7976	0.1706	0.4562	0.5425	0.1530	0.5283	0.3356	0.2125	0.1564	0.8055	0.1660	0.2939	0.4219	0.3005	0.3495
1.4451	73000	9.7652	9.7898	0.1787	0.4479	0.5406	0.1539	0.5281	0.3291	0.2088	0.1438	0.8058	0.1767	0.2938	0.4115	0.2960	0.3473
1.4649	74000	9.7507	9.7830	0.1746	0.4394	0.5426	0.1647	0.5201	0.3290	0.2131	0.1507	0.8039	0.1643	0.2856	0.4510	0.3030	0.3494
1.4847	75000	9.7412	9.7757	0.1701	0.4386	0.5244	0.1639	0.5140	0.3218	0.2111	0.1542	0.8086	0.1714	0.2765	0.4224	0.2973	0.3442
1.5045	76000	9.7412	9.7727	0.1823	0.4477	0.5337	0.1544	0.5117	0.3381	0.2074	0.1605	0.8079	0.1710	0.2820	0.4325	0.2996	0.3484
1.5243	77000	9.7475	9.7626	0.1743	0.4423	0.5343	0.1511	0.5142	0.3224	0.2124	0.1567	0.8076	0.1802	0.2946	0.4303	0.3044	0.3481
1.5441	78000	9.7512	9.7590	0.1737	0.4406	0.5323	0.1535	0.5102	0.3419	0.2099	0.1476	0.8058	0.1626	0.2877	0.4073	0.3015	0.3442
1.5639	79000	9.7406	9.7501	0.1735	0.4472	0.5189	0.1639	0.5148	0.3232	0.2065	0.1555	0.8015	0.1698	0.2826	0.4320	0.3047	0.3457
1.5837	80000	9.7409	9.7426	0.1799	0.4405	0.5225	0.1627	0.5158	0.3487	0.2051	0.1608	0.8079	0.1657	0.2857	0.4469	0.3014	0.3495
1.6035	81000	9.7125	9.7399	0.1781	0.4402	0.5230	0.1564	0.5153	0.3439	0.2167	0.1622	0.8070	0.1706	0.3040	0.4512	0.3071	0.3520
1.6233	82000	9.7164	9.7319	0.1806	0.4485	0.5317	0.1486	0.5220	0.3353	0.2087	0.1604	0.8033	0.1783	0.2899	0.4178	0.3025	0.3483
1.6431	83000	9.7203	9.7257	0.1766	0.4513	0.5120	0.1581	0.5108	0.3375	0.2084	0.1635	0.8085	0.1682	0.2904	0.4334	0.2932	0.3471
1.6629	84000	9.7035	9.7229	0.1759	0.4447	0.5391	0.1555	0.5104	0.3369	0.2067	0.1584	0.8036	0.1754	0.2943	0.4266	0.3032	0.3485
1.6827	85000	9.7277	9.7206	0.1757	0.4401	0.5229	0.1540	0.5188	0.3448	0.2070	0.1521	0.8078	0.1731	0.2967	0.4287	0.2984	0.3477
1.7025	86000	9.6992	9.7184	0.1849	0.4403	0.5276	0.1598	0.5196	0.3342	0.2110	0.1585	0.8119	0.1790	0.2887	0.4211	0.3067	0.3495
1.7223	87000	9.6789	9.7084	0.1744	0.4400	0.5367	0.1572	0.5068	0.3289	0.2088	0.1622	0.8087	0.1750	0.2886	0.4340	0.3095	0.3485
1.7421	88000	9.6939	9.7020	0.1736	0.4400	0.5423	0.1644	0.5125	0.3339	0.2064	0.1643	0.8052	0.1869	0.2921	0.4120	0.3091	0.3494
1.7619	89000	9.661	9.6965	0.1651	0.4404	0.5433	0.1625	0.5234	0.3362	0.2103	0.1682	0.8052	0.1797	0.2823	0.4291	0.3052	0.3501
1.7816	90000	9.6624	9.6919	0.1689	0.4438	0.5317	0.1496	0.5125	0.3421	0.2056	0.1643	0.8078	0.1750	0.3034	0.4187	0.3003	0.3480
1.8014	91000	9.666	9.6855	0.1719	0.4468	0.5395	0.1572	0.5188	0.3430	0.2032	0.1506	0.8065	0.1795	0.2888	0.4185	0.2940	0.3476
1.8212	92000	9.6715	9.6823	0.1703	0.4456	0.5311	0.1568	0.5193	0.3530	0.2046	0.1635	0.7988	0.1758	0.2951	0.4236	0.2994	0.3490
1.8410	93000	9.6597	9.6800	0.1703	0.4491	0.5255	0.1622	0.5194	0.3491	0.2137	0.1444	0.8062	0.1728	0.3083	0.4199	0.3070	0.3498
1.8608	94000	9.6594	9.6740	0.1668	0.4469	0.5233	0.1536	0.5194	0.3396	0.2077	0.1586	0.8095	0.1809	0.2895	0.4238	0.3000	0.3477
1.8806	95000	9.6565	9.6647	0.1738	0.4461	0.5312	0.1502	0.5392	0.3444	0.2074	0.1555	0.8063	0.1823	0.2979	0.4282	0.3023	0.3511
1.9004	96000	9.6476	9.6640	0.1759	0.4456	0.5433	0.1565	0.5318	0.3470	0.2149	0.1548	0.8047	0.1717	0.3024	0.4359	0.2953	0.3523
1.9202	97000	9.6588	9.6563	0.1815	0.4449	0.5431	0.1617	0.5267	0.3460	0.2061	0.1557	0.8068	0.1667	0.2997	0.4463	0.3066	0.3532
1.9400	98000	9.6232	9.6491	0.1769	0.4426	0.5411	0.1562	0.5255	0.3430	0.2074	0.1534	0.8108	0.1686	0.2991	0.4395	0.2915	0.3504
1.9598	99000	9.6412	9.6446	0.1722	0.4434	0.5368	0.1652	0.5236	0.3378	0.1998	0.1533	0.8043	0.1670	0.3053	0.4498	0.2899	0.3499
1.9796	100000	9.6418	9.6400	0.1740	0.4444	0.5379	0.1635	0.5284	0.3340	0.2038	0.1682	0.8013	0.1780	0.3077	0.4224	0.2877	0.3501
1.9994	101000	9.6363	9.6378	0.1784	0.4439	0.5349	0.1626	0.5273	0.3432	0.2168	0.1602	0.8028	0.1797	0.2987	0.4336	0.2999	0.3525
2.0192	102000	9.5424	9.6456	0.1817	0.4450	0.5436	0.1563	0.5333	0.3374	0.2124	0.1551	0.8045	0.1767	0.2880	0.4329	0.2923	0.3507
2.0390	103000	9.5632	9.6461	0.1818	0.4505	0.5405	0.1566	0.5251	0.3387	0.2047	0.1533	0.7995	0.1697	0.2860	0.4399	0.2936	0.3492
2.0588	104000	9.5526	9.6401	0.1775	0.4386	0.5245	0.1471	0.5212	0.3383	0.2110	0.1548	0.8061	0.1663	0.2945	0.4264	0.2995	0.3466
2.0786	105000	9.5694	9.6374	0.1915	0.4489	0.5283	0.1506	0.5276	0.3393	0.2016	0.1498	0.8045	0.1723	0.2938	0.4376	0.3007	0.3497
2.0984	106000	9.5772	9.6314	0.1728	0.4530	0.5356	0.1605	0.5278	0.3358	0.2061	0.1503	0.8050	0.1734	0.3016	0.4274	0.2991	0.3499
2.1182	107000	9.5735	9.6322	0.1711	0.4380	0.5450	0.1618	0.5333	0.3462	0.2026	0.1591	0.8057	0.1711	0.3005	0.4159	0.2984	0.3499
2.1380	108000	9.5764	9.6262	0.1738	0.4547	0.5394	0.1548	0.5330	0.3372	0.2003	0.1589	0.8026	0.1768	0.2914	0.4384	0.2877	0.3499
2.1578	109000	9.5918	9.6217	0.1699	0.4404	0.5272	0.1469	0.5248	0.3483	0.2020	0.1507	0.8006	0.1771	0.2851	0.4183	0.3009	0.3456
2.1776	110000	9.5565	9.6192	0.1700	0.4443	0.5291	0.1477	0.5296	0.3409	0.2072	0.1530	0.8042	0.1752	0.2823	0.4203	0.2976	0.3463
2.1974	111000	9.5725	9.6153	0.1733	0.4434	0.5258	0.1499	0.5215	0.3397	0.1976	0.1544	0.8031	0.1830	0.2749	0.4255	0.2939	0.3451
2.2172	112000	9.552	9.6102	0.1765	0.4440	0.5258	0.1539	0.5315	0.3397	0.1998	0.1561	0.8026	0.1833	0.2790	0.4262	0.2914	0.3469
2.2370	113000	9.5574	9.6062	0.1810	0.4425	0.5363	0.1573	0.5344	0.3341	0.2008	0.1549	0.8016	0.1767	0.2808	0.4411	0.2972	0.3491
2.2568	114000	9.5671	9.6021	0.1837	0.4423	0.5330	0.1547	0.5164	0.3357	0.2062	0.1572	0.7990	0.1733	0.2852	0.4280	0.2894	0.3465
2.2766	115000	9.5393	9.6005	0.1857	0.4413	0.5339	0.1639	0.5091	0.3312	0.2057	0.1547	0.8018	0.1820	0.2761	0.4236	0.2909	0.3462
2.2963	116000	9.5581	9.5972	0.1807	0.4443	0.5454	0.1488	0.5168	0.3191	0.2154	0.1558	0.8021	0.1770	0.2949	0.4140	0.2945	0.3468
2.3161	117000	9.5702	9.5921	0.1804	0.4424	0.5471	0.1499	0.5147	0.3227	0.2109	0.1461	0.8018	0.1783	0.3053	0.4120	0.2889	0.3462
2.3359	118000	9.5395	9.5915	0.1756	0.4371	0.5301	0.1582	0.5210	0.3224	0.2090	0.1507	0.7967	0.1780	0.2988	0.4034	0.2933	0.3442
2.3557	119000	9.5434	9.5855	0.1735	0.4458	0.5441	0.1566	0.5253	0.3281	0.2098	0.1517	0.7965	0.1736	0.3016	0.4166	0.2859	0.3468
2.3755	120000	9.5444	9.5812	0.1709	0.4490	0.5432	0.1534	0.5174	0.3308	0.2043	0.1503	0.7965	0.1748	0.2895	0.4206	0.2802	0.3447
2.3953	121000	9.5562	9.5739	0.1779	0.4413	0.5380	0.1467	0.5184	0.3371	0.2057	0.1511	0.7974	0.1821	0.2815	0.4202	0.2856	0.3448
2.4151	122000	9.5334	9.5738	0.1802	0.4385	0.5357	0.1537	0.5149	0.3361	0.2151	0.1503	0.7975	0.1836	0.3001	0.4133	0.2822	0.3463
2.4349	123000	9.5202	9.5696	0.1697	0.4451	0.5411	0.1493	0.5216	0.3337	0.2116	0.1488	0.7965	0.1804	0.2903	0.4231	0.2908	0.3463
2.4547	124000	9.5296	9.5683	0.1711	0.4556	0.5306	0.1466	0.5181	0.3235	0.2141	0.1570	0.7965	0.1785	0.2984	0.4201	0.2929	0.3464
2.4745	125000	9.5399	9.5660	0.1791	0.4487	0.5275	0.1417	0.5264	0.3305	0.2209	0.1596	0.7977	0.1770	0.3013	0.4271	0.2833	0.3478
2.4943	126000	9.5583	9.5641	0.1708	0.4400	0.5341	0.1489	0.5198	0.3291	0.2107	0.1515	0.8003	0.1784	0.3049	0.4282	0.2871	0.3465
2.5141	127000	9.5252	9.5618	0.1756	0.4424	0.5408	0.1577	0.5209	0.3244	0.2130	0.1526	0.8015	0.1785	0.3094	0.4217	0.2849	0.3480
2.5339	128000	9.5122	9.5577	0.1748	0.4405	0.5383	0.1501	0.5188	0.3305	0.2102	0.1446	0.8041	0.1804	0.3074	0.4184	0.2943	0.3471
2.5537	129000	9.5237	9.5523	0.1754	0.4396	0.5369	0.1509	0.5269	0.3246	0.2117	0.1458	0.8026	0.1799	0.2997	0.4153	0.2947	0.3465
2.5735	130000	9.5257	9.5510	0.1705	0.4365	0.5369	0.1560	0.5302	0.3310	0.2087	0.1559	0.8015	0.1832	0.3070	0.4243	0.2955	0.3490
2.5933	131000	9.5407	9.5489	0.1704	0.4386	0.5350	0.1495	0.5323	0.3302	0.2123	0.1565	0.8012	0.1846	0.3027	0.4278	0.2997	0.3493
2.6131	132000	9.5339	9.5449	0.1693	0.4445	0.5416	0.1621	0.5170	0.3186	0.2105	0.1551	0.8018	0.1799	0.2952	0.4263	0.2969	0.3476
2.6329	133000	9.5095	9.5399	0.1697	0.4392	0.5416	0.1545	0.5140	0.3332	0.2090	0.1557	0.7995	0.1758	0.2920	0.4202	0.3030	0.3467
2.6527	134000	9.5319	9.5397	0.1743	0.4370	0.5427	0.1635	0.5250	0.3231	0.2076	0.1504	0.8012	0.1767	0.2909	0.4205	0.2920	0.3465
2.6725	135000	9.5018	9.5376	0.1698	0.4358	0.5316	0.1600	0.5249	0.3199	0.2058	0.1496	0.8012	0.1859	0.2939	0.4150	0.2945	0.3452
2.6923	136000	9.4906	9.5338	0.1762	0.4350	0.5308	0.1525	0.5226	0.3315	0.2108	0.1667	0.7995	0.1809	0.2830	0.4364	0.2952	0.3478
2.7121	137000	9.4951	9.5307	0.1745	0.4356	0.5385	0.1482	0.5183	0.3339	0.2103	0.1658	0.7995	0.1786	0.2899	0.4205	0.2943	0.3468
2.7319	138000	9.498	9.5292	0.1710	0.4353	0.5363	0.1504	0.5278	0.3377	0.2045	0.1586	0.7981	0.1885	0.2882	0.4145	0.2996	0.3470
2.7517	139000	9.5133	9.5262	0.1705	0.4336	0.5352	0.1514	0.5250	0.3233	0.2091	0.1604	0.8016	0.1854	0.2837	0.4188	0.2966	0.3457
2.7715	140000	9.4934	9.5222	0.1740	0.4378	0.5279	0.1539	0.5199	0.3302	0.2128	0.1554	0.7989	0.1799	0.2885	0.4224	0.3013	0.3464
2.7913	141000	9.4993	9.5188	0.1754	0.4353	0.5209	0.1504	0.5287	0.3284	0.2128	0.1503	0.7972	0.1853	0.2851	0.4239	0.2956	0.3453
2.8110	142000	9.498	9.5188	0.1763	0.4313	0.5328	0.1514	0.5203	0.3260	0.2068	0.1603	0.8016	0.1812	0.3041	0.4303	0.2892	0.3470
2.8308	143000	9.477	9.5174	0.1749	0.4281	0.5437	0.1515	0.5096	0.3183	0.2025	0.1524	0.7963	0.1897	0.2938	0.4315	0.2872	0.3446
2.8506	144000	9.483	9.5132	0.1768	0.4279	0.5361	0.1424	0.5181	0.3307	0.2046	0.1506	0.7969	0.1834	0.2965	0.4301	0.2885	0.3448
2.8704	145000	9.478	9.5092	0.1870	0.4299	0.5334	0.1450	0.5128	0.3299	0.2035	0.1488	0.7981	0.1792	0.3008	0.4289	0.2886	0.3451
2.8902	146000	9.4904	9.5053	0.1759	0.4279	0.5370	0.1438	0.5218	0.3271	0.2077	0.1537	0.7995	0.1847	0.2832	0.4269	0.2891	0.3445
2.9100	147000	9.4787	9.5035	0.1744	0.4281	0.5437	0.1597	0.5050	0.3377	0.2044	0.1499	0.8003	0.1898	0.2915	0.4273	0.2928	0.3465
2.9298	148000	9.4861	9.5041	0.1801	0.4294	0.5303	0.1586	0.5067	0.3178	0.2086	0.1492	0.8030	0.1803	0.2837	0.4160	0.2972	0.3431
2.9496	149000	9.4736	9.5001	0.1758	0.4249	0.5350	0.1515	0.5103	0.3258	0.2128	0.1463	0.7983	0.1785	0.2847	0.4281	0.2936	0.3435
2.9694	150000	9.4847	9.4980	0.1742	0.4305	0.5362	0.1524	0.5215	0.3250	0.2097	0.1485	0.8016	0.1768	0.2911	0.4228	0.2946	0.3450
2.9892	151000	9.4756	9.4948	0.1694	0.4270	0.5333	0.1575	0.5128	0.3191	0.2116	0.1445	0.8015	0.1736	0.2908	0.4215	0.2889	0.3424
3.0090	152000	9.4206	9.4949	0.1751	0.4243	0.5332	0.1432	0.5094	0.3172	0.2100	0.1442	0.7981	0.1763	0.2852	0.4310	0.2880	0.3412
3.0288	153000	9.3728	9.4973	0.1746	0.4330	0.5332	0.1447	0.5212	0.3211	0.2142	0.1493	0.7968	0.1803	0.2964	0.4287	0.2886	0.3448
3.0486	154000	9.3962	9.5003	0.1815	0.4325	0.5341	0.1456	0.5162	0.3300	0.2175	0.1431	0.7971	0.1806	0.3010	0.4328	0.2892	0.3462
3.0684	155000	9.3975	9.4988	0.1784	0.4276	0.5391	0.1478	0.5187	0.3271	0.2212	0.1457	0.7987	0.1832	0.3011	0.4305	0.2866	0.3466
3.0882	156000	9.411	9.4975	0.1728	0.4266	0.5301	0.1505	0.5208	0.3275	0.2191	0.1461	0.7994	0.1829	0.3012	0.4289	0.2916	0.3460
3.1080	157000	9.3958	9.4955	0.1796	0.4283	0.5375	0.1498	0.5186	0.3409	0.2209	0.1503	0.7985	0.1816	0.3024	0.4372	0.2875	0.3487
3.1278	158000	9.4203	9.4925	0.1699	0.4338	0.5324	0.1454	0.5078	0.3324	0.2152	0.1480	0.7990	0.1780	0.2957	0.4364	0.2849	0.3445
3.1476	159000	9.416	9.4913	0.1751	0.4325	0.5301	0.1498	0.5152	0.3270	0.2179	0.1491	0.7964	0.1782	0.3020	0.4285	0.2878	0.3454
3.1674	160000	9.4133	9.4867	0.1757	0.4320	0.5334	0.1528	0.5177	0.3264	0.2153	0.1443	0.7896	0.1784	0.2946	0.4276	0.2933	0.3447
3.1872	161000	9.4188	9.4860	0.1780	0.4300	0.5357	0.1486	0.5096	0.3295	0.2221	0.1479	0.7915	0.1780	0.2941	0.4224	0.2920	0.3446
3.2070	162000	9.4297	9.4831	0.1826	0.4291	0.5338	0.1520	0.5032	0.3359	0.2204	0.1488	0.7951	0.1759	0.2946	0.4272	0.2887	0.3452
3.2268	163000	9.4151	9.4808	0.1779	0.4341	0.5256	0.1517	0.5141	0.3407	0.2200	0.1460	0.7973	0.1854	0.2971	0.4191	0.2903	0.3461
3.2466	164000	9.4185	9.4781	0.1748	0.4358	0.5368	0.1409	0.5137	0.3376	0.2139	0.1414	0.7974	0.1759	0.3024	0.4214	0.2890	0.3447
3.2664	165000	9.4227	9.4763	0.1771	0.4319	0.5236	0.1389	0.5143	0.3389	0.2091	0.1515	0.7960	0.1800	0.2955	0.4286	0.2896	0.3442
3.2862	166000	9.4049	9.4711	0.1804	0.4312	0.5264	0.1449	0.5098	0.3393	0.2083	0.1505	0.7963	0.1811	0.2918	0.4278	0.2897	0.3444
3.3059	167000	9.4249	9.4675	0.1788	0.4297	0.5298	0.1395	0.5121	0.3463	0.2096	0.1455	0.7975	0.1810	0.3020	0.4351	0.2882	0.3458
3.3257	168000	9.4047	9.4667	0.1660	0.4296	0.5296	0.1427	0.5152	0.3488	0.2093	0.1458	0.7975	0.1830	0.3008	0.4352	0.2869	0.3454
3.3455	169000	9.4124	9.4663	0.1661	0.4260	0.5325	0.1439	0.5171	0.3550	0.2122	0.1444	0.7975	0.1833	0.2994	0.4352	0.2891	0.3463
3.3653	170000	9.416	9.4636	0.1729	0.4248	0.5424	0.1578	0.5146	0.3521	0.2078	0.1463	0.7975	0.1783	0.3047	0.4292	0.2883	0.3474
3.3851	171000	9.4139	9.4593	0.1732	0.4275	0.5390	0.1517	0.5233	0.3433	0.2079	0.1477	0.7975	0.1750	0.3052	0.4285	0.2865	0.3466
3.4049	172000	9.3927	9.4585	0.1771	0.4279	0.5339	0.1522	0.5226	0.3456	0.2095	0.1468	0.7981	0.1791	0.3029	0.4300	0.2851	0.3470
3.4247	173000	9.4008	9.4560	0.1753	0.4289	0.5344	0.1606	0.5179	0.3410	0.2068	0.1467	0.7975	0.1796	0.2984	0.4294	0.2869	0.3464
3.4445	174000	9.403	9.4545	0.1730	0.4337	0.5372	0.1535	0.5230	0.3296	0.2030	0.1470	0.8010	0.1802	0.3080	0.4243	0.2879	0.3463
3.4643	175000	9.414	9.4498	0.1678	0.4330	0.5383	0.1588	0.5134	0.3348	0.2050	0.1472	0.7984	0.1794	0.2980	0.4165	0.2876	0.3445
3.4841	176000	9.4006	9.4484	0.1726	0.4367	0.5311	0.1571	0.5167	0.3191	0.2092	0.1517	0.7975	0.1840	0.2968	0.4212	0.2904	0.3449
3.5039	177000	9.4065	9.4452	0.1722	0.4347	0.5311	0.1524	0.5210	0.3324	0.2061	0.1525	0.7964	0.1810	0.3090	0.4310	0.2895	0.3469
3.5237	178000	9.4145	9.4411	0.1763	0.4360	0.5279	0.1571	0.5112	0.3257	0.2094	0.1505	0.7969	0.1768	0.2963	0.4288	0.2883	0.3447
3.5435	179000	9.4052	9.4404	0.1757	0.4367	0.5292	0.1549	0.5200	0.3348	0.2107	0.1527	0.7961	0.1808	0.2873	0.4250	0.2871	0.3455
3.5633	180000	9.412	9.4392	0.1723	0.4337	0.5354	0.1531	0.5181	0.3348	0.2092	0.1480	0.7967	0.1786	0.2877	0.4227	0.2907	0.3447
3.5831	181000	9.4105	9.4377	0.1747	0.4308	0.5334	0.1572	0.5188	0.3348	0.2101	0.1480	0.7967	0.1753	0.2894	0.4294	0.2895	0.3452
3.6029	182000	9.3904	9.4336	0.1703	0.4358	0.5354	0.1524	0.5229	0.3283	0.2227	0.1488	0.7999	0.1768	0.2954	0.4290	0.2889	0.3467
3.6227	183000	9.3784	9.4310	0.1743	0.4311	0.5379	0.1437	0.5182	0.3264	0.2198	0.1490	0.7999	0.1758	0.3012	0.4294	0.2889	0.3458
3.6425	184000	9.3762	9.4288	0.1713	0.4345	0.5362	0.1506	0.5136	0.3186	0.2107	0.1491	0.7973	0.1751	0.3018	0.4282	0.2898	0.3444
3.6623	185000	9.3958	9.4268	0.1757	0.4290	0.5420	0.1503	0.5158	0.3175	0.2067	0.1465	0.7938	0.1772	0.3020	0.4219	0.2921	0.3439
3.6821	186000	9.4056	9.4261	0.1790	0.4308	0.5388	0.1454	0.5162	0.3200	0.2096	0.1400	0.7949	0.1699	0.2988	0.4235	0.2867	0.3426
3.7019	187000	9.3616	9.4244	0.1797	0.4279	0.5428	0.1499	0.5173	0.3252	0.2150	0.1405	0.7975	0.1758	0.2900	0.4287	0.2862	0.3443
3.7217	188000	9.3864	9.4239	0.1794	0.4288	0.5447	0.1474	0.5225	0.3273	0.2210	0.1467	0.7975	0.1710	0.2966	0.4361	0.2804	0.3461
3.7415	189000	9.3842	9.4199	0.1765	0.4295	0.5306	0.1450	0.5176	0.3190	0.2218	0.1461	0.7961	0.1753	0.2959	0.4284	0.2843	0.3436
3.7613	190000	9.3888	9.4186	0.1770	0.4281	0.5369	0.1451	0.5140	0.3171	0.2173	0.1408	0.7953	0.1774	0.2887	0.4271	0.2833	0.3422
3.7811	191000	9.3769	9.4163	0.1777	0.4291	0.5417	0.1411	0.5150	0.3176	0.2103	0.1474	0.7959	0.1813	0.3013	0.4268	0.2757	0.3431
3.8009	192000	9.3643	9.4151	0.1773	0.4275	0.5396	0.1483	0.5170	0.3236	0.2100	0.1482	0.7959	0.1796	0.2993	0.4274	0.2766	0.3439
3.8206	193000	9.376	9.4128	0.1707	0.4300	0.5431	0.1422	0.5139	0.3277	0.2144	0.1472	0.7959	0.1823	0.2945	0.4283	0.2821	0.3440
3.8404	194000	9.396	9.4102	0.1727	0.4280	0.5418	0.1486	0.5137	0.3242	0.2071	0.1470	0.7959	0.1800	0.3001	0.4280	0.2843	0.3440
3.8602	195000	9.3662	9.4087	0.1741	0.4273	0.5371	0.1451	0.5116	0.3185	0.2101	0.1455	0.7959	0.1810	0.2940	0.4278	0.2840	0.3424
3.8800	196000	9.3727	9.4067	0.1704	0.4271	0.5393	0.1411	0.5099	0.3165	0.2047	0.1508	0.7967	0.1848	0.2946	0.4281	0.2838	0.3421
3.8998	197000	9.3805	9.4048	0.1716	0.4254	0.5416	0.1477	0.5192	0.3154	0.2098	0.1468	0.7953	0.1827	0.2920	0.4280	0.2874	0.3433
3.9196	198000	9.3799	9.4033	0.1687	0.4278	0.5393	0.1472	0.5146	0.3219	0.2083	0.1479	0.7961	0.1838	0.2918	0.4275	0.2860	0.3432
3.9394	199000	9.3702	9.3999	0.1681	0.4306	0.5401	0.1476	0.5098	0.3233	0.2112	0.1470	0.7975	0.1816	0.2926	0.4278	0.2814	0.3430
3.9592	200000	9.3646	9.3988	0.1701	0.4321	0.5401	0.1484	0.5107	0.3227	0.2135	0.1465	0.7980	0.1815	0.2930	0.4335	0.2858	0.3443
3.9790	201000	9.3559	9.3963	0.1696	0.4319	0.5418	0.1475	0.5135	0.3218	0.2117	0.1484	0.7975	0.1821	0.2856	0.4270	0.2853	0.3434
3.9988	202000	9.3566	9.3950	0.1743	0.4284	0.5432	0.1398	0.5092	0.3236	0.2113	0.1481	0.7980	0.1822	0.2784	0.4330	0.2827	0.3425
4.0186	203000	9.2801	9.3988	0.1709	0.4305	0.5418	0.1357	0.5223	0.3149	0.2129	0.1513	0.7975	0.1804	0.2873	0.4349	0.2820	0.3433
4.0384	204000	9.3024	9.3985	0.1745	0.4305	0.5418	0.1451	0.5189	0.3159	0.2081	0.1501	0.7975	0.1795	0.2869	0.4284	0.2828	0.3431
4.0582	205000	9.2953	9.3992	0.1743	0.4278	0.5418	0.1327	0.5162	0.3145	0.2110	0.1498	0.7975	0.1843	0.2818	0.4289	0.2825	0.3418
4.0780	206000	9.2922	9.4003	0.1731	0.4283	0.5416	0.1391	0.5180	0.3166	0.2110	0.1498	0.7972	0.1801	0.2796	0.4289	0.2830	0.3420
4.0978	207000	9.2851	9.3996	0.1740	0.4294	0.5416	0.1410	0.5147	0.3155	0.2134	0.1560	0.7975	0.1822	0.2880	0.4303	0.2820	0.3435
4.1176	208000	9.2913	9.3978	0.1740	0.4325	0.5416	0.1350	0.5131	0.3156	0.2129	0.1554	0.7975	0.1800	0.2876	0.4303	0.2856	0.3432
4.1374	209000	9.298	9.3966	0.1732	0.4274	0.5430	0.1387	0.5219	0.3139	0.2145	0.1507	0.7975	0.1779	0.2870	0.4275	0.2852	0.3430
4.1572	210000	9.2952	9.3943	0.1761	0.4262	0.5430	0.1433	0.5226	0.3231	0.2128	0.1561	0.7980	0.1806	0.2871	0.4282	0.2865	0.3449
4.1770	211000	9.3193	9.3924	0.1741	0.4269	0.5430	0.1331	0.5218	0.3256	0.2140	0.1503	0.7980	0.1786	0.2869	0.4284	0.2843	0.3435
4.1968	212000	9.297	9.3912	0.1744	0.4278	0.5428	0.1427	0.5217	0.3267	0.2138	0.1488	0.7980	0.1794	0.2806	0.4278	0.2831	0.3437
4.2166	213000	9.2984	9.3891	0.1797	0.4297	0.5430	0.1428	0.5236	0.3251	0.2128	0.1495	0.7980	0.1762	0.2791	0.4272	0.2859	0.3440
4.2364	214000	9.306	9.3881	0.1818	0.4275	0.5436	0.1457	0.5215	0.3244	0.2120	0.1498	0.7980	0.1812	0.2801	0.4278	0.2835	0.3444
4.2562	215000	9.3029	9.3861	0.1807	0.4290	0.5436	0.1413	0.5206	0.3244	0.2166	0.1481	0.7980	0.1829	0.2860	0.4275	0.2847	0.3449
4.2760	216000	9.2965	9.3848	0.1769	0.4280	0.5430	0.1471	0.5209	0.3251	0.2128	0.1555	0.7975	0.1794	0.2739	0.4270	0.2827	0.3438
4.2958	217000	9.3171	9.3828	0.1796	0.4285	0.5430	0.1438	0.5209	0.3231	0.2133	0.1490	0.7975	0.1819	0.2858	0.4270	0.2793	0.3440
4.3155	218000	9.3181	9.3824	0.1794	0.4262	0.5430	0.1496	0.5241	0.3243	0.2147	0.1481	0.7975	0.1794	0.2812	0.4275	0.2818	0.3444
4.3353	219000	9.2952	9.3794	0.1766	0.4265	0.5432	0.1412	0.5223	0.3243	0.2098	0.1475	0.7975	0.1777	0.2851	0.4328	0.2784	0.3433
4.3551	220000	9.32	9.3776	0.1739	0.4261	0.5432	0.1362	0.5258	0.3257	0.2106	0.1470	0.7980	0.1782	0.2815	0.4268	0.2787	0.3424
4.3749	221000	9.2999	9.3758	0.1767	0.4297	0.5432	0.1395	0.5175	0.3252	0.2126	0.1489	0.7980	0.1778	0.2865	0.4210	0.2801	0.3428
4.3947	222000	9.2954	9.3750	0.1783	0.4261	0.5432	0.1397	0.5220	0.3244	0.2116	0.1496	0.7980	0.1797	0.2929	0.4268	0.2786	0.3439
4.4145	223000	9.2944	9.3726	0.1795	0.4275	0.5432	0.1395	0.5172	0.3236	0.2130	0.1488	0.7971	0.1785	0.2921	0.4273	0.2796	0.3436
4.4343	224000	9.2851	9.3714	0.1794	0.4251	0.5432	0.1395	0.5172	0.3227	0.2136	0.1488	0.7975	0.1780	0.2921	0.4268	0.2788	0.3433
4.4541	225000	9.2856	9.3694	0.1761	0.4257	0.5432	0.1408	0.5218	0.3227	0.2116	0.1486	0.7971	0.1800	0.2935	0.4270	0.2794	0.3437
4.4739	226000	9.2967	9.3676	0.1792	0.4256	0.5418	0.1372	0.5200	0.3230	0.2100	0.1492	0.7967	0.1774	0.2939	0.4270	0.2803	0.3432
4.4937	227000	9.3019	9.3670	0.1798	0.4253	0.5430	0.1397	0.5200	0.3147	0.2063	0.1481	0.7967	0.1779	0.2946	0.4210	0.2792	0.3420
4.5135	228000	9.2938	9.3655	0.1795	0.4258	0.5423	0.1397	0.5192	0.3139	0.2094	0.1487	0.7967	0.1775	0.2943	0.4210	0.2780	0.3420
4.5333	229000	9.306	9.3643	0.1772	0.4251	0.5432	0.1393	0.5235	0.3148	0.2079	0.1487	0.7998	0.1798	0.2917	0.4216	0.2768	0.3423
4.5531	230000	9.3057	9.3631	0.1726	0.4250	0.5423	0.1393	0.5241	0.3148	0.2080	0.1483	0.7967	0.1795	0.2923	0.4216	0.2771	0.3417
4.5729	231000	9.3069	9.3615	0.1757	0.4240	0.5421	0.1500	0.5226	0.3171	0.2093	0.1481	0.7980	0.1783	0.2920	0.4216	0.2784	0.3429
4.5927	232000	9.3003	9.3604	0.1752	0.4255	0.5421	0.1498	0.5226	0.3185	0.2096	0.1478	0.7980	0.1801	0.2920	0.4216	0.2783	0.3432
4.6125	233000	9.3042	9.3594	0.1748	0.4243	0.5407	0.1453	0.5263	0.3185	0.2098	0.1472	0.7972	0.1796	0.2918	0.4216	0.2797	0.3428
4.6323	234000	9.3079	9.3573	0.1749	0.4256	0.5407	0.1428	0.5242	0.3185	0.2096	0.1536	0.7975	0.1793	0.2920	0.4273	0.2815	0.3437
4.6521	235000	9.284	9.3566	0.1729	0.4256	0.5407	0.1455	0.5253	0.3190	0.2079	0.1487	0.7975	0.1801	0.2936	0.4273	0.2812	0.3435
4.6719	236000	9.2916	9.3550	0.1755	0.4270	0.5416	0.1447	0.5216	0.3190	0.2081	0.1487	0.7975	0.1797	0.2869	0.4273	0.2823	0.3431
4.6917	237000	9.2871	9.3537	0.1733	0.4263	0.5421	0.1447	0.5246	0.3190	0.2097	0.1492	0.7980	0.1779	0.2917	0.4273	0.2786	0.3433
4.7115	238000	9.3105	9.3519	0.1729	0.4248	0.5430	0.1372	0.5194	0.3176	0.2096	0.1492	0.7980	0.1803	0.2917	0.4273	0.2799	0.3424
4.7313	239000	9.2935	9.3506	0.1731	0.4241	0.5421	0.1447	0.5194	0.3176	0.2078	0.1483	0.7975	0.1780	0.2903	0.4273	0.2797	0.3423
4.7511	240000	9.283	9.3497	0.1730	0.4257	0.5421	0.1388	0.5149	0.3176	0.2079	0.1486	0.7975	0.1779	0.2906	0.4273	0.2809	0.3417
4.7709	241000	9.2994	9.3486	0.1733	0.4257	0.5421	0.1388	0.5194	0.3176	0.2093	0.1486	0.7959	0.1798	0.2903	0.4216	0.2785	0.3416
4.7907	242000	9.2784	9.3475	0.1734	0.4245	0.5421	0.1433	0.5149	0.3176	0.2078	0.1486	0.7966	0.1780	0.2899	0.4200	0.2797	0.3413
4.8105	243000	9.2968	9.3466	0.1751	0.4245	0.5421	0.1388	0.5149	0.3176	0.2083	0.1486	0.7980	0.1779	0.2906	0.4273	0.2768	0.3416
4.8302	244000	9.2829	9.3455	0.1751	0.4245	0.5421	0.1446	0.5149	0.3176	0.2096	0.1486	0.7959	0.1778	0.2899	0.4273	0.2782	0.3420
4.8500	245000	9.2787	9.3449	0.1739	0.4245	0.5421	0.1446	0.5149	0.3176	0.2085	0.1486	0.7961	0.1779	0.2899	0.4273	0.2794	0.3420
4.8698	246000	9.2856	9.3439	0.1735	0.4247	0.5421	0.1491	0.5149	0.3176	0.2081	0.1483	0.7961	0.1779	0.2899	0.4216	0.2806	0.3419
4.8896	247000	9.2754	9.3433	0.1735	0.4247	0.5421	0.1490	0.5149	0.3176	0.2083	0.1483	0.7966	0.1779	0.2897	0.4216	0.2810	0.3419
4.9094	248000	9.2706	9.3427	0.1735	0.4247	0.5421	0.1491	0.5140	0.3176	0.2066	0.1487	0.7959	0.1774	0.2899	0.4216	0.2825	0.3418
4.9292	249000	9.3004	9.3422	0.1735	0.4247	0.5416	0.1491	0.5140	0.3176	0.2066	0.1487	0.7975	0.1774	0.2899	0.4216	0.2811	0.3418
4.9490	250000	9.2861	9.3417	0.1735	0.4247	0.5416	0.1491	0.5140	0.3176	0.2066	0.1487	0.7961	0.1774	0.2899	0.4216	0.2811	0.3417
4.9688	251000	9.2583	9.3412	0.1735	0.4247	0.5416	0.1491	0.5140	0.3176	0.2066	0.1487	0.7966	0.1755	0.2899	0.4216	0.2813	0.3416
4.9886	252000	9.2786	9.3411	0.1735	0.4247	0.5416	0.1491	0.5140	0.3176	0.2066	0.1483	0.7966	0.1755	0.2899	0.4216	0.2813	0.3416

Framework Versions

• Python: 3.11.11
• Sentence Transformers: 3.3.1
• Transformers: 4.48.0
• PyTorch: 2.5.1+cu124
• Accelerate: 1.2.1
• Datasets: 3.2.0
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}