Devy1/MiniLM-cosqa-32

SentenceTransformer based on sentence-transformers/all-MiniLM-L6-v2

This is a sentence-transformers model finetuned from sentence-transformers/all-MiniLM-L6-v2. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sentence-transformers/all-MiniLM-L6-v2
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 384 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False, 'architecture': 'BertModel'})
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("Devy1/MiniLM-cosqa-32")
# Run inference
sentences = [
    'bottom 5 rows in python',
    'def table_top_abs(self):\n        """Returns the absolute position of table top"""\n        table_height = np.array([0, 0, self.table_full_size[2]])\n        return string_to_array(self.floor.get("pos")) + table_height',
    'def refresh(self, document):\n\t\t""" Load a new copy of a document from the database.  does not\n\t\t\treplace the old one """\n\t\ttry:\n\t\t\told_cache_size = self.cache_size\n\t\t\tself.cache_size = 0\n\t\t\tobj = self.query(type(document)).filter_by(mongo_id=document.mongo_id).one()\n\t\tfinally:\n\t\t\tself.cache_size = old_cache_size\n\t\tself.cache_write(obj)\n\t\treturn obj',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[ 1.0000,  0.4728, -0.0350],
#         [ 0.4728,  1.0000, -0.0494],
#         [-0.0350, -0.0494,  1.0000]])

Training Details

Training Dataset

Unnamed Dataset

• Size: 9,020 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 6 tokens mean: 9.67 tokens max: 21 tokens	min: 40 tokens mean: 86.17 tokens max: 256 tokens

• Samples:

  anchor	positive
  1d array in char datatype in python	def _convert_to_array(array_like, dtype): """ Convert Matrix attributes which are array-like or buffer to array. """ if isinstance(array_like, bytes): return np.frombuffer(array_like, dtype=dtype) return np.asarray(array_like, dtype=dtype)
  python condition non none	def _not(condition=None, **kwargs): """ Return the opposite of input condition. :param condition: condition to process. :result: not condition. :rtype: bool """ result = True if condition is not None: result = not run(condition, **kwargs) return result
  accessing a column from a matrix in python	def get_column(self, X, column): """Return a column of the given matrix. Args: X: numpy.ndarray or pandas.DataFrame. column: int or str. Returns: np.ndarray: Selected column. """ if isinstance(X, pd.DataFrame): return X[column].values return X[:, column]

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 32
• fp16: True

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Click to expand

Epoch	Step	Training Loss
0.0035	1	0.5705
0.0071	2	0.1217
0.0106	3	0.1985
0.0142	4	0.2742
0.0177	5	0.0782
0.0213	6	0.1748
0.0248	7	0.1914
0.0284	8	0.0911
0.0319	9	0.0368
0.0355	10	0.219
0.0390	11	0.1571
0.0426	12	0.081
0.0461	13	0.1152
0.0496	14	0.0556
0.0532	15	0.1375
0.0567	16	0.1844
0.0603	17	0.3164
0.0638	18	0.2312
0.0674	19	0.1767
0.0709	20	0.0975
0.0745	21	0.2848
0.0780	22	0.0972
0.0816	23	0.3153
0.0851	24	0.1087
0.0887	25	0.1673
0.0922	26	0.2074
0.0957	27	0.2197
0.0993	28	0.2571
0.1028	29	0.1873
0.1064	30	0.0657
0.1099	31	0.0675
0.1135	32	0.0749
0.1170	33	0.0948
0.1206	34	0.0849
0.1241	35	0.0882
0.1277	36	0.0436
0.1312	37	0.1173
0.1348	38	0.1512
0.1383	39	0.1062
0.1418	40	0.0384
0.1454	41	0.148
0.1489	42	0.0432
0.1525	43	0.1027
0.1560	44	0.4193
0.1596	45	0.1003
0.1631	46	0.113
0.1667	47	0.0846
0.1702	48	0.0899
0.1738	49	0.0952
0.1773	50	0.0553
0.1809	51	0.11
0.1844	52	0.1955
0.1879	53	0.1103
0.1915	54	0.0738
0.1950	55	0.1217
0.1986	56	0.274
0.2021	57	0.1471
0.2057	58	0.0727
0.2092	59	0.0438
0.2128	60	0.1521
0.2163	61	0.1359
0.2199	62	0.1217
0.2234	63	0.2226
0.2270	64	0.2676
0.2305	65	0.1649
0.2340	66	0.1675
0.2376	67	0.1278
0.2411	68	0.1627
0.2447	69	0.108
0.2482	70	0.1327
0.2518	71	0.1762
0.2553	72	0.41
0.2589	73	0.1551
0.2624	74	0.1893
0.2660	75	0.0847
0.2695	76	0.0949
0.2730	77	0.2214
0.2766	78	0.0439
0.2801	79	0.1355
0.2837	80	0.1951
0.2872	81	0.068
0.2908	82	0.1032
0.2943	83	0.1131
0.2979	84	0.2245
0.3014	85	0.2323
0.3050	86	0.1512
0.3085	87	0.1686
0.3121	88	0.0797
0.3156	89	0.2182
0.3191	90	0.2181
0.3227	91	0.0944
0.3262	92	0.083
0.3298	93	0.1554
0.3333	94	0.0999
0.3369	95	0.1948
0.3404	96	0.1446
0.3440	97	0.2856
0.3475	98	0.0786
0.3511	99	0.1112
0.3546	100	0.0571
0.3582	101	0.2553
0.3617	102	0.0546
0.3652	103	0.1948
0.3688	104	0.0945
0.3723	105	0.0973
0.3759	106	0.0478
0.3794	107	0.3652
0.3830	108	0.2676
0.3865	109	0.1216
0.3901	110	0.0701
0.3936	111	0.0918
0.3972	112	0.1813
0.4007	113	0.1243
0.4043	114	0.2819
0.4078	115	0.0103
0.4113	116	0.2099
0.4149	117	0.0879
0.4184	118	0.1614
0.4220	119	0.0869
0.4255	120	0.0942
0.4291	121	0.0592
0.4326	122	0.1387
0.4362	123	0.0805
0.4397	124	0.1844
0.4433	125	0.0292
0.4468	126	0.3999
0.4504	127	0.1031
0.4539	128	0.3445
0.4574	129	0.2309
0.4610	130	0.1887
0.4645	131	0.2472
0.4681	132	0.1128
0.4716	133	0.1276
0.4752	134	0.1141
0.4787	135	0.1117
0.4823	136	0.1593
0.4858	137	0.0363
0.4894	138	0.1564
0.4929	139	0.21
0.4965	140	0.2024
0.5	141	0.1785
0.5035	142	0.1456
0.5071	143	0.0986
0.5106	144	0.1947
0.5142	145	0.1733
0.5177	146	0.1656
0.5213	147	0.0951
0.5248	148	0.1216
0.5284	149	0.0875
0.5319	150	0.1284
0.5355	151	0.1066
0.5390	152	0.0692
0.5426	153	0.2287
0.5461	154	0.233
0.5496	155	0.1066
0.5532	156	0.0862
0.5567	157	0.0877
0.5603	158	0.3095
0.5638	159	0.1237
0.5674	160	0.0682
0.5709	161	0.0741
0.5745	162	0.2003
0.5780	163	0.1392
0.5816	164	0.0493
0.5851	165	0.3129
0.5887	166	0.1186
0.5922	167	0.0369
0.5957	168	0.1224
0.5993	169	0.2212
0.6028	170	0.0809
0.6064	171	0.116
0.6099	172	0.2251
0.6135	173	0.0195
0.6170	174	0.0476
0.6206	175	0.0818
0.6241	176	0.0313
0.6277	177	0.188
0.6312	178	0.2736
0.6348	179	0.1444
0.6383	180	0.0924
0.6418	181	0.0895
0.6454	182	0.2116
0.6489	183	0.3288
0.6525	184	0.1659
0.6560	185	0.1367
0.6596	186	0.1834
0.6631	187	0.0822
0.6667	188	0.1384
0.6702	189	0.1602
0.6738	190	0.1325
0.6773	191	0.1033
0.6809	192	0.1102
0.6844	193	0.0786
0.6879	194	0.1158
0.6915	195	0.0639
0.6950	196	0.18
0.6986	197	0.0512
0.7021	198	0.1271
0.7057	199	0.0839
0.7092	200	0.0838
0.7128	201	0.0691
0.7163	202	0.1457
0.7199	203	0.1363
0.7234	204	0.1059
0.7270	205	0.1051
0.7305	206	0.0541
0.7340	207	0.1409
0.7376	208	0.0911
0.7411	209	0.2823
0.7447	210	0.156
0.7482	211	0.394
0.7518	212	0.1946
0.7553	213	0.0282
0.7589	214	0.1497
0.7624	215	0.1643
0.7660	216	0.0236
0.7695	217	0.0654
0.7730	218	0.0537
0.7766	219	0.1068
0.7801	220	0.051
0.7837	221	0.072
0.7872	222	0.0413
0.7908	223	0.0918
0.7943	224	0.1308
0.7979	225	0.0694
0.8014	226	0.0852
0.8050	227	0.0321
0.8085	228	0.1497
0.8121	229	0.0959
0.8156	230	0.226
0.8191	231	0.1129
0.8227	232	0.0831
0.8262	233	0.2181
0.8298	234	0.1054
0.8333	235	0.1812
0.8369	236	0.0455
0.8404	237	0.1413
0.8440	238	0.0801
0.8475	239	0.0301
0.8511	240	0.0846
0.8546	241	0.1862
0.8582	242	0.1015
0.8617	243	0.0459
0.8652	244	0.0774
0.8688	245	0.1444
0.8723	246	0.2849
0.8759	247	0.3935
0.8794	248	0.2126
0.8830	249	0.0845
0.8865	250	0.1429
0.8901	251	0.0107
0.8936	252	0.0599
0.8972	253	0.1192
0.9007	254	0.1369
0.9043	255	0.1246
0.9078	256	0.0163
0.9113	257	0.1844
0.9149	258	0.1017
0.9184	259	0.0415
0.9220	260	0.1658
0.9255	261	0.0755
0.9291	262	0.086
0.9326	263	0.081
0.9362	264	0.2776
0.9397	265	0.1284
0.9433	266	0.1591
0.9468	267	0.1397
0.9504	268	0.0334
0.9539	269	0.0449
0.9574	270	0.1382
0.9610	271	0.1736
0.9645	272	0.236
0.9681	273	0.225
0.9716	274	0.2444
0.9752	275	0.0497
0.9787	276	0.1212
0.9823	277	0.1405
0.9858	278	0.1116
0.9894	279	0.0369
0.9929	280	0.0321
0.9965	281	0.1481
1.0	282	0.1046
1.0035	283	0.0673
1.0071	284	0.078
1.0106	285	0.0723
1.0142	286	0.1328
1.0177	287	0.1399
1.0213	288	0.186
1.0248	289	0.0747
1.0284	290	0.0291
1.0319	291	0.0427
1.0355	292	0.0288
1.0390	293	0.1552
1.0426	294	0.0123
1.0461	295	0.0617
1.0496	296	0.0646
1.0532	297	0.2001
1.0567	298	0.068
1.0603	299	0.0108
1.0638	300	0.0776
1.0674	301	0.1037
1.0709	302	0.0087
1.0745	303	0.1564
1.0780	304	0.0665
1.0816	305	0.0246
1.0851	306	0.061
1.0887	307	0.038
1.0922	308	0.1016
1.0957	309	0.0434
1.0993	310	0.1178
1.1028	311	0.1235
1.1064	312	0.0164
1.1099	313	0.0838
1.1135	314	0.0516
1.1170	315	0.1195
1.1206	316	0.1026
1.1241	317	0.0387
1.1277	318	0.1057
1.1312	319	0.0332
1.1348	320	0.033
1.1383	321	0.0648
1.1418	322	0.0067
1.1454	323	0.0402
1.1489	324	0.1376
1.1525	325	0.0852
1.1560	326	0.0245
1.1596	327	0.087
1.1631	328	0.0403
1.1667	329	0.0998
1.1702	330	0.0634
1.1738	331	0.0218
1.1773	332	0.1244
1.1809	333	0.1178
1.1844	334	0.1135
1.1879	335	0.0721
1.1915	336	0.0427
1.1950	337	0.0314
1.1986	338	0.0577
1.2021	339	0.0337
1.2057	340	0.0312
1.2092	341	0.0336
1.2128	342	0.0289
1.2163	343	0.0946
1.2199	344	0.2581
1.2234	345	0.1359
1.2270	346	0.0223
1.2305	347	0.055
1.2340	348	0.0591
1.2376	349	0.0286
1.2411	350	0.0128
1.2447	351	0.0676
1.2482	352	0.0744
1.2518	353	0.0208
1.2553	354	0.0877
1.2589	355	0.0759
1.2624	356	0.052
1.2660	357	0.2666
1.2695	358	0.0455
1.2730	359	0.0893
1.2766	360	0.1706
1.2801	361	0.059
1.2837	362	0.049
1.2872	363	0.1249
1.2908	364	0.0229
1.2943	365	0.1088
1.2979	366	0.198
1.3014	367	0.2119
1.3050	368	0.0397
1.3085	369	0.1772
1.3121	370	0.1251
1.3156	371	0.0286
1.3191	372	0.0273
1.3227	373	0.1161
1.3262	374	0.1128
1.3298	375	0.1323
1.3333	376	0.0245
1.3369	377	0.0342
1.3404	378	0.1177
1.3440	379	0.0584
1.3475	380	0.0164
1.3511	381	0.1174
1.3546	382	0.043
1.3582	383	0.0706
1.3617	384	0.0862
1.3652	385	0.1093
1.3688	386	0.0849
1.3723	387	0.0252
1.3759	388	0.0517
1.3794	389	0.0634
1.3830	390	0.0526
1.3865	391	0.1388
1.3901	392	0.0747
1.3936	393	0.0362
1.3972	394	0.1148
1.4007	395	0.0208
1.4043	396	0.1426
1.4078	397	0.1611
1.4113	398	0.0302
1.4149	399	0.0446
1.4184	400	0.0182
1.4220	401	0.089
1.4255	402	0.1423
1.4291	403	0.1599
1.4326	404	0.0438
1.4362	405	0.0103
1.4397	406	0.083
1.4433	407	0.0914
1.4468	408	0.0436
1.4504	409	0.124
1.4539	410	0.0896
1.4574	411	0.256
1.4610	412	0.0061
1.4645	413	0.0529
1.4681	414	0.0851
1.4716	415	0.08
1.4752	416	0.0115
1.4787	417	0.0784
1.4823	418	0.0321
1.4858	419	0.0976
1.4894	420	0.0725
1.4929	421	0.0834
1.4965	422	0.122
1.5	423	0.1294
1.5035	424	0.2754
1.5071	425	0.0884
1.5106	426	0.076
1.5142	427	0.0799
1.5177	428	0.0439
1.5213	429	0.0943
1.5248	430	0.077
1.5284	431	0.0696
1.5319	432	0.0251
1.5355	433	0.1715
1.5390	434	0.0913
1.5426	435	0.0251
1.5461	436	0.0642
1.5496	437	0.0375
1.5532	438	0.0381
1.5567	439	0.0628
1.5603	440	0.095
1.5638	441	0.0441
1.5674	442	0.0496
1.5709	443	0.0531
1.5745	444	0.0304
1.5780	445	0.2032
1.5816	446	0.109
1.5851	447	0.1481
1.5887	448	0.0706
1.5922	449	0.0346
1.5957	450	0.0364
1.5993	451	0.0513
1.6028	452	0.3153
1.6064	453	0.1135
1.6099	454	0.1034
1.6135	455	0.0566
1.6170	456	0.0707
1.6206	457	0.1564
1.6241	458	0.1602
1.6277	459	0.0149
1.6312	460	0.1243
1.6348	461	0.0579
1.6383	462	0.1693
1.6418	463	0.0911
1.6454	464	0.0278
1.6489	465	0.0315
1.6525	466	0.0176
1.6560	467	0.1197
1.6596	468	0.0162
1.6631	469	0.0492
1.6667	470	0.0495
1.6702	471	0.0318
1.6738	472	0.0703
1.6773	473	0.0175
1.6809	474	0.1457
1.6844	475	0.026
1.6879	476	0.067
1.6915	477	0.0657
1.6950	478	0.1421
1.6986	479	0.0341
1.7021	480	0.022
1.7057	481	0.0641
1.7092	482	0.1315
1.7128	483	0.0328
1.7163	484	0.0489
1.7199	485	0.0199
1.7234	486	0.0475
1.7270	487	0.0662
1.7305	488	0.0133
1.7340	489	0.0081
1.7376	490	0.0356
1.7411	491	0.092
1.7447	492	0.0653
1.7482	493	0.0457
1.7518	494	0.0949
1.7553	495	0.0108
1.7589	496	0.0287
1.7624	497	0.1043
1.7660	498	0.0166
1.7695	499	0.0068
1.7730	500	0.1521
1.7766	501	0.0356
1.7801	502	0.0083
1.7837	503	0.1221
1.7872	504	0.046
1.7908	505	0.0339
1.7943	506	0.021
1.7979	507	0.1706
1.8014	508	0.0176
1.8050	509	0.0275
1.8085	510	0.0521
1.8121	511	0.1083
1.8156	512	0.098
1.8191	513	0.0746
1.8227	514	0.0944
1.8262	515	0.075
1.8298	516	0.0997
1.8333	517	0.0416
1.8369	518	0.154
1.8404	519	0.1534
1.8440	520	0.0387
1.8475	521	0.0957
1.8511	522	0.0136
1.8546	523	0.0426
1.8582	524	0.1499
1.8617	525	0.0111
1.8652	526	0.122
1.8688	527	0.2204
1.8723	528	0.1677
1.8759	529	0.0298
1.8794	530	0.0873
1.8830	531	0.0747
1.8865	532	0.0849
1.8901	533	0.0525
1.8936	534	0.0233
1.8972	535	0.0805
1.9007	536	0.0236
1.9043	537	0.142
1.9078	538	0.0585
1.9113	539	0.0271
1.9149	540	0.1606
1.9184	541	0.2148
1.9220	542	0.0568
1.9255	543	0.0248
1.9291	544	0.0878
1.9326	545	0.0044
1.9362	546	0.0354
1.9397	547	0.0638
1.9433	548	0.1875
1.9468	549	0.031
1.9504	550	0.0547
1.9539	551	0.1292
1.9574	552	0.23
1.9610	553	0.0913
1.9645	554	0.0561
1.9681	555	0.0189
1.9716	556	0.0177
1.9752	557	0.0195
1.9787	558	0.1032
1.9823	559	0.1502
1.9858	560	0.0457
1.9894	561	0.0577
1.9929	562	0.1172
1.9965	563	0.0504
2.0	564	0.0374
2.0035	565	0.1079
2.0071	566	0.0609
2.0106	567	0.0366
2.0142	568	0.0674
2.0177	569	0.1084
2.0213	570	0.066
2.0248	571	0.0102
2.0284	572	0.0876
2.0319	573	0.0407
2.0355	574	0.0581
2.0390	575	0.1215
2.0426	576	0.0068
2.0461	577	0.1015
2.0496	578	0.0047
2.0532	579	0.0925
2.0567	580	0.0836
2.0603	581	0.021
2.0638	582	0.0209
2.0674	583	0.0702
2.0709	584	0.0117
2.0745	585	0.0517
2.0780	586	0.061
2.0816	587	0.0207
2.0851	588	0.034
2.0887	589	0.1045
2.0922	590	0.03
2.0957	591	0.0081
2.0993	592	0.0234
2.1028	593	0.073
2.1064	594	0.0074
2.1099	595	0.0655
2.1135	596	0.079
2.1170	597	0.0358
2.1206	598	0.1006
2.1241	599	0.0624
2.1277	600	0.0479
2.1312	601	0.0105
2.1348	602	0.0448
2.1383	603	0.0305
2.1418	604	0.0432
2.1454	605	0.0771
2.1489	606	0.0545
2.1525	607	0.0299
2.1560	608	0.0712
2.1596	609	0.1006
2.1631	610	0.0117
2.1667	611	0.0462
2.1702	612	0.0576
2.1738	613	0.0696
2.1773	614	0.0685
2.1809	615	0.0596
2.1844	616	0.0127
2.1879	617	0.0089
2.1915	618	0.0135
2.1950	619	0.2405
2.1986	620	0.0212
2.2021	621	0.0637
2.2057	622	0.1356
2.2092	623	0.0943
2.2128	624	0.0147
2.2163	625	0.0038
2.2199	626	0.0624
2.2234	627	0.016
2.2270	628	0.032
2.2305	629	0.0154
2.2340	630	0.0724
2.2376	631	0.008
2.2411	632	0.0877
2.2447	633	0.0228
2.2482	634	0.1929
2.2518	635	0.026
2.2553	636	0.0117
2.2589	637	0.0325
2.2624	638	0.0127
2.2660	639	0.0054
2.2695	640	0.0909
2.2730	641	0.0326
2.2766	642	0.0291
2.2801	643	0.0499
2.2837	644	0.0394
2.2872	645	0.0422
2.2908	646	0.0156
2.2943	647	0.0626
2.2979	648	0.0143
2.3014	649	0.0707
2.3050	650	0.0474
2.3085	651	0.0387
2.3121	652	0.104
2.3156	653	0.0981
2.3191	654	0.0284
2.3227	655	0.0123
2.3262	656	0.1346
2.3298	657	0.0157
2.3333	658	0.1276
2.3369	659	0.0634
2.3404	660	0.0327
2.3440	661	0.0633
2.3475	662	0.0618
2.3511	663	0.0171
2.3546	664	0.141
2.3582	665	0.0626
2.3617	666	0.0149
2.3652	667	0.0455
2.3688	668	0.0507
2.3723	669	0.0492
2.3759	670	0.1528
2.3794	671	0.0484
2.3830	672	0.0826
2.3865	673	0.044
2.3901	674	0.2045
2.3936	675	0.0083
2.3972	676	0.0109
2.4007	677	0.0262
2.4043	678	0.0965
2.4078	679	0.1926
2.4113	680	0.0494
2.4149	681	0.1212
2.4184	682	0.0467
2.4220	683	0.0093
2.4255	684	0.0662
2.4291	685	0.0487
2.4326	686	0.1391
2.4362	687	0.1416
2.4397	688	0.1691
2.4433	689	0.0936
2.4468	690	0.1812
2.4504	691	0.0327
2.4539	692	0.1146
2.4574	693	0.0711
2.4610	694	0.0947
2.4645	695	0.0525
2.4681	696	0.0223
2.4716	697	0.0266
2.4752	698	0.206
2.4787	699	0.0669
2.4823	700	0.0421
2.4858	701	0.0198
2.4894	702	0.0255
2.4929	703	0.008
2.4965	704	0.0183
2.5	705	0.0498
2.5035	706	0.0839
2.5071	707	0.0219
2.5106	708	0.0977
2.5142	709	0.0206
2.5177	710	0.0051
2.5213	711	0.0199
2.5248	712	0.0366
2.5284	713	0.01
2.5319	714	0.1622
2.5355	715	0.0452
2.5390	716	0.0681
2.5426	717	0.0103
2.5461	718	0.0059
2.5496	719	0.0493
2.5532	720	0.016
2.5567	721	0.134
2.5603	722	0.0119
2.5638	723	0.1173
2.5674	724	0.2206
2.5709	725	0.0368
2.5745	726	0.0176
2.5780	727	0.0599
2.5816	728	0.123
2.5851	729	0.0764
2.5887	730	0.0695
2.5922	731	0.0405
2.5957	732	0.012
2.5993	733	0.0469
2.6028	734	0.0142
2.6064	735	0.1236
2.6099	736	0.0194
2.6135	737	0.115
2.6170	738	0.105
2.6206	739	0.0937
2.6241	740	0.1916
2.6277	741	0.0903
2.6312	742	0.1579
2.6348	743	0.0902
2.6383	744	0.0304
2.6418	745	0.0881
2.6454	746	0.0646
2.6489	747	0.0941
2.6525	748	0.0204
2.6560	749	0.1679
2.6596	750	0.028
2.6631	751	0.0205
2.6667	752	0.0307
2.6702	753	0.0365
2.6738	754	0.0141
2.6773	755	0.0212
2.6809	756	0.0447
2.6844	757	0.1072
2.6879	758	0.0332
2.6915	759	0.0513
2.6950	760	0.062
2.6986	761	0.0941
2.7021	762	0.0201
2.7057	763	0.2132
2.7092	764	0.0323
2.7128	765	0.0654
2.7163	766	0.059
2.7199	767	0.1027
2.7234	768	0.0091
2.7270	769	0.0585
2.7305	770	0.0102
2.7340	771	0.0265
2.7376	772	0.0403
2.7411	773	0.0913
2.7447	774	0.0212
2.7482	775	0.0423
2.7518	776	0.083
2.7553	777	0.0073
2.7589	778	0.0815
2.7624	779	0.0786
2.7660	780	0.1079
2.7695	781	0.0477
2.7730	782	0.116
2.7766	783	0.0523
2.7801	784	0.049
2.7837	785	0.0153
2.7872	786	0.0173
2.7908	787	0.0656
2.7943	788	0.0094
2.7979	789	0.0757
2.8014	790	0.0924
2.8050	791	0.0717
2.8085	792	0.011
2.8121	793	0.0312
2.8156	794	0.0188
2.8191	795	0.0244
2.8227	796	0.0138
2.8262	797	0.0956
2.8298	798	0.0125
2.8333	799	0.0196
2.8369	800	0.0766
2.8404	801	0.0105
2.8440	802	0.0347
2.8475	803	0.1152
2.8511	804	0.0745
2.8546	805	0.0275
2.8582	806	0.1096
2.8617	807	0.0571
2.8652	808	0.008
2.8688	809	0.0428
2.8723	810	0.0639
2.8759	811	0.1364
2.8794	812	0.062
2.8830	813	0.0782
2.8865	814	0.0311
2.8901	815	0.1234
2.8936	816	0.0302
2.8972	817	0.0984
2.9007	818	0.0141
2.9043	819	0.1342
2.9078	820	0.0115
2.9113	821	0.0608
2.9149	822	0.0246
2.9184	823	0.0388
2.9220	824	0.0557
2.9255	825	0.011
2.9291	826	0.0262
2.9326	827	0.0655
2.9362	828	0.0843
2.9397	829	0.0549
2.9433	830	0.0791
2.9468	831	0.0254
2.9504	832	0.1365
2.9539	833	0.2078
2.9574	834	0.0485
2.9610	835	0.0309
2.9645	836	0.0974
2.9681	837	0.004
2.9716	838	0.1136
2.9752	839	0.0227
2.9787	840	0.0458
2.9823	841	0.016
2.9858	842	0.1003
2.9894	843	0.0289
2.9929	844	0.0702
2.9965	845	0.055
3.0	846	0.2404

Framework Versions

• Python: 3.10.14
• Sentence Transformers: 5.1.1
• Transformers: 4.56.2
• PyTorch: 2.8.0+cu128
• Accelerate: 1.10.1
• Datasets: 4.1.1
• Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}