File size: 21,275 Bytes
2c82fe3
 
 
 
 
 
 
 
 
 
 
 
d99ebac
2c82fe3
d99ebac
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
2c82fe3
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
c64632d
 
 
2c82fe3
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
---
base_model: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
datasets: []
language: []
library_name: sentence-transformers
pipeline_tag: sentence-similarity
tags:
- sentence-transformers
- sentence-similarity
- feature-extraction
- generated_from_trainer
- loss:MultipleNegativesRankingLoss

widget:
  - source_sentence: Πρέπει να εμβολιαστώ κατά του COVID-19 αν θηλάζω;
    sentences:
      - "Αν κάποιος είναι άρρωστος και φροντίζει για το σπίτι, μπορούν να γίνουν
        τα ακόλουθα για τη βελτίωση του εξαερισμού και τη μείωση του κινδύνου
        μόλυνσης σε άλλα μέλη του νοικοκυριού: Όποτε είναι δυνατόν, το άρρωστο
        άτομο θα πρέπει να παραμείνει σε ξεχωριστό δωμάτιο. Αν αυτό δεν είναι
        δυνατόν, τότε κρατήστε τουλάχιστον απόσταση 1 μέτρου από αυτό. Ο
        άρρωστος και οποιοσδήποτε άλλος στο ίδιο δωμάτιο θα πρέπει να φοράει
        ιατρική μάσκα. Προσφέρετε καλό αερισμό στο δωμάτιο του άρρωστου ατόμου
        και στους κοινόχρηστους χώρους, με ανοιχτά παράθυρα όποτε είναι
        δυνατόν."
      - Εάν θηλάζετε, θα πρέπει να εμβολιαστείτε κατά του COVID-19 αμέσως μόλις
        είναι η σειρά σας. Κανένα από τα σημερινά εμβόλια COVID-19 δεν έχει
        ζωντανό ιό σε αυτά. Αυτό σημαίνει ότι δεν υπάρχει κίνδυνος μετάδοσης
        COVID-19 στο μωρό σας μέσω του μητρικού γάλακτος από το εμβόλιο. Στην
        πραγματικότητα, τα αντισώματα που παίρνετε μετά τον εμβολιασμό μπορεί να
        περάσουν από το μητρικό γάλα σας και να βοηθήσουν στην προστασία του
        μωρού σας.
      - Συμπληρώστε τα μέτρα πρόληψης και ελέγχου λοιμώξεων, συμπεριλαμβανομένης
        της υγιεινής των χεριών. Σιγουρευτείτε ότι το δωμάτιο όπου ο ασθενής
        φροντίζεται είναι καλά αεριζόμενο, ανοίγοντας παράθυρα, εάν είναι
        απαραίτητο. Παροχή οδηγιών στους φροντιστές και τα μέλη του νοικοκυριού
        για τον καθαρισμό και την απολύμανση στο σπίτι, καθώς και για τη
        διαχείριση αποβλήτων, πλυντηρίου και σκευών που σχετίζονται με τον
        ασθενή. Αναζητήστε από τον ασθενή να φοράει ιατρική μάσκα κατά την
        παροχή φροντίδας ή σε απόσταση ενός μέτρου. Αποθήκευση περιορισμού του
        αριθμού των μελών του νοικοκυριού κατά τη διάρκεια επισκέψεων και
        διατήρηση τουλάχιστον απόστασης 1 μέτρου.
  - source_sentence: Ποια είναι μερικά ψηφιακά εργαλεία που χρησιμοποιούνται για την
      υποστήριξη εντοπισμού επαφών; Πώς μπορούν να ενισχύσουν τις διαδικασίες
      εντοπισμού επαφών;
    sentences:
      - Δεν ξέρουμε πότε θα τελειώσει η πανδημία, αλλά γνωρίζουμε ότι εξαρτάται
        από κάθε άτομο που συμβάλλει στη διακοπή της εξάπλωσης του ιού. Οι
        θυσίες που κάνατε με το να μην δείτε τους φίλους σας και με το να μην
        πάτε στο σχολείο για λίγο, και άλλες δραστηριότητες, είναι η συμβολή σας
        στην καταπολέμηση της πανδημίας. Βάζοντας τις κοινωνίες και τις
        οικονομίες σε αναμονή, έχουμε μειώσει την ικανότητα του ιού να εξαπλωθεί
        μέσω των κοινοτήτων μας. Αυτά τα αμυντικά μέτρα έχουν βοηθήσει να
        περιοριστεί η βλάβη που μπορεί να προκαλέσει ο ιός, και μας έχουν
        αγοράσει χρόνο για να μάθουμε περισσότερα για τον ιό και να βρούμε
        λύσεις ώστε να μπορέσουμε να επιστρέψουμε σε έναν πιο οικείο τρόπο ζωής.
      - Τα αποτελέσματα της έρευνας παρέχουν ακριβέστερες εκτιμήσεις για τα
        ποσοστά επιπολασμού της φυματίωσης από ό,τι εκτιμά ο ΠΟΥ και μπορούν να
        χρησιμοποιηθούν για την αξιολόγηση της πιθανότητας η Κίνα να επιτύχει
        παγκόσμιους στόχους για τον επιπολασμό της φυματίωσης. Η επαρχία
        Σαντονγκ έχει πληθυσμό 94 εκατομμυρίων
      - Οσον αφορά τα ηλεκτρονικά εργαλεία και την τεχνολογία των πληροφοριών,
        μπορούν να χρησιμοποιηθούν για την ενίσχυση της αποτελεσματικότητας των
        διαδικασιών εντοπισμού επαφών και χρησιμοποιούνται επί του παρόντος σε
        αυτές τις περιπτώσεις υγείας. Ωστόσο, το εν λόγω εργατικό δυναμικό
        μπορεί να κατακλυστεί γρήγορα στο πλαίσιο της εκτεταμένης μετάδοσης
        SARS-CoV-2. Τα ηλεκτρονικά εργαλεία και η τεχνολογία πληροφοριών μπορούν
        να χρησιμοποιηθούν για την ενίσχυση της αποτελεσματικότητας των
        υπηρεσιών εντοπισμού επαφών, καθώς και για την αποφυγή της χρήσης των εν
        λόγω εργαλείων. Ψηφιακά εργαλεία που υποστηρίζουν τις διαδικασίες
        εντοπισμού επαφών μπορούν να χωριστούν, γενικά, σε τρεις κατηγορίες που
        βασίζονται στη λειτουργία δημόσιας υγείας κατά τη διάρκεια συγκεκριμένων
        σταδίων της διαδικασίας εντοπισμού επαφών.
  - source_sentence: Ποια είναι η θέση της ΠΟΥ σχετικά με τη χρήση του φυτικού
      υλικού Artemisia για την πρόληψη ή τη θεραπεία της ελονοσίας ή/και
      COVID-19;
    sentences:
      - "Αποφασίζοντας να κλείσουν εν μέρει ή να ανοίξουν ξανά σχολεία, θα
        πρέπει να καθοδηγηθούν από μια προσέγγιση με βάση τον κίνδυνο, να
        μεγιστοποιηθούν τα εκπαιδευτικά, ευεξίας και υγείας για τους μαθητές,
        τους εκπαιδευτικούς, το προσωπικό και την ευρύτερη κοινότητα, και να
        συμβάλλουν στην πρόληψη μιας νέας έστιας COVID-19 στην κοινότητα. Πολλά
        στοιχεία θα πρέπει να αξιολογηθούν για την απόφαση για την επανένωση των
        σχολείων ή τη διατήρηση τους ανοικτά: η επανεκπαίδευση του COVID-19 σε
        τοπικό επίπεδο, αυτό μπορεί να διαφέρει από το ένα μέρος σε άλλο σε μια
        χώρα."
      - "Πλεονεκτήματα και κίνδυνοι: ποια είναι τα πιθανά οφέλη και οι πιο
        ευρέως χρησιμοποιούμενες αντιμαλαρικές θεραπείες, θεραπείες συνδυασμού
        με βάση την αρτεμισινίνη (ACTs), παράγονται χρησιμοποιώντας την καθαρή
        ένωση αρτεμισινίνης που εξάγεται από το φυτό Artemisia annua. Υπήρξαν
        αναφορές ότι τα προϊόντα ή τα εκχυλίσματα (π.χ. φυτικά τσάι ή δισκία)
        που παράγονται από το φυτικό υλικό Artemisia μπορεί να έχουν προληπτική
        ή θεραπευτική επίδραση στο COVID-19. Ωστόσο, τα διαθέσιμα in vitro
        στοιχεία δείχνουν ότι τα καθαρισμένα προϊόντα αρτεμισινίνης ή A. annua
        φυτικά προϊόντα ή εκχυλίσματα δεν έχουν σημαντική επίδραση κατά του
        COVID-19."
      - Την ανίχνευση της θερμοκρασίας του σώματος των επιβατών που φεύγουν από
        τη Γουχάν σε αεροδρόμια, σιδηροδρομικούς σταθμούς, σταθμούς λεωφορείων
        μεγάλων αποστάσεων και τερματικούς σταθμούς επιβατών. Από τις 17
        Ιανουαρίου, συνολικά σχεδόν 0,3 εκατομμύρια άνθρωποι είχαν δοκιμαστεί
        για τη θερμοκρασία του σώματος [23]. Στη Γουχάν, υπάρχουν περίπου 2,87
        εκατομμύρια μετακινούμενοι πληθυσμός [24]. Υποθέσαμε ότι 0,1 εκατομμύριο
        άνθρωποι μετακινούνταν στην πόλη της Γουχάν την ημέρα από τις 10
        Ιανουαρίου 2020 και πιστεύουμε ότι αυτός ο αριθμός θα αυξανόταν (κυρίως
        λόγω των χειμερινών διακοπών και των διακοπών της κινεζικής
        Πρωτοχρονιάς) μέχρι τις 24 Ιανουαρίου.

---

# SentenceTransformer based on sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2

This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2). It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

## Model Details

### Model Description
- **Model Type:** Sentence Transformer
- **Base model:** [sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2) <!-- at revision bf3bf13ab40c3157080a7ab344c831b9ad18b5eb -->
- **Maximum Sequence Length:** 128 tokens
- **Output Dimensionality:** 384 tokens
- **Similarity Function:** Cosine Similarity
<!-- - **Training Dataset:** Unknown -->
<!-- - **Language:** Unknown -->
<!-- - **License:** Unknown -->

### Model Sources

- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)

### Full Model Architecture

```
SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)
```

## Usage

### Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

```bash
pip install -U sentence-transformers
```

Then you can load this model and run inference.
```python
from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("panosgriz/covid_el_paraphrase-multilingual-MiniLM-L12-v2")
# Run inference
sentences = [
    'Αποτρέπει ο εμβολιασμός την ασθένεια COVID-19;',
    'Ο εμβολιασμός που χρησιμοποιούμε σήμερα στοχεύει στην πρόληψη σοβαρών ασθενειών και θανάτου από COVID-19. Ωστόσο, ορισμένοι άνθρωποι μπορεί ακόμα να μολυνθούν με COVID-19 ακόμα και μετά τον εμβολιασμό.',
    'Σε μικρότερες (Φάση Ι) μελέτες ασφάλειας των εμβολίων COVID-19 θα πρέπει να εγγράφουν υγιείς ενήλικες εθελοντές. Μεγαλύτερες (Φάση II και III) μελέτες θα πρέπει να περιλαμβάνουν εθελοντές που αντανακλούν τους πληθυσμούς για τους οποίους προορίζονται τα εμβόλια. Αυτό σημαίνει την εγγραφή ανθρώπων από διαφορετικές γεωγραφικές περιοχές, φυλετικό και εθνικό υπόβαθρο, φύλο και ηλικίες, καθώς και εκείνους με υποκείμενες συνθήκες υγείας που τους θέτουν σε υψηλότερο κίνδυνο για COVID-19. Συμπεριλαμβανομένων αυτών των ομάδων σε κλινικές δοκιμές είναι ο μόνος τρόπος για να εξασφαλιστεί ότι ένα εμβόλιο θα είναι ασφαλές και αποτελεσματικό για όλους όσους το χρειάζονται.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
```

<!--
### Direct Usage (Transformers)

<details><summary>Click to see the direct usage in Transformers</summary>

</details>
-->

<!--
### Downstream Usage (Sentence Transformers)

You can finetune this model on your own dataset.

<details><summary>Click to expand</summary>

</details>
-->

<!--
### Out-of-Scope Use

*List how the model may foreseeably be misused and address what users ought not to do with the model.*
-->

<!--
## Bias, Risks and Limitations

*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
-->

<!--
### Recommendations

*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
-->

## Training Details

### Training Hyperparameters
#### Non-Default Hyperparameters

- `per_device_train_batch_size`: 16
- `per_device_eval_batch_size`: 16
- `num_train_epochs`: 20
- `multi_dataset_batch_sampler`: round_robin

#### All Hyperparameters
<details><summary>Click to expand</summary>

- `overwrite_output_dir`: False
- `do_predict`: False
- `prediction_loss_only`: True
- `per_device_train_batch_size`: 16
- `per_device_eval_batch_size`: 16
- `per_gpu_train_batch_size`: None
- `per_gpu_eval_batch_size`: None
- `gradient_accumulation_steps`: 1
- `eval_accumulation_steps`: None
- `learning_rate`: 5e-05
- `weight_decay`: 0.0
- `adam_beta1`: 0.9
- `adam_beta2`: 0.999
- `adam_epsilon`: 1e-08
- `max_grad_norm`: 1
- `num_train_epochs`: 20
- `max_steps`: -1
- `lr_scheduler_type`: linear
- `lr_scheduler_kwargs`: {}
- `warmup_ratio`: 0.0
- `warmup_steps`: 0
- `log_level`: passive
- `log_level_replica`: warning
- `log_on_each_node`: True
- `logging_nan_inf_filter`: True
- `save_safetensors`: True
- `save_on_each_node`: False
- `save_only_model`: False
- `no_cuda`: False
- `use_cpu`: False
- `use_mps_device`: False
- `seed`: 42
- `data_seed`: None
- `jit_mode_eval`: False
- `use_ipex`: False
- `bf16`: False
- `fp16`: False
- `fp16_opt_level`: O1
- `half_precision_backend`: auto
- `bf16_full_eval`: False
- `fp16_full_eval`: False
- `tf32`: None
- `local_rank`: 0
- `ddp_backend`: None
- `tpu_num_cores`: None
- `tpu_metrics_debug`: False
- `debug`: []
- `dataloader_drop_last`: False
- `dataloader_num_workers`: 0
- `dataloader_prefetch_factor`: None
- `past_index`: -1
- `disable_tqdm`: False
- `remove_unused_columns`: True
- `label_names`: None
- `load_best_model_at_end`: False
- `ignore_data_skip`: False
- `fsdp`: []
- `fsdp_min_num_params`: 0
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
- `fsdp_transformer_layer_cls_to_wrap`: None
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True}
- `deepspeed`: None
- `label_smoothing_factor`: 0.0
- `optim`: adamw_torch
- `optim_args`: None
- `adafactor`: False
- `group_by_length`: False
- `length_column_name`: length
- `ddp_find_unused_parameters`: None
- `ddp_bucket_cap_mb`: None
- `ddp_broadcast_buffers`: False
- `dataloader_pin_memory`: True
- `dataloader_persistent_workers`: False
- `skip_memory_metrics`: True
- `use_legacy_prediction_loop`: False
- `push_to_hub`: False
- `resume_from_checkpoint`: None
- `hub_model_id`: None
- `hub_strategy`: every_save
- `hub_private_repo`: False
- `hub_always_push`: False
- `gradient_checkpointing`: False
- `gradient_checkpointing_kwargs`: None
- `include_inputs_for_metrics`: False
- `fp16_backend`: auto
- `push_to_hub_model_id`: None
- `push_to_hub_organization`: None
- `mp_parameters`: 
- `auto_find_batch_size`: False
- `full_determinism`: False
- `torchdynamo`: None
- `ray_scope`: last
- `ddp_timeout`: 1800
- `torch_compile`: False
- `torch_compile_backend`: None
- `torch_compile_mode`: None
- `dispatch_batches`: None
- `split_batches`: None
- `include_tokens_per_second`: False
- `include_num_input_tokens_seen`: False
- `neftune_noise_alpha`: None
- `optim_target_modules`: None
- `batch_sampler`: batch_sampler
- `multi_dataset_batch_sampler`: round_robin

</details>

### Training Logs
| Epoch   | Step | Training Loss |
|:-------:|:----:|:-------------:|
| 5.5556  | 500  | 0.7188        |
| 11.1111 | 1000 | 0.0506        |
| 16.6667 | 1500 | 0.0161        |


### Framework Versions
- Python: 3.8.10
- Sentence Transformers: 3.0.1
- Transformers: 4.39.3
- PyTorch: 2.3.1+cu118
- Accelerate: 0.30.1
- Datasets: 2.20.0
- Tokenizers: 0.15.2

## Citation

### BibTeX

#### Sentence Transformers
```bibtex
@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}
```

#### MultipleNegativesRankingLoss
```bibtex
@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}
```

<!--
## Glossary

*Clearly define terms in order to be accessible across audiences.*
-->

<!--
## Model Card Authors

*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
-->

<!--
## Model Card Contact

*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
-->