create repo

1_Pooling/config.json

@@ -0,0 +1,10 @@
+{
+  "word_embedding_dimension": 768,
+  "pooling_mode_cls_token": false,
+  "pooling_mode_mean_tokens": true,
+  "pooling_mode_max_tokens": false,
+  "pooling_mode_mean_sqrt_len_tokens": false,
+  "pooling_mode_weightedmean_tokens": false,
+  "pooling_mode_lasttoken": false,
+  "include_prompt": true
+}

README.md

@@ -0,0 +1,851 @@
+---
+language:
+- en
+license: apache-2.0
+tags:
+- sentence-transformers
+- sentence-similarity
+- feature-extraction
+- generated_from_trainer
+- dataset_size:1421
+- loss:MatryoshkaLoss
+- loss:MultipleNegativesRankingLoss
+base_model: hiieu/halong_embedding
+widget:
+- source_sentence: Dạ chào bác sĩ ,e bị đau tức bụng hông trái lan ra lưng ,xét nghiệm
+    nước tiểu thì protein 1+,hồng cầu 1+ thì có bị sao không bác sĩ
+  sentences:
+  - Trong hầu hết các trường hợp, chứng run do thuốc không phải là tình trạng vĩnh
+    viễn. Khi ngừng thuốc hoặc giảm liều lượng, tình trạng run rẩy thường biến mất.
+    Tuy nhiên, trong một số trường hợp, tình trạng run có thể vẫn tồn tại ngay cả
+    sau khi ngừng thuốc.
+  - Chào em Thường trong nước tiểu không có protein , hồng cầu. Em nên đi khám sâu
+    hơn chuyên khoa thận tiết niệu để phân biệt đặc điểm trên do viêm đường niệu ở
+    vị trí nào em nhé( niệu đạo, thận, bàng quang,.
+  - Tư vấn di truyền có thể giúp những người có nguy cơ sinh con mắc chứng loạn dưỡng
+    cơ Duchenne bằng cách cung cấp thông tin về khả năng truyền gen đột biến và thảo
+    luận về các lựa chọn sinh sản. Ví dụ, nếu cả cha lẫn mẹ đều là người mang gen,
+    họ có thể chọn sử dụng phương pháp thụ tinh trong ống nghiệm và xét nghiệm di
+    truyền để chọn ra những phôi không mang gen đột biến.
+- source_sentence: Siêu âm mắt là gì?
+  sentences:
+  - Bệnh thần kinh ngoại biên có thể gây ra nhiều triệu chứng khác nhau bao gồm tê
+    hoặc ngứa ran ở tay hoặc chân, yếu cơ và đau nhói, rát. Nó cũng có thể gây nhạy
+    cảm khi chạm và khó phối hợp và giữ thăng bằng.
+  - Chao em Chào bác sĩ Ảnh em chụp thì vẫn vàng da. Bs cần hỏi em thêm một số thông
+    tin nữa để kê đơn cho bé.
+  - Siêu âm mắt là một thủ thuật không xâm lấn trong đó sóng âm thanh được sử dụng
+    để tạo ra hình ảnh của mắt. Xét nghiệm này có thể giúp bác sĩ nhìn thấy kích thước,
+    vị trí và hình dạng của bất kỳ khối u nào có thể có trong mắt.
+- source_sentence: Những xét nghiệm này chính xác đến mức nào?
+  sentences:
+  - Hội chứng rụng tóc động kinh oligophrenia của Moynahan hay còn gọi là hội chứng
+    Moynahan, là một rối loạn di truyền hiếm gặp ảnh hưởng đến nhiều hệ thống cơ thể.
+    Các triệu chứng thường gặp bao gồm chậm phát triển, thiểu năng trí tuệ, co giật,
+    rụng tóc và các đặc điểm đặc biệt trên khuôn mặt. Bạn có muốn biết thêm thông
+    tin về bất kỳ triệu chứng cụ thể nào không?
+  - Độ chính xác của các bài kiểm tra có thể khác nhau tùy thuộc vào loại bài kiểm
+    tra và thời điểm thực hiện. Nói chung, các xét nghiệm này có độ chính xác cao
+    và hiếm khi cho kết quả dương tính giả hoặc âm tính giả.
+  - Thật không may, hội chứng Partington không có cách chữa trị. Điều trị tập trung
+    vào việc giảm bớt các triệu chứng và cải thiện chất lượng cuộc sống.
+- source_sentence: bác sĩ ơii, cho em hỏi là những hạt như vậy trong miệng em là gì
+    vậy ạ
+  sentences:
+  - Vâng, có một số biện pháp tự nhiên có thể giúp chữa bệnh tiêu chảy. Ăn thực phẩm
+    giàu men vi sinh như sữa chua có thể giúp phục hồi vi khuẩn khỏe mạnh trong ruột.
+  - Có, các yếu tố nguy cơ khác bao gồm từng bị nhiễm trùng trước đó, mắc bệnh tự
+    miễn và tiếp xúc với một số chất độc hoặc thuốc. Huyết áp cao và hút thuốc cũng
+    được coi là yếu tố nguy cơ.
+  - Chào em Em có đau buốt gì ko em? dạ k ạ Nếu em đã quan hệ bằng miệng rồi, hiện
+    tại ko đau buốt gì nên đi xn HPV miệng em nhé
+- source_sentence: Có xét nghiệm cụ thể nào để chẩn đoán hội chứng này không?
+  sentences:
+  - Entecavir đã được chứng minh là có hiệu quả chủ yếu chống lại HBV kiểu gen A.
+    Tuy nhiên, nó cũng có tác dụng chống lại HBV kiểu gen B và C.
+  - Có, có nhiều lựa chọn điều trị khác nhau tùy thuộc vào tình trạng cụ thể và mức
+    độ nghiêm trọng của các triệu chứng. Điều trị có thể bao gồm các bài tập sàn chậu,
+    dùng thuốc và phẫu thuật.
+  - Có, có những xét nghiệm cụ thể có thể chẩn đoán hội chứng Cockayne loại II. Chúng
+    bao gồm xét nghiệm di truyền, xét nghiệm máu và nước tiểu, cũng như kiểm tra thần
+    kinh.
+pipeline_tag: sentence-similarity
+library_name: sentence-transformers
+metrics:
+- cosine_accuracy@1
+- cosine_accuracy@3
+- cosine_accuracy@5
+- cosine_accuracy@10
+- cosine_precision@1
+- cosine_precision@3
+- cosine_precision@5
+- cosine_precision@10
+- cosine_recall@1
+- cosine_recall@3
+- cosine_recall@5
+- cosine_recall@10
+- cosine_ndcg@10
+- cosine_mrr@10
+- cosine_map@100
+model-index:
+- name: BGE base Financial Matryoshka
+  results:
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 768
+      type: dim_768
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.689873417721519
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.7341772151898734
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.7658227848101266
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.7911392405063291
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.689873417721519
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.24472573839662443
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.1531645569620253
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.07911392405063289
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.689873417721519
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.7341772151898734
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.7658227848101266
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.7911392405063291
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.7359964164308189
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.7186884669479607
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.7231429561762966
+      name: Cosine Map@100
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 512
+      type: dim_512
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.6962025316455697
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.7278481012658228
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.7531645569620253
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.7848101265822784
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.6962025316455697
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.24261603375527424
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.15063291139240503
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.07848101265822782
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.6962025316455697
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.7278481012658228
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.7531645569620253
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.7848101265822784
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.7365237174869693
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.7215340566606389
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.7262381247862028
+      name: Cosine Map@100
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 256
+      type: dim_256
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.6645569620253164
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.7278481012658228
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.7341772151898734
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.7721518987341772
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.6645569620253164
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.24261603375527424
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.14683544303797466
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.0772151898734177
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.6645569620253164
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.7278481012658228
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.7341772151898734
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.7721518987341772
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.717246153733281
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.6999196302993772
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.7049830151644797
+      name: Cosine Map@100
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 128
+      type: dim_128
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.620253164556962
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.7278481012658228
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.740506329113924
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.7658227848101266
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.620253164556962
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.24261603375527424
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.14810126582278477
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.07658227848101265
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.620253164556962
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.7278481012658228
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.740506329113924
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.7658227848101266
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.695814972032374
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.673010849909584
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.6758935313130828
+      name: Cosine Map@100
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 64
+      type: dim_64
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.5632911392405063
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.6518987341772152
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.6835443037974683
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.7151898734177216
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.5632911392405063
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.2172995780590717
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.13670886075949362
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.07151898734177213
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.5632911392405063
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.6518987341772152
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.6835443037974683
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.7151898734177216
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.6372309190806515
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.6125075346594335
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.6183770912827027
+      name: Cosine Map@100
+---
+
+# BGE base Financial Matryoshka
+
+This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [hiieu/halong_embedding](https://huggingface.co/hiieu/halong_embedding) on the json dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
+
+## Model Details
+
+### Model Description
+- **Model Type:** Sentence Transformer
+- **Base model:** [hiieu/halong_embedding](https://huggingface.co/hiieu/halong_embedding) <!-- at revision b57776031035f70ed2030d2e35ecc533eb0f8f71 -->
+- **Maximum Sequence Length:** 512 tokens
+- **Output Dimensionality:** 768 dimensions
+- **Similarity Function:** Cosine Similarity
+- **Training Dataset:**
+    - json
+- **Language:** en
+- **License:** apache-2.0
+
+### Model Sources
+
+- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
+- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
+- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
+
+### Full Model Architecture
+
+```
+SentenceTransformer(
+  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
+  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
+  (2): Normalize()
+)
+```
+
+## Usage
+
+### Direct Usage (Sentence Transformers)
+
+First install the Sentence Transformers library:
+
+```bash
+pip install -U sentence-transformers
+```
+
+Then you can load this model and run inference.
+```python
+from sentence_transformers import SentenceTransformer
+
+# Download from the 🤗 Hub
+model = SentenceTransformer("sentence_transformers_model_id")
+# Run inference
+sentences = [
+    'Có xét nghiệm cụ thể nào để chẩn đoán hội chứng này không?',
+    'Có, có những xét nghiệm cụ thể có thể chẩn đoán hội chứng Cockayne loại II. Chúng bao gồm xét nghiệm di truyền, xét nghiệm máu và nước tiểu, cũng như kiểm tra thần kinh.',
+    'Entecavir đã được chứng minh là có hiệu quả chủ yếu chống lại HBV kiểu gen A. Tuy nhiên, nó cũng có tác dụng chống lại HBV kiểu gen B và C.',
+]
+embeddings = model.encode(sentences)
+print(embeddings.shape)
+# [3, 768]
+
+# Get the similarity scores for the embeddings
+similarities = model.similarity(embeddings, embeddings)
+print(similarities.shape)
+# [3, 3]
+```
+
+<!--
+### Direct Usage (Transformers)
+
+<details><summary>Click to see the direct usage in Transformers</summary>
+
+</details>
+-->
+
+<!--
+### Downstream Usage (Sentence Transformers)
+
+You can finetune this model on your own dataset.
+
+<details><summary>Click to expand</summary>
+
+</details>
+-->
+
+<!--
+### Out-of-Scope Use
+
+*List how the model may foreseeably be misused and address what users ought not to do with the model.*
+-->
+
+## Evaluation
+
+### Metrics
+
+#### Information Retrieval
+
+* Dataset: `dim_768`
+* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator) with these parameters:
+  ```json
+  {
+      "truncate_dim": 768
+  }
+  ```
+
+| Metric              | Value     |
+|:--------------------|:----------|
+| cosine_accuracy@1   | 0.6899    |
+| cosine_accuracy@3   | 0.7342    |
+| cosine_accuracy@5   | 0.7658    |
+| cosine_accuracy@10  | 0.7911    |
+| cosine_precision@1  | 0.6899    |
+| cosine_precision@3  | 0.2447    |
+| cosine_precision@5  | 0.1532    |
+| cosine_precision@10 | 0.0791    |
+| cosine_recall@1     | 0.6899    |
+| cosine_recall@3     | 0.7342    |
+| cosine_recall@5     | 0.7658    |
+| cosine_recall@10    | 0.7911    |
+| **cosine_ndcg@10**  | **0.736** |
+| cosine_mrr@10       | 0.7187    |
+| cosine_map@100      | 0.7231    |
+
+#### Information Retrieval
+
+* Dataset: `dim_512`
+* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator) with these parameters:
+  ```json
+  {
+      "truncate_dim": 512
+  }
+  ```
+
+| Metric              | Value      |
+|:--------------------|:-----------|
+| cosine_accuracy@1   | 0.6962     |
+| cosine_accuracy@3   | 0.7278     |
+| cosine_accuracy@5   | 0.7532     |
+| cosine_accuracy@10  | 0.7848     |
+| cosine_precision@1  | 0.6962     |
+| cosine_precision@3  | 0.2426     |
+| cosine_precision@5  | 0.1506     |
+| cosine_precision@10 | 0.0785     |
+| cosine_recall@1     | 0.6962     |
+| cosine_recall@3     | 0.7278     |
+| cosine_recall@5     | 0.7532     |
+| cosine_recall@10    | 0.7848     |
+| **cosine_ndcg@10**  | **0.7365** |
+| cosine_mrr@10       | 0.7215     |
+| cosine_map@100      | 0.7262     |
+
+#### Information Retrieval
+
+* Dataset: `dim_256`
+* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator) with these parameters:
+  ```json
+  {
+      "truncate_dim": 256
+  }
+  ```
+
+| Metric              | Value      |
+|:--------------------|:-----------|
+| cosine_accuracy@1   | 0.6646     |
+| cosine_accuracy@3   | 0.7278     |
+| cosine_accuracy@5   | 0.7342     |
+| cosine_accuracy@10  | 0.7722     |
+| cosine_precision@1  | 0.6646     |
+| cosine_precision@3  | 0.2426     |
+| cosine_precision@5  | 0.1468     |
+| cosine_precision@10 | 0.0772     |
+| cosine_recall@1     | 0.6646     |
+| cosine_recall@3     | 0.7278     |
+| cosine_recall@5     | 0.7342     |
+| cosine_recall@10    | 0.7722     |
+| **cosine_ndcg@10**  | **0.7172** |
+| cosine_mrr@10       | 0.6999     |
+| cosine_map@100      | 0.705      |
+
+#### Information Retrieval
+
+* Dataset: `dim_128`
+* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator) with these parameters:
+  ```json
+  {
+      "truncate_dim": 128
+  }
+  ```
+
+| Metric              | Value      |
+|:--------------------|:-----------|
+| cosine_accuracy@1   | 0.6203     |
+| cosine_accuracy@3   | 0.7278     |
+| cosine_accuracy@5   | 0.7405     |
+| cosine_accuracy@10  | 0.7658     |
+| cosine_precision@1  | 0.6203     |
+| cosine_precision@3  | 0.2426     |
+| cosine_precision@5  | 0.1481     |
+| cosine_precision@10 | 0.0766     |
+| cosine_recall@1     | 0.6203     |
+| cosine_recall@3     | 0.7278     |
+| cosine_recall@5     | 0.7405     |
+| cosine_recall@10    | 0.7658     |
+| **cosine_ndcg@10**  | **0.6958** |
+| cosine_mrr@10       | 0.673      |
+| cosine_map@100      | 0.6759     |
+
+#### Information Retrieval
+
+* Dataset: `dim_64`
+* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator) with these parameters:
+  ```json
+  {
+      "truncate_dim": 64
+  }
+  ```
+
+| Metric              | Value      |
+|:--------------------|:-----------|
+| cosine_accuracy@1   | 0.5633     |
+| cosine_accuracy@3   | 0.6519     |
+| cosine_accuracy@5   | 0.6835     |
+| cosine_accuracy@10  | 0.7152     |
+| cosine_precision@1  | 0.5633     |
+| cosine_precision@3  | 0.2173     |
+| cosine_precision@5  | 0.1367     |
+| cosine_precision@10 | 0.0715     |
+| cosine_recall@1     | 0.5633     |
+| cosine_recall@3     | 0.6519     |
+| cosine_recall@5     | 0.6835     |
+| cosine_recall@10    | 0.7152     |
+| **cosine_ndcg@10**  | **0.6372** |
+| cosine_mrr@10       | 0.6125     |
+| cosine_map@100      | 0.6184     |
+
+<!--
+## Bias, Risks and Limitations
+
+*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
+-->
+
+<!--
+### Recommendations
+
+*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
+-->
+
+## Training Details
+
+### Training Dataset
+
+#### json
+
+* Dataset: json
+* Size: 1,421 training samples
+* Columns: <code>anchor</code> and <code>positive</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | anchor                                                                             | positive                                                                            |
+  |:--------|:-----------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|
+  | type    | string                                                                             | string                                                                              |
+  | details | <ul><li>min: 3 tokens</li><li>mean: 25.07 tokens</li><li>max: 128 tokens</li></ul> | <ul><li>min: 30 tokens</li><li>mean: 71.48 tokens</li><li>max: 512 tokens</li></ul> |
+* Samples:
+  | anchor                                                                                                                                 | positive                                                                                                                                                                                                                                                                                                                                                            |
+  |:---------------------------------------------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>Làm cách nào để ngăn ngừa chứng loạn sản thận?</code>                                                                            | <code>Thật không may, chứng loạn sản thận không thể ngăn ngừa được vì đây là một tình trạng bẩm sinh xảy ra trong quá trình phát triển của thai nhi. Tuy nhiên, việc phát hiện và điều trị sớm có thể giúp kiểm soát tình trạng và ngăn ngừa các biến chứng.</code>                                                                                                 |
+  | <code>Có bất kỳ biến chứng nào liên quan đến cây nhiệt đới không?</code>                                                               | <code>Có, những trường hợp nặng của bệnh nhiệt đới có thể dẫn đến suy dinh dưỡng, thiếu máu và các biến chứng khác. Điều quan trọng là phải tìm cách điều trị y tế càng sớm càng tốt nếu bạn nghi ngờ mình mắc bệnh Nhiệt đới.</code>                                                                                                                               |
+  | <code>Tôi cần một số thông tin về cách bảo quản và tiêu hủy Fluoxetine. Bạn có thể vui lòng cho tôi biết những gì tôi nên biết?</code> | <code>Fluoxetine nên được bảo quản ở nhiệt độ phòng, tránh ẩm và nóng. Nó nên được giữ trong hộp đựng ban đầu và tránh xa tầm tay trẻ em và vật nuôi. Về việc thải bỏ, bạn nên tuân theo các hướng dẫn do nhà cung cấp dịch vụ chăm sóc sức khỏe hoặc dược sĩ của bạn cung cấp. Điều quan trọng là không xả Fluoxetine xuống bồn cầu hoặc vứt vào thùng rác.</code> |
+* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters:
+  ```json
+  {
+      "loss": "MultipleNegativesRankingLoss",
+      "matryoshka_dims": [
+          768,
+          512,
+          256,
+          128,
+          64
+      ],
+      "matryoshka_weights": [
+          1,
+          1,
+          1,
+          1,
+          1
+      ],
+      "n_dims_per_step": -1
+  }
+  ```
+
+### Training Hyperparameters
+#### Non-Default Hyperparameters
+
+- `eval_strategy`: epoch
+- `per_device_train_batch_size`: 16
+- `gradient_accumulation_steps`: 8
+- `learning_rate`: 2e-05
+- `num_train_epochs`: 1
+- `lr_scheduler_type`: cosine
+- `warmup_ratio`: 0.1
+- `bf16`: True
+- `load_best_model_at_end`: True
+- `optim`: adamw_torch_fused
+- `batch_sampler`: no_duplicates
+
+#### All Hyperparameters
+<details><summary>Click to expand</summary>
+
+- `overwrite_output_dir`: False
+- `do_predict`: False
+- `eval_strategy`: epoch
+- `prediction_loss_only`: True
+- `per_device_train_batch_size`: 16
+- `per_device_eval_batch_size`: 8
+- `per_gpu_train_batch_size`: None
+- `per_gpu_eval_batch_size`: None
+- `gradient_accumulation_steps`: 8
+- `eval_accumulation_steps`: None
+- `torch_empty_cache_steps`: None
+- `learning_rate`: 2e-05
+- `weight_decay`: 0.0
+- `adam_beta1`: 0.9
+- `adam_beta2`: 0.999
+- `adam_epsilon`: 1e-08
+- `max_grad_norm`: 1.0
+- `num_train_epochs`: 1
+- `max_steps`: -1
+- `lr_scheduler_type`: cosine
+- `lr_scheduler_kwargs`: {}
+- `warmup_ratio`: 0.1
+- `warmup_steps`: 0
+- `log_level`: passive
+- `log_level_replica`: warning
+- `log_on_each_node`: True
+- `logging_nan_inf_filter`: True
+- `save_safetensors`: True
+- `save_on_each_node`: False
+- `save_only_model`: False
+- `restore_callback_states_from_checkpoint`: False
+- `no_cuda`: False
+- `use_cpu`: False
+- `use_mps_device`: False
+- `seed`: 42
+- `data_seed`: None
+- `jit_mode_eval`: False
+- `use_ipex`: False
+- `bf16`: True
+- `fp16`: False
+- `fp16_opt_level`: O1
+- `half_precision_backend`: auto
+- `bf16_full_eval`: False
+- `fp16_full_eval`: False
+- `tf32`: None
+- `local_rank`: 0
+- `ddp_backend`: None
+- `tpu_num_cores`: None
+- `tpu_metrics_debug`: False
+- `debug`: []
+- `dataloader_drop_last`: False
+- `dataloader_num_workers`: 0
+- `dataloader_prefetch_factor`: None
+- `past_index`: -1
+- `disable_tqdm`: False
+- `remove_unused_columns`: True
+- `label_names`: None
+- `load_best_model_at_end`: True
+- `ignore_data_skip`: False
+- `fsdp`: []
+- `fsdp_min_num_params`: 0
+- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
+- `tp_size`: 0
+- `fsdp_transformer_layer_cls_to_wrap`: None
+- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
+- `deepspeed`: None
+- `label_smoothing_factor`: 0.0
+- `optim`: adamw_torch_fused
+- `optim_args`: None
+- `adafactor`: False
+- `group_by_length`: False
+- `length_column_name`: length
+- `ddp_find_unused_parameters`: None
+- `ddp_bucket_cap_mb`: None
+- `ddp_broadcast_buffers`: False
+- `dataloader_pin_memory`: True
+- `dataloader_persistent_workers`: False
+- `skip_memory_metrics`: True
+- `use_legacy_prediction_loop`: False
+- `push_to_hub`: False
+- `resume_from_checkpoint`: None
+- `hub_model_id`: None
+- `hub_strategy`: every_save
+- `hub_private_repo`: None
+- `hub_always_push`: False
+- `gradient_checkpointing`: False
+- `gradient_checkpointing_kwargs`: None
+- `include_inputs_for_metrics`: False
+- `include_for_metrics`: []
+- `eval_do_concat_batches`: True
+- `fp16_backend`: auto
+- `push_to_hub_model_id`: None
+- `push_to_hub_organization`: None
+- `mp_parameters`: 
+- `auto_find_batch_size`: False
+- `full_determinism`: False
+- `torchdynamo`: None
+- `ray_scope`: last
+- `ddp_timeout`: 1800
+- `torch_compile`: False
+- `torch_compile_backend`: None
+- `torch_compile_mode`: None
+- `include_tokens_per_second`: False
+- `include_num_input_tokens_seen`: False
+- `neftune_noise_alpha`: None
+- `optim_target_modules`: None
+- `batch_eval_metrics`: False
+- `eval_on_start`: False
+- `use_liger_kernel`: False
+- `eval_use_gather_object`: False
+- `average_tokens_across_devices`: False
+- `prompts`: None
+- `batch_sampler`: no_duplicates
+- `multi_dataset_batch_sampler`: proportional
+
+</details>
+
+### Training Logs
+| Epoch      | Step   | Training Loss | dim_768_cosine_ndcg@10 | dim_512_cosine_ndcg@10 | dim_256_cosine_ndcg@10 | dim_128_cosine_ndcg@10 | dim_64_cosine_ndcg@10 |
+|:----------:|:------:|:-------------:|:----------------------:|:----------------------:|:----------------------:|:----------------------:|:---------------------:|
+| 0.8989     | 10     | 15.0991       | -                      | -                      | -                      | -                      | -                     |
+| **0.9888** | **11** | **-**         | **0.736**              | **0.7365**             | **0.7172**             | **0.6958**             | **0.6372**            |
+
+* The bold row denotes the saved checkpoint.
+
+### Framework Versions
+- Python: 3.12.5
+- Sentence Transformers: 4.1.0
+- Transformers: 4.51.3
+- PyTorch: 2.6.0+cu118
+- Accelerate: 1.6.0
+- Datasets: 3.5.1
+- Tokenizers: 0.21.1
+
+## Citation
+
+### BibTeX
+
+#### Sentence Transformers
+```bibtex
+@inproceedings{reimers-2019-sentence-bert,
+    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
+    author = "Reimers, Nils and Gurevych, Iryna",
+    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
+    month = "11",
+    year = "2019",
+    publisher = "Association for Computational Linguistics",
+    url = "https://arxiv.org/abs/1908.10084",
+}
+```
+
+#### MatryoshkaLoss
+```bibtex
+@misc{kusupati2024matryoshka,
+    title={Matryoshka Representation Learning},
+    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
+    year={2024},
+    eprint={2205.13147},
+    archivePrefix={arXiv},
+    primaryClass={cs.LG}
+}
+```
+
+#### MultipleNegativesRankingLoss
+```bibtex
+@misc{henderson2017efficient,
+    title={Efficient Natural Language Response Suggestion for Smart Reply},
+    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
+    year={2017},
+    eprint={1705.00652},
+    archivePrefix={arXiv},
+    primaryClass={cs.CL}
+}
+```
+
+<!--
+## Glossary
+
+*Clearly define terms in order to be accessible across audiences.*
+-->
+
+<!--
+## Model Card Authors
+
+*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
+-->
+
+<!--
+## Model Card Contact
+
+*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
+-->

checkpoint-11/1_Pooling/config.json

@@ -0,0 +1,10 @@
+{
+  "word_embedding_dimension": 768,
+  "pooling_mode_cls_token": false,
+  "pooling_mode_mean_tokens": true,
+  "pooling_mode_max_tokens": false,
+  "pooling_mode_mean_sqrt_len_tokens": false,
+  "pooling_mode_weightedmean_tokens": false,
+  "pooling_mode_lasttoken": false,
+  "include_prompt": true
+}

checkpoint-11/README.md

@@ -0,0 +1,850 @@
+---
+language:
+- en
+license: apache-2.0
+tags:
+- sentence-transformers
+- sentence-similarity
+- feature-extraction
+- generated_from_trainer
+- dataset_size:1421
+- loss:MatryoshkaLoss
+- loss:MultipleNegativesRankingLoss
+base_model: hiieu/halong_embedding
+widget:
+- source_sentence: Dạ chào bác sĩ ,e bị đau tức bụng hông trái lan ra lưng ,xét nghiệm
+    nước tiểu thì protein 1+,hồng cầu 1+ thì có bị sao không bác sĩ
+  sentences:
+  - Trong hầu hết các trường hợp, chứng run do thuốc không phải là tình trạng vĩnh
+    viễn. Khi ngừng thuốc hoặc giảm liều lượng, tình trạng run rẩy thường biến mất.
+    Tuy nhiên, trong một số trường hợp, tình trạng run có thể vẫn tồn tại ngay cả
+    sau khi ngừng thuốc.
+  - Chào em Thường trong nước tiểu không có protein , hồng cầu. Em nên đi khám sâu
+    hơn chuyên khoa thận tiết niệu để phân biệt đặc điểm trên do viêm đường niệu ở
+    vị trí nào em nhé( niệu đạo, thận, bàng quang,.
+  - Tư vấn di truyền có thể giúp những người có nguy cơ sinh con mắc chứng loạn dưỡng
+    cơ Duchenne bằng cách cung cấp thông tin về khả năng truyền gen đột biến và thảo
+    luận về các lựa chọn sinh sản. Ví dụ, nếu cả cha lẫn mẹ đều là người mang gen,
+    họ có thể chọn sử dụng phương pháp thụ tinh trong ống nghiệm và xét nghiệm di
+    truyền để chọn ra những phôi không mang gen đột biến.
+- source_sentence: Siêu âm mắt là gì?
+  sentences:
+  - Bệnh thần kinh ngoại biên có thể gây ra nhiều triệu chứng khác nhau bao gồm tê
+    hoặc ngứa ran ở tay hoặc chân, yếu cơ và đau nhói, rát. Nó cũng có thể gây nhạy
+    cảm khi chạm và khó phối hợp và giữ thăng bằng.
+  - Chao em Chào bác sĩ Ảnh em chụp thì vẫn vàng da. Bs cần hỏi em thêm một số thông
+    tin nữa để kê đơn cho bé.
+  - Siêu âm mắt là một thủ thuật không xâm lấn trong đó sóng âm thanh được sử dụng
+    để tạo ra hình ảnh của mắt. Xét nghiệm này có thể giúp bác sĩ nhìn thấy kích thước,
+    vị trí và hình dạng của bất kỳ khối u nào có thể có trong mắt.
+- source_sentence: Những xét nghiệm này chính xác đến mức nào?
+  sentences:
+  - Hội chứng rụng tóc động kinh oligophrenia của Moynahan hay còn gọi là hội chứng
+    Moynahan, là một rối loạn di truyền hiếm gặp ảnh hưởng đến nhiều hệ thống cơ thể.
+    Các triệu chứng thường gặp bao gồm chậm phát triển, thiểu năng trí tuệ, co giật,
+    rụng tóc và các đặc điểm đặc biệt trên khuôn mặt. Bạn có muốn biết thêm thông
+    tin về bất kỳ triệu chứng cụ thể nào không?
+  - Độ chính xác của các bài kiểm tra có thể khác nhau tùy thuộc vào loại bài kiểm
+    tra và thời điểm thực hiện. Nói chung, các xét nghiệm này có độ chính xác cao
+    và hiếm khi cho kết quả dương tính giả hoặc âm tính giả.
+  - Thật không may, hội chứng Partington không có cách chữa trị. Điều trị tập trung
+    vào việc giảm bớt các triệu chứng và cải thiện chất lượng cuộc sống.
+- source_sentence: bác sĩ ơii, cho em hỏi là những hạt như vậy trong miệng em là gì
+    vậy ạ
+  sentences:
+  - Vâng, có một số biện pháp tự nhiên có thể giúp chữa bệnh tiêu chảy. Ăn thực phẩm
+    giàu men vi sinh như sữa chua có thể giúp phục hồi vi khuẩn khỏe mạnh trong ruột.
+  - Có, các yếu tố nguy cơ khác bao gồm từng bị nhiễm trùng trước đó, mắc bệnh tự
+    miễn và tiếp xúc với một số chất độc hoặc thuốc. Huyết áp cao và hút thuốc cũng
+    được coi là yếu tố nguy cơ.
+  - Chào em Em có đau buốt gì ko em? dạ k ạ Nếu em đã quan hệ bằng miệng rồi, hiện
+    tại ko đau buốt gì nên đi xn HPV miệng em nhé
+- source_sentence: Có xét nghiệm cụ thể nào để chẩn đoán hội chứng này không?
+  sentences:
+  - Entecavir đã được chứng minh là có hiệu quả chủ yếu chống lại HBV kiểu gen A.
+    Tuy nhiên, nó cũng có tác dụng chống lại HBV kiểu gen B và C.
+  - Có, có nhiều lựa chọn điều trị khác nhau tùy thuộc vào tình trạng cụ thể và mức
+    độ nghiêm trọng của các triệu chứng. Điều trị có thể bao gồm các bài tập sàn chậu,
+    dùng thuốc và phẫu thuật.
+  - Có, có những xét nghiệm cụ thể có thể chẩn đoán hội chứng Cockayne loại II. Chúng
+    bao gồm xét nghiệm di truyền, xét nghiệm máu và nước tiểu, cũng như kiểm tra thần
+    kinh.
+pipeline_tag: sentence-similarity
+library_name: sentence-transformers
+metrics:
+- cosine_accuracy@1
+- cosine_accuracy@3
+- cosine_accuracy@5
+- cosine_accuracy@10
+- cosine_precision@1
+- cosine_precision@3
+- cosine_precision@5
+- cosine_precision@10
+- cosine_recall@1
+- cosine_recall@3
+- cosine_recall@5
+- cosine_recall@10
+- cosine_ndcg@10
+- cosine_mrr@10
+- cosine_map@100
+model-index:
+- name: BGE base Financial Matryoshka
+  results:
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 768
+      type: dim_768
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.689873417721519
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.7341772151898734
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.7658227848101266
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.7911392405063291
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.689873417721519
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.24472573839662443
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.1531645569620253
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.07911392405063289
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.689873417721519
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.7341772151898734
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.7658227848101266
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.7911392405063291
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.7359964164308189
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.7186884669479607
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.7231429561762966
+      name: Cosine Map@100
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 512
+      type: dim_512
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.6962025316455697
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.7278481012658228
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.7531645569620253
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.7848101265822784
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.6962025316455697
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.24261603375527424
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.15063291139240503
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.07848101265822782
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.6962025316455697
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.7278481012658228
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.7531645569620253
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.7848101265822784
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.7365237174869693
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.7215340566606389
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.7262381247862028
+      name: Cosine Map@100
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 256
+      type: dim_256
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.6645569620253164
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.7278481012658228
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.7341772151898734
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.7721518987341772
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.6645569620253164
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.24261603375527424
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.14683544303797466
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.0772151898734177
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.6645569620253164
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.7278481012658228
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.7341772151898734
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.7721518987341772
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.717246153733281
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.6999196302993772
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.7049830151644797
+      name: Cosine Map@100
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 128
+      type: dim_128
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.620253164556962
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.7278481012658228
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.740506329113924
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.7658227848101266
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.620253164556962
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.24261603375527424
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.14810126582278477
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.07658227848101265
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.620253164556962
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.7278481012658228
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.740506329113924
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.7658227848101266
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.695814972032374
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.673010849909584
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.6758935313130828
+      name: Cosine Map@100
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 64
+      type: dim_64
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.5632911392405063
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.6518987341772152
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.6835443037974683
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.7151898734177216
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.5632911392405063
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.2172995780590717
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.13670886075949362
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.07151898734177213
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.5632911392405063
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.6518987341772152
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.6835443037974683
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.7151898734177216
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.6372309190806515
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.6125075346594335
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.6183770912827027
+      name: Cosine Map@100
+---
+
+# BGE base Financial Matryoshka
+
+This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [hiieu/halong_embedding](https://huggingface.co/hiieu/halong_embedding) on the json dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
+
+## Model Details
+
+### Model Description
+- **Model Type:** Sentence Transformer
+- **Base model:** [hiieu/halong_embedding](https://huggingface.co/hiieu/halong_embedding) <!-- at revision b57776031035f70ed2030d2e35ecc533eb0f8f71 -->
+- **Maximum Sequence Length:** 512 tokens
+- **Output Dimensionality:** 768 dimensions
+- **Similarity Function:** Cosine Similarity
+- **Training Dataset:**
+    - json
+- **Language:** en
+- **License:** apache-2.0
+
+### Model Sources
+
+- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
+- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
+- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
+
+### Full Model Architecture
+
+```
+SentenceTransformer(
+  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
+  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
+  (2): Normalize()
+)
+```
+
+## Usage
+
+### Direct Usage (Sentence Transformers)
+
+First install the Sentence Transformers library:
+
+```bash
+pip install -U sentence-transformers
+```
+
+Then you can load this model and run inference.
+```python
+from sentence_transformers import SentenceTransformer
+
+# Download from the 🤗 Hub
+model = SentenceTransformer("sentence_transformers_model_id")
+# Run inference
+sentences = [
+    'Có xét nghiệm cụ thể nào để chẩn đoán hội chứng này không?',
+    'Có, có những xét nghiệm cụ thể có thể chẩn đoán hội chứng Cockayne loại II. Chúng bao gồm xét nghiệm di truyền, xét nghiệm máu và nước tiểu, cũng như kiểm tra thần kinh.',
+    'Entecavir đã được chứng minh là có hiệu quả chủ yếu chống lại HBV kiểu gen A. Tuy nhiên, nó cũng có tác dụng chống lại HBV kiểu gen B và C.',
+]
+embeddings = model.encode(sentences)
+print(embeddings.shape)
+# [3, 768]
+
+# Get the similarity scores for the embeddings
+similarities = model.similarity(embeddings, embeddings)
+print(similarities.shape)
+# [3, 3]
+```
+
+<!--
+### Direct Usage (Transformers)
+
+<details><summary>Click to see the direct usage in Transformers</summary>
+
+</details>
+-->
+
+<!--
+### Downstream Usage (Sentence Transformers)
+
+You can finetune this model on your own dataset.
+
+<details><summary>Click to expand</summary>
+
+</details>
+-->
+
+<!--
+### Out-of-Scope Use
+
+*List how the model may foreseeably be misused and address what users ought not to do with the model.*
+-->
+
+## Evaluation
+
+### Metrics
+
+#### Information Retrieval
+
+* Dataset: `dim_768`
+* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator) with these parameters:
+  ```json
+  {
+      "truncate_dim": 768
+  }
+  ```
+
+| Metric              | Value     |
+|:--------------------|:----------|
+| cosine_accuracy@1   | 0.6899    |
+| cosine_accuracy@3   | 0.7342    |
+| cosine_accuracy@5   | 0.7658    |
+| cosine_accuracy@10  | 0.7911    |
+| cosine_precision@1  | 0.6899    |
+| cosine_precision@3  | 0.2447    |
+| cosine_precision@5  | 0.1532    |
+| cosine_precision@10 | 0.0791    |
+| cosine_recall@1     | 0.6899    |
+| cosine_recall@3     | 0.7342    |
+| cosine_recall@5     | 0.7658    |
+| cosine_recall@10    | 0.7911    |
+| **cosine_ndcg@10**  | **0.736** |
+| cosine_mrr@10       | 0.7187    |
+| cosine_map@100      | 0.7231    |
+
+#### Information Retrieval
+
+* Dataset: `dim_512`
+* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator) with these parameters:
+  ```json
+  {
+      "truncate_dim": 512
+  }
+  ```
+
+| Metric              | Value      |
+|:--------------------|:-----------|
+| cosine_accuracy@1   | 0.6962     |
+| cosine_accuracy@3   | 0.7278     |
+| cosine_accuracy@5   | 0.7532     |
+| cosine_accuracy@10  | 0.7848     |
+| cosine_precision@1  | 0.6962     |
+| cosine_precision@3  | 0.2426     |
+| cosine_precision@5  | 0.1506     |
+| cosine_precision@10 | 0.0785     |
+| cosine_recall@1     | 0.6962     |
+| cosine_recall@3     | 0.7278     |
+| cosine_recall@5     | 0.7532     |
+| cosine_recall@10    | 0.7848     |
+| **cosine_ndcg@10**  | **0.7365** |
+| cosine_mrr@10       | 0.7215     |
+| cosine_map@100      | 0.7262     |
+
+#### Information Retrieval
+
+* Dataset: `dim_256`
+* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator) with these parameters:
+  ```json
+  {
+      "truncate_dim": 256
+  }
+  ```
+
+| Metric              | Value      |
+|:--------------------|:-----------|
+| cosine_accuracy@1   | 0.6646     |
+| cosine_accuracy@3   | 0.7278     |
+| cosine_accuracy@5   | 0.7342     |
+| cosine_accuracy@10  | 0.7722     |
+| cosine_precision@1  | 0.6646     |
+| cosine_precision@3  | 0.2426     |
+| cosine_precision@5  | 0.1468     |
+| cosine_precision@10 | 0.0772     |
+| cosine_recall@1     | 0.6646     |
+| cosine_recall@3     | 0.7278     |
+| cosine_recall@5     | 0.7342     |
+| cosine_recall@10    | 0.7722     |
+| **cosine_ndcg@10**  | **0.7172** |
+| cosine_mrr@10       | 0.6999     |
+| cosine_map@100      | 0.705      |
+
+#### Information Retrieval
+
+* Dataset: `dim_128`
+* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator) with these parameters:
+  ```json
+  {
+      "truncate_dim": 128
+  }
+  ```
+
+| Metric              | Value      |
+|:--------------------|:-----------|
+| cosine_accuracy@1   | 0.6203     |
+| cosine_accuracy@3   | 0.7278     |
+| cosine_accuracy@5   | 0.7405     |
+| cosine_accuracy@10  | 0.7658     |
+| cosine_precision@1  | 0.6203     |
+| cosine_precision@3  | 0.2426     |
+| cosine_precision@5  | 0.1481     |
+| cosine_precision@10 | 0.0766     |
+| cosine_recall@1     | 0.6203     |
+| cosine_recall@3     | 0.7278     |
+| cosine_recall@5     | 0.7405     |
+| cosine_recall@10    | 0.7658     |
+| **cosine_ndcg@10**  | **0.6958** |
+| cosine_mrr@10       | 0.673      |
+| cosine_map@100      | 0.6759     |
+
+#### Information Retrieval
+
+* Dataset: `dim_64`
+* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator) with these parameters:
+  ```json
+  {
+      "truncate_dim": 64
+  }
+  ```
+
+| Metric              | Value      |
+|:--------------------|:-----------|
+| cosine_accuracy@1   | 0.5633     |
+| cosine_accuracy@3   | 0.6519     |
+| cosine_accuracy@5   | 0.6835     |
+| cosine_accuracy@10  | 0.7152     |
+| cosine_precision@1  | 0.5633     |
+| cosine_precision@3  | 0.2173     |
+| cosine_precision@5  | 0.1367     |
+| cosine_precision@10 | 0.0715     |
+| cosine_recall@1     | 0.5633     |
+| cosine_recall@3     | 0.6519     |
+| cosine_recall@5     | 0.6835     |
+| cosine_recall@10    | 0.7152     |
+| **cosine_ndcg@10**  | **0.6372** |
+| cosine_mrr@10       | 0.6125     |
+| cosine_map@100      | 0.6184     |
+
+<!--
+## Bias, Risks and Limitations
+
+*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
+-->
+
+<!--
+### Recommendations
+
+*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
+-->
+
+## Training Details
+
+### Training Dataset
+
+#### json
+
+* Dataset: json
+* Size: 1,421 training samples
+* Columns: <code>anchor</code> and <code>positive</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | anchor                                                                             | positive                                                                            |
+  |:--------|:-----------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|
+  | type    | string                                                                             | string                                                                              |
+  | details | <ul><li>min: 3 tokens</li><li>mean: 25.07 tokens</li><li>max: 128 tokens</li></ul> | <ul><li>min: 30 tokens</li><li>mean: 71.48 tokens</li><li>max: 512 tokens</li></ul> |
+* Samples:
+  | anchor                                                                                                                                 | positive                                                                                                                                                                                                                                                                                                                                                            |
+  |:---------------------------------------------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>Làm cách nào để ngăn ngừa chứng loạn sản thận?</code>                                                                            | <code>Thật không may, chứng loạn sản thận không thể ngăn ngừa được vì đây là một tình trạng bẩm sinh xảy ra trong quá trình phát triển của thai nhi. Tuy nhiên, việc phát hiện và điều trị sớm có thể giúp kiểm soát tình trạng và ngăn ngừa các biến chứng.</code>                                                                                                 |
+  | <code>Có bất kỳ biến chứng nào liên quan đến cây nhiệt đới không?</code>                                                               | <code>Có, những trường hợp nặng của bệnh nhiệt đới có thể dẫn đến suy dinh dưỡng, thiếu máu và các biến chứng khác. Điều quan trọng là phải tìm cách điều trị y tế càng sớm càng tốt nếu bạn nghi ngờ mình mắc bệnh Nhiệt đới.</code>                                                                                                                               |
+  | <code>Tôi cần một số thông tin về cách bảo quản và tiêu hủy Fluoxetine. Bạn có thể vui lòng cho tôi biết những gì tôi nên biết?</code> | <code>Fluoxetine nên được bảo quản ở nhiệt độ phòng, tránh ẩm và nóng. Nó nên được giữ trong hộp đựng ban đầu và tránh xa tầm tay trẻ em và vật nuôi. Về việc thải bỏ, bạn nên tuân theo các hướng dẫn do nhà cung cấp dịch vụ chăm sóc sức khỏe hoặc dược sĩ của bạn cung cấp. Điều quan trọng là không xả Fluoxetine xuống bồn cầu hoặc vứt vào thùng rác.</code> |
+* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters:
+  ```json
+  {
+      "loss": "MultipleNegativesRankingLoss",
+      "matryoshka_dims": [
+          768,
+          512,
+          256,
+          128,
+          64
+      ],
+      "matryoshka_weights": [
+          1,
+          1,
+          1,
+          1,
+          1
+      ],
+      "n_dims_per_step": -1
+  }
+  ```
+
+### Training Hyperparameters
+#### Non-Default Hyperparameters
+
+- `eval_strategy`: epoch
+- `per_device_train_batch_size`: 16
+- `gradient_accumulation_steps`: 8
+- `learning_rate`: 2e-05
+- `num_train_epochs`: 1
+- `lr_scheduler_type`: cosine
+- `warmup_ratio`: 0.1
+- `bf16`: True
+- `load_best_model_at_end`: True
+- `optim`: adamw_torch_fused
+- `batch_sampler`: no_duplicates
+
+#### All Hyperparameters
+<details><summary>Click to expand</summary>
+
+- `overwrite_output_dir`: False
+- `do_predict`: False
+- `eval_strategy`: epoch
+- `prediction_loss_only`: True
+- `per_device_train_batch_size`: 16
+- `per_device_eval_batch_size`: 8
+- `per_gpu_train_batch_size`: None
+- `per_gpu_eval_batch_size`: None
+- `gradient_accumulation_steps`: 8
+- `eval_accumulation_steps`: None
+- `torch_empty_cache_steps`: None
+- `learning_rate`: 2e-05
+- `weight_decay`: 0.0
+- `adam_beta1`: 0.9
+- `adam_beta2`: 0.999
+- `adam_epsilon`: 1e-08
+- `max_grad_norm`: 1.0
+- `num_train_epochs`: 1
+- `max_steps`: -1
+- `lr_scheduler_type`: cosine
+- `lr_scheduler_kwargs`: {}
+- `warmup_ratio`: 0.1
+- `warmup_steps`: 0
+- `log_level`: passive
+- `log_level_replica`: warning
+- `log_on_each_node`: True
+- `logging_nan_inf_filter`: True
+- `save_safetensors`: True
+- `save_on_each_node`: False
+- `save_only_model`: False
+- `restore_callback_states_from_checkpoint`: False
+- `no_cuda`: False
+- `use_cpu`: False
+- `use_mps_device`: False
+- `seed`: 42
+- `data_seed`: None
+- `jit_mode_eval`: False
+- `use_ipex`: False
+- `bf16`: True
+- `fp16`: False
+- `fp16_opt_level`: O1
+- `half_precision_backend`: auto
+- `bf16_full_eval`: False
+- `fp16_full_eval`: False
+- `tf32`: None
+- `local_rank`: 0
+- `ddp_backend`: None
+- `tpu_num_cores`: None
+- `tpu_metrics_debug`: False
+- `debug`: []
+- `dataloader_drop_last`: False
+- `dataloader_num_workers`: 0
+- `dataloader_prefetch_factor`: None
+- `past_index`: -1
+- `disable_tqdm`: False
+- `remove_unused_columns`: True
+- `label_names`: None
+- `load_best_model_at_end`: True
+- `ignore_data_skip`: False
+- `fsdp`: []
+- `fsdp_min_num_params`: 0
+- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
+- `tp_size`: 0
+- `fsdp_transformer_layer_cls_to_wrap`: None
+- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
+- `deepspeed`: None
+- `label_smoothing_factor`: 0.0
+- `optim`: adamw_torch_fused
+- `optim_args`: None
+- `adafactor`: False
+- `group_by_length`: False
+- `length_column_name`: length
+- `ddp_find_unused_parameters`: None
+- `ddp_bucket_cap_mb`: None
+- `ddp_broadcast_buffers`: False
+- `dataloader_pin_memory`: True
+- `dataloader_persistent_workers`: False
+- `skip_memory_metrics`: True
+- `use_legacy_prediction_loop`: False
+- `push_to_hub`: False
+- `resume_from_checkpoint`: None
+- `hub_model_id`: None
+- `hub_strategy`: every_save
+- `hub_private_repo`: None
+- `hub_always_push`: False
+- `gradient_checkpointing`: False
+- `gradient_checkpointing_kwargs`: None
+- `include_inputs_for_metrics`: False
+- `include_for_metrics`: []
+- `eval_do_concat_batches`: True
+- `fp16_backend`: auto
+- `push_to_hub_model_id`: None
+- `push_to_hub_organization`: None
+- `mp_parameters`: 
+- `auto_find_batch_size`: False
+- `full_determinism`: False
+- `torchdynamo`: None
+- `ray_scope`: last
+- `ddp_timeout`: 1800
+- `torch_compile`: False
+- `torch_compile_backend`: None
+- `torch_compile_mode`: None
+- `include_tokens_per_second`: False
+- `include_num_input_tokens_seen`: False
+- `neftune_noise_alpha`: None
+- `optim_target_modules`: None
+- `batch_eval_metrics`: False
+- `eval_on_start`: False
+- `use_liger_kernel`: False
+- `eval_use_gather_object`: False
+- `average_tokens_across_devices`: False
+- `prompts`: None
+- `batch_sampler`: no_duplicates
+- `multi_dataset_batch_sampler`: proportional
+
+</details>
+
+### Training Logs
+| Epoch  | Step | Training Loss | dim_768_cosine_ndcg@10 | dim_512_cosine_ndcg@10 | dim_256_cosine_ndcg@10 | dim_128_cosine_ndcg@10 | dim_64_cosine_ndcg@10 |
+|:------:|:----:|:-------------:|:----------------------:|:----------------------:|:----------------------:|:----------------------:|:---------------------:|
+| 0.8989 | 10   | 15.0991       | -                      | -                      | -                      | -                      | -                     |
+| 0.9888 | 11   | -             | 0.7360                 | 0.7365                 | 0.7172                 | 0.6958                 | 0.6372                |
+
+
+### Framework Versions
+- Python: 3.12.5
+- Sentence Transformers: 4.1.0
+- Transformers: 4.51.3
+- PyTorch: 2.6.0+cu118
+- Accelerate: 1.6.0
+- Datasets: 3.5.1
+- Tokenizers: 0.21.1
+
+## Citation
+
+### BibTeX
+
+#### Sentence Transformers
+```bibtex
+@inproceedings{reimers-2019-sentence-bert,
+    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
+    author = "Reimers, Nils and Gurevych, Iryna",
+    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
+    month = "11",
+    year = "2019",
+    publisher = "Association for Computational Linguistics",
+    url = "https://arxiv.org/abs/1908.10084",
+}
+```
+
+#### MatryoshkaLoss
+```bibtex
+@misc{kusupati2024matryoshka,
+    title={Matryoshka Representation Learning},
+    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
+    year={2024},
+    eprint={2205.13147},
+    archivePrefix={arXiv},
+    primaryClass={cs.LG}
+}
+```
+
+#### MultipleNegativesRankingLoss
+```bibtex
+@misc{henderson2017efficient,
+    title={Efficient Natural Language Response Suggestion for Smart Reply},
+    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
+    year={2017},
+    eprint={1705.00652},
+    archivePrefix={arXiv},
+    primaryClass={cs.CL}
+}
+```
+
+<!--
+## Glossary
+
+*Clearly define terms in order to be accessible across audiences.*
+-->
+
+<!--
+## Model Card Authors
+
+*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
+-->
+
+<!--
+## Model Card Contact
+
+*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
+-->

checkpoint-11/config.json

@@ -0,0 +1,27 @@
+{
+  "architectures": [
+    "XLMRobertaModel"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "bos_token_id": 0,
+  "classifier_dropout": null,
+  "eos_token_id": 2,
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 768,
+  "initializer_range": 0.02,
+  "intermediate_size": 3072,
+  "layer_norm_eps": 1e-05,
+  "max_position_embeddings": 514,
+  "model_type": "xlm-roberta",
+  "num_attention_heads": 12,
+  "num_hidden_layers": 12,
+  "output_past": true,
+  "pad_token_id": 1,
+  "position_embedding_type": "absolute",
+  "torch_dtype": "float32",
+  "transformers_version": "4.51.3",
+  "type_vocab_size": 1,
+  "use_cache": true,
+  "vocab_size": 250002
+}

checkpoint-11/config_sentence_transformers.json

@@ -0,0 +1,10 @@
+{
+  "__version__": {
+    "sentence_transformers": "4.1.0",
+    "transformers": "4.51.3",
+    "pytorch": "2.6.0+cu118"
+  },
+  "prompts": {},
+  "default_prompt_name": null,
+  "similarity_fn_name": "cosine"
+}

checkpoint-11/model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:6d7e63314d7f5685fc3d39440bc58b3fddccd5f2e041b5d9aff3955f9ec3a54a
+size 1112197096

checkpoint-11/modules.json

@@ -0,0 +1,20 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  },
+  {
+    "idx": 2,
+    "name": "2",
+    "path": "2_Normalize",
+    "type": "sentence_transformers.models.Normalize"
+  }
+]

checkpoint-11/optimizer.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:ceca402f6206054f3ea720912b1718da98de47416d52345eb2628373ea674040
+size 2219791994

checkpoint-11/rng_state.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d30be5ae5e26b587a8655c5e2f949708f79be389e263edf2ea04393e2afe08f4
+size 14244

checkpoint-11/scheduler.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:31b9a2943017389cf3a1d7039e2179da81ee83e86ec09213c33b7faafc253434
+size 1064

checkpoint-11/sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+  "max_seq_length": 512,
+  "do_lower_case": false
+}

checkpoint-11/special_tokens_map.json

@@ -0,0 +1,51 @@
+{
+  "bos_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "cls_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "<mask>",
+    "lstrip": true,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "<pad>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "<unk>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

checkpoint-11/tokenizer.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:883b037111086fd4dfebbbc9b7cee11e1517b5e0c0514879478661440f137085
+size 17082987

checkpoint-11/tokenizer_config.json

@@ -0,0 +1,62 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "<s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "<pad>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "</s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "<unk>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "250001": {
+      "content": "<mask>",
+      "lstrip": true,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "bos_token": "<s>",
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "<s>",
+  "eos_token": "</s>",
+  "extra_special_tokens": {},
+  "mask_token": "<mask>",
+  "max_length": 512,
+  "model_max_length": 512,
+  "pad_to_multiple_of": null,
+  "pad_token": "<pad>",
+  "pad_token_type_id": 0,
+  "padding_side": "right",
+  "sep_token": "</s>",
+  "stride": 0,
+  "tokenizer_class": "XLMRobertaTokenizerFast",
+  "truncation_side": "right",
+  "truncation_strategy": "longest_first",
+  "unk_token": "<unk>"
+}

checkpoint-11/trainer_state.json

@@ -0,0 +1,124 @@
+{
+  "best_global_step": 11,
+  "best_metric": 0.695814972032374,
+  "best_model_checkpoint": "medical_embedding_vietnamese\\checkpoint-11",
+  "epoch": 0.9887640449438202,
+  "eval_steps": 500,
+  "global_step": 11,
+  "is_hyper_param_search": false,
+  "is_local_process_zero": true,
+  "is_world_process_zero": true,
+  "log_history": [
+    {
+      "epoch": 0.898876404494382,
+      "grad_norm": 171.29739379882812,
+      "learning_rate": 2.339555568810221e-06,
+      "loss": 15.0991,
+      "step": 10
+    },
+    {
+      "epoch": 0.9887640449438202,
+      "eval_dim_128_cosine_accuracy@1": 0.620253164556962,
+      "eval_dim_128_cosine_accuracy@10": 0.7658227848101266,
+      "eval_dim_128_cosine_accuracy@3": 0.7278481012658228,
+      "eval_dim_128_cosine_accuracy@5": 0.740506329113924,
+      "eval_dim_128_cosine_map@100": 0.6758935313130828,
+      "eval_dim_128_cosine_mrr@10": 0.673010849909584,
+      "eval_dim_128_cosine_ndcg@10": 0.695814972032374,
+      "eval_dim_128_cosine_precision@1": 0.620253164556962,
+      "eval_dim_128_cosine_precision@10": 0.07658227848101265,
+      "eval_dim_128_cosine_precision@3": 0.24261603375527424,
+      "eval_dim_128_cosine_precision@5": 0.14810126582278477,
+      "eval_dim_128_cosine_recall@1": 0.620253164556962,
+      "eval_dim_128_cosine_recall@10": 0.7658227848101266,
+      "eval_dim_128_cosine_recall@3": 0.7278481012658228,
+      "eval_dim_128_cosine_recall@5": 0.740506329113924,
+      "eval_dim_256_cosine_accuracy@1": 0.6645569620253164,
+      "eval_dim_256_cosine_accuracy@10": 0.7721518987341772,
+      "eval_dim_256_cosine_accuracy@3": 0.7278481012658228,
+      "eval_dim_256_cosine_accuracy@5": 0.7341772151898734,
+      "eval_dim_256_cosine_map@100": 0.7049830151644797,
+      "eval_dim_256_cosine_mrr@10": 0.6999196302993772,
+      "eval_dim_256_cosine_ndcg@10": 0.717246153733281,
+      "eval_dim_256_cosine_precision@1": 0.6645569620253164,
+      "eval_dim_256_cosine_precision@10": 0.0772151898734177,
+      "eval_dim_256_cosine_precision@3": 0.24261603375527424,
+      "eval_dim_256_cosine_precision@5": 0.14683544303797466,
+      "eval_dim_256_cosine_recall@1": 0.6645569620253164,
+      "eval_dim_256_cosine_recall@10": 0.7721518987341772,
+      "eval_dim_256_cosine_recall@3": 0.7278481012658228,
+      "eval_dim_256_cosine_recall@5": 0.7341772151898734,
+      "eval_dim_512_cosine_accuracy@1": 0.6962025316455697,
+      "eval_dim_512_cosine_accuracy@10": 0.7848101265822784,
+      "eval_dim_512_cosine_accuracy@3": 0.7278481012658228,
+      "eval_dim_512_cosine_accuracy@5": 0.7531645569620253,
+      "eval_dim_512_cosine_map@100": 0.7262381247862028,
+      "eval_dim_512_cosine_mrr@10": 0.7215340566606389,
+      "eval_dim_512_cosine_ndcg@10": 0.7365237174869693,
+      "eval_dim_512_cosine_precision@1": 0.6962025316455697,
+      "eval_dim_512_cosine_precision@10": 0.07848101265822782,
+      "eval_dim_512_cosine_precision@3": 0.24261603375527424,
+      "eval_dim_512_cosine_precision@5": 0.15063291139240503,
+      "eval_dim_512_cosine_recall@1": 0.6962025316455697,
+      "eval_dim_512_cosine_recall@10": 0.7848101265822784,
+      "eval_dim_512_cosine_recall@3": 0.7278481012658228,
+      "eval_dim_512_cosine_recall@5": 0.7531645569620253,
+      "eval_dim_64_cosine_accuracy@1": 0.5632911392405063,
+      "eval_dim_64_cosine_accuracy@10": 0.7151898734177216,
+      "eval_dim_64_cosine_accuracy@3": 0.6518987341772152,
+      "eval_dim_64_cosine_accuracy@5": 0.6835443037974683,
+      "eval_dim_64_cosine_map@100": 0.6183770912827027,
+      "eval_dim_64_cosine_mrr@10": 0.6125075346594335,
+      "eval_dim_64_cosine_ndcg@10": 0.6372309190806515,
+      "eval_dim_64_cosine_precision@1": 0.5632911392405063,
+      "eval_dim_64_cosine_precision@10": 0.07151898734177213,
+      "eval_dim_64_cosine_precision@3": 0.2172995780590717,
+      "eval_dim_64_cosine_precision@5": 0.13670886075949362,
+      "eval_dim_64_cosine_recall@1": 0.5632911392405063,
+      "eval_dim_64_cosine_recall@10": 0.7151898734177216,
+      "eval_dim_64_cosine_recall@3": 0.6518987341772152,
+      "eval_dim_64_cosine_recall@5": 0.6835443037974683,
+      "eval_dim_768_cosine_accuracy@1": 0.689873417721519,
+      "eval_dim_768_cosine_accuracy@10": 0.7911392405063291,
+      "eval_dim_768_cosine_accuracy@3": 0.7341772151898734,
+      "eval_dim_768_cosine_accuracy@5": 0.7658227848101266,
+      "eval_dim_768_cosine_map@100": 0.7231429561762966,
+      "eval_dim_768_cosine_mrr@10": 0.7186884669479607,
+      "eval_dim_768_cosine_ndcg@10": 0.7359964164308189,
+      "eval_dim_768_cosine_precision@1": 0.689873417721519,
+      "eval_dim_768_cosine_precision@10": 0.07911392405063289,
+      "eval_dim_768_cosine_precision@3": 0.24472573839662443,
+      "eval_dim_768_cosine_precision@5": 0.1531645569620253,
+      "eval_dim_768_cosine_recall@1": 0.689873417721519,
+      "eval_dim_768_cosine_recall@10": 0.7911392405063291,
+      "eval_dim_768_cosine_recall@3": 0.7341772151898734,
+      "eval_dim_768_cosine_recall@5": 0.7658227848101266,
+      "eval_runtime": 27.5674,
+      "eval_samples_per_second": 0.0,
+      "eval_sequential_score": 0.6372309190806515,
+      "eval_steps_per_second": 0.0,
+      "step": 11
+    }
+  ],
+  "logging_steps": 10,
+  "max_steps": 11,
+  "num_input_tokens_seen": 0,
+  "num_train_epochs": 1,
+  "save_steps": 500,
+  "stateful_callbacks": {
+    "TrainerControl": {
+      "args": {
+        "should_epoch_stop": false,
+        "should_evaluate": false,
+        "should_log": false,
+        "should_save": true,
+        "should_training_stop": true
+      },
+      "attributes": {}
+    }
+  },
+  "total_flos": 0.0,
+  "train_batch_size": 16,
+  "trial_name": null,
+  "trial_params": null
+}

checkpoint-11/training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:e45857aeb3b81c769a093eeea76b911fa94a5ee3b0ecbcd96ce4c0317642722d
+size 5624

config.json

@@ -0,0 +1,27 @@
+{
+  "architectures": [
+    "XLMRobertaModel"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "bos_token_id": 0,
+  "classifier_dropout": null,
+  "eos_token_id": 2,
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 768,
+  "initializer_range": 0.02,
+  "intermediate_size": 3072,
+  "layer_norm_eps": 1e-05,
+  "max_position_embeddings": 514,
+  "model_type": "xlm-roberta",
+  "num_attention_heads": 12,
+  "num_hidden_layers": 12,
+  "output_past": true,
+  "pad_token_id": 1,
+  "position_embedding_type": "absolute",
+  "torch_dtype": "float32",
+  "transformers_version": "4.51.3",
+  "type_vocab_size": 1,
+  "use_cache": true,
+  "vocab_size": 250002
+}

config_sentence_transformers.json

@@ -0,0 +1,10 @@
+{
+  "__version__": {
+    "sentence_transformers": "4.1.0",
+    "transformers": "4.51.3",
+    "pytorch": "2.6.0+cu118"
+  },
+  "prompts": {},
+  "default_prompt_name": null,
+  "similarity_fn_name": "cosine"
+}

eval/Information-Retrieval_evaluation_dim_128_results.csv

@@ -0,0 +1,2 @@
+epoch,steps,cosine-Accuracy@1,cosine-Accuracy@3,cosine-Accuracy@5,cosine-Accuracy@10,cosine-Precision@1,cosine-Recall@1,cosine-Precision@3,cosine-Recall@3,cosine-Precision@5,cosine-Recall@5,cosine-Precision@10,cosine-Recall@10,cosine-MRR@10,cosine-NDCG@10,cosine-MAP@100
+0.9887640449438202,11,0.620253164556962,0.7278481012658228,0.740506329113924,0.7658227848101266,0.620253164556962,0.620253164556962,0.24261603375527424,0.7278481012658228,0.14810126582278477,0.740506329113924,0.07658227848101265,0.7658227848101266,0.673010849909584,0.695814972032374,0.6758935313130828

eval/Information-Retrieval_evaluation_dim_256_results.csv

@@ -0,0 +1,2 @@
+epoch,steps,cosine-Accuracy@1,cosine-Accuracy@3,cosine-Accuracy@5,cosine-Accuracy@10,cosine-Precision@1,cosine-Recall@1,cosine-Precision@3,cosine-Recall@3,cosine-Precision@5,cosine-Recall@5,cosine-Precision@10,cosine-Recall@10,cosine-MRR@10,cosine-NDCG@10,cosine-MAP@100
+0.9887640449438202,11,0.6645569620253164,0.7278481012658228,0.7341772151898734,0.7721518987341772,0.6645569620253164,0.6645569620253164,0.24261603375527424,0.7278481012658228,0.14683544303797466,0.7341772151898734,0.0772151898734177,0.7721518987341772,0.6999196302993772,0.717246153733281,0.7049830151644797

eval/Information-Retrieval_evaluation_dim_512_results.csv

@@ -0,0 +1,2 @@
+epoch,steps,cosine-Accuracy@1,cosine-Accuracy@3,cosine-Accuracy@5,cosine-Accuracy@10,cosine-Precision@1,cosine-Recall@1,cosine-Precision@3,cosine-Recall@3,cosine-Precision@5,cosine-Recall@5,cosine-Precision@10,cosine-Recall@10,cosine-MRR@10,cosine-NDCG@10,cosine-MAP@100
+0.9887640449438202,11,0.6962025316455697,0.7278481012658228,0.7531645569620253,0.7848101265822784,0.6962025316455697,0.6962025316455697,0.24261603375527424,0.7278481012658228,0.15063291139240503,0.7531645569620253,0.07848101265822782,0.7848101265822784,0.7215340566606389,0.7365237174869693,0.7262381247862028

eval/Information-Retrieval_evaluation_dim_64_results.csv

@@ -0,0 +1,2 @@
+epoch,steps,cosine-Accuracy@1,cosine-Accuracy@3,cosine-Accuracy@5,cosine-Accuracy@10,cosine-Precision@1,cosine-Recall@1,cosine-Precision@3,cosine-Recall@3,cosine-Precision@5,cosine-Recall@5,cosine-Precision@10,cosine-Recall@10,cosine-MRR@10,cosine-NDCG@10,cosine-MAP@100
+0.9887640449438202,11,0.5632911392405063,0.6518987341772152,0.6835443037974683,0.7151898734177216,0.5632911392405063,0.5632911392405063,0.2172995780590717,0.6518987341772152,0.13670886075949362,0.6835443037974683,0.07151898734177213,0.7151898734177216,0.6125075346594335,0.6372309190806515,0.6183770912827027

eval/Information-Retrieval_evaluation_dim_768_results.csv

@@ -0,0 +1,2 @@
+epoch,steps,cosine-Accuracy@1,cosine-Accuracy@3,cosine-Accuracy@5,cosine-Accuracy@10,cosine-Precision@1,cosine-Recall@1,cosine-Precision@3,cosine-Recall@3,cosine-Precision@5,cosine-Recall@5,cosine-Precision@10,cosine-Recall@10,cosine-MRR@10,cosine-NDCG@10,cosine-MAP@100
+0.9887640449438202,11,0.689873417721519,0.7341772151898734,0.7658227848101266,0.7911392405063291,0.689873417721519,0.689873417721519,0.24472573839662443,0.7341772151898734,0.1531645569620253,0.7658227848101266,0.07911392405063289,0.7911392405063291,0.7186884669479607,0.7359964164308189,0.7231429561762966

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:6d7e63314d7f5685fc3d39440bc58b3fddccd5f2e041b5d9aff3955f9ec3a54a
+size 1112197096

modules.json

@@ -0,0 +1,20 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  },
+  {
+    "idx": 2,
+    "name": "2",
+    "path": "2_Normalize",
+    "type": "sentence_transformers.models.Normalize"
+  }
+]

sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+  "max_seq_length": 512,
+  "do_lower_case": false
+}

special_tokens_map.json

@@ -0,0 +1,51 @@
+{
+  "bos_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "cls_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "<mask>",
+    "lstrip": true,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "<pad>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "<unk>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:883b037111086fd4dfebbbc9b7cee11e1517b5e0c0514879478661440f137085
+size 17082987

tokenizer_config.json

@@ -0,0 +1,62 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "<s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "<pad>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "</s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "<unk>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "250001": {
+      "content": "<mask>",
+      "lstrip": true,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "bos_token": "<s>",
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "<s>",
+  "eos_token": "</s>",
+  "extra_special_tokens": {},
+  "mask_token": "<mask>",
+  "max_length": 512,
+  "model_max_length": 512,
+  "pad_to_multiple_of": null,
+  "pad_token": "<pad>",
+  "pad_token_type_id": 0,
+  "padding_side": "right",
+  "sep_token": "</s>",
+  "stride": 0,
+  "tokenizer_class": "XLMRobertaTokenizerFast",
+  "truncation_side": "right",
+  "truncation_strategy": "longest_first",
+  "unk_token": "<unk>"
+}

training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:e45857aeb3b81c769a093eeea76b911fa94a5ee3b0ecbcd96ce4c0317642722d
+size 5624