Hugging Face's logo

TARARARAK
/
HGU_rulebook-fine-tuned-Kure-v1_ContrastiveLoss

Sentence Similarity
sentence-transformers
Safetensors
xlm-roberta
feature-extraction
Generated from Trainer
dataset_size:2303
loss:ContrastiveLoss
text-embeddings-inference
Model card Files Community

SentenceTransformer based on nlpai-lab/KURE-v1

This is a sentence-transformers model finetuned from nlpai-lab/KURE-v1. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: nlpai-lab/KURE-v1
  • Maximum Sequence Length: 1024 tokens
  • Output Dimensionality: 1024 dimensions
  • Similarity Function: Cosine Similarity

Model Sources

Full Model Architecture 

SentenceTransformer(
  (0): Transformer({'max_seq_length': 1024, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    '한동대학교 학칙의 목적은 무엇인가요?',
    '제 15 장 장학금\n\n제 66 조 (장학금)\n이 대학교 학생중 품행이 방정하고 학업성적이 우수한 자와 가계곤란으로 학업계속에 지장이 있는 학생에 대하여는 장학금을 지급할 수 있다.\n장학금 지급에 관한 세부사항은 총장이 따로 정한다.\n\n\n',
    '제 13 장 포상 및 징계\n\n제 59조 (포샹)\n학업성적이 우수하거나 선행이 있어 타의 모범이 되는 학생에 대하여는 포상할 수 있다.\n\n제 60 조 (징계)\n학생이 다음 각호의 1에 해당할 때에는 징계할 수 있다.\n품행이 불량하여 개전의 정이 없다고 인정된 자\n이 학칙 제56조의 규정을 위반한 자\n면학질서를 방해하거나 학교시설을 파괴 또는 훼손한 자\n성희롱으로 간주되어 물의를 일으킨 자\n기타 학칙을 위반한 자.\n기타 징계의 종류와 절차에 관한 사항은 학생지도위원회의 의결을 거쳐 총장이 따로 정한다.\n\n\n',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

  • Size: 2,303 training samples
  • Columns: sentence_0, sentence_1, and label
  • Approximate statistics based on the first 1000 samples:
    sentence_0 sentence_1 label
    type string string float
    details
    • min: 9 tokens
    • mean: 17.31 tokens
    • max: 29 tokens
    • min: 25 tokens
    • mean: 442.78 tokens
    • max: 1024 tokens
    • min: 0.0
    • mean: 0.14
    • max: 1.0
  • Samples:
    sentence_0 sentence_1 label
    학칙 개정 과정에서 교무회의의 역할은 무엇인가요? 제 17 장 교수회

    제 68 조 (기능)
    학사에 관한 중요사항 등을 심의하기 위하여 교수회를 둔다.

    제 69 조 (구성)
    교수회는 조교수 이상의 전임교원으로 구성한다.

    제 70 조 (소집)
    교수회는 총장이 소집하고 그 의장이 된다. 다만, 전체 교수의 3분의 1이상이 소집을 요청할 때에는 총장은 지체없이 소집하여야 한다.
    총장은 필요시 학사부총장, 기획처장, 교무처장 순으로 의장을 대행하게 할 수 있다.

    제 71 조 (심의사항)
    교수회는 특별한 규정이 없는한 다음 사항을 심의한다.
    입학에 관한 사항
    수업 및 연구에 관한 사항
    교과과정에 관한 사항
    학생의 지도 및 징계에 관한 사항
    장학 및 후생에 관한 사항
    졸업 및 수료에 관한 사항
    기타 대학운영에 관한 중요한 사항

    제 72 조 (회의)
    교수회는 재적인원 과반수의 출석과 출석인원 과반수의 찬성으로 의결한다.


    		 0.0
    한동대학교의 시험 운영 규칙은 무엇인가요? 제 10 장 수료 및 졸업

    제 45 조 (졸업)
    이 학칙에서 정한 소정의 전과정을 이수하고 전체 성적 평점평균이 2.0 이상이며, 졸업요건을 충족한 자에게는 별지 제1호 서식의 학 위증을 수여한다.
    제1항의 규정에도 불구하고 본인의 신청에 따라 최대 1년간 졸업을 연기할 수 있으며 이의 시행에 관한 세부사항은 총장이 따로 정한 다.
    학위과정 재적 중 부득이한 사유로 졸업에 필요한 소정의 과정을 이수하지 못한 자 중 특별한 사유가 있는 자에게 명예졸업증서를 수여할 수 있다.
    명예졸업에 관한 세부사항은 따로 정한다.

    제 46 조 (학위수여)
    졸업자에게는 다음 각호와 같은 학위를 수여한다.
    문학사 : 국제어문학부 영어전공, 커뮤니케이션학부, 상담심리사회복지학부, 창의융합교육원 글로벌한국학(한국어교육)전공, 글로벌한 국학(한국언어문화)전공
    경영학사 : 경영경제학부 경영학전공, Global Management 전공
    경제학사 : 경영경제학부 경제학전공
    법학사 : 법학부
    정치학사 : 국제어문학부 국제지역학전공
    공학사 : 기계제어공학부, 공간환경시스템공학부, 콘텐츠융합디자인학부 제품디자인전공, ICT창업학부, 전산전자공학부 Information Technology 전공, 컴퓨터공학 전공, 전자공학 전공, AI융합교육원 AI융합전공
    미술학사 : 콘텐츠융합디자인학부 시각디자인전공
    이학사 : 생명과학부, 창의융합교육원 수학통계전공, AI융합전공 데이터사이언스전공
    창의융합교육원 학생설계융합전공과 글로벌융합전공의 졸업요건을 모두 충족하였을 때에는 학생이 이 대학 학위수여 범위 안에서 자 율적으로 신청 한 학위를 관련위원회의 심의를 거쳐 수여한다.
    공학사(전자공학심화) : 전산전자공학부 전자공학심화 전공
    공학사(AI·컴퓨터공학심화) : 전산전자공학부 AI·컴퓨터공학심화 전공
    모듈형설계전공의 학위수여는 총장이 따로 정한다.
    제46조의 2(협약에 의한 학위 수여)
    외국대학과의 협약에 의하여 이 대학교의 교육과정을 외국대학과 공동으로 운영할 수 있으며, 이를 이수한 학생에게 학위를 수여...    		 0.0
    예체능 관련 과목의 학점 기준은 어떻게 되나요? 제 8 장 부전공 및 복수전공

    제 37 조 (부전공)
    개설 전공이 있는 경우에 해당 전공의 부전공을 허용하는 것을 원칙으로 하되, 총장이 특별히 필요하다고 인정하는 경우에는 개설 전공 없이 부전공만을 운영하는 교과과정을 둘 수 있다.
    소정의 절차를 밟아 부전공으로 21학점이상 취득한 자에게 부전공 이수를 인정하고 학적부와 졸업증서에 이를 표시한다.
    부전공 운영에 관한 사항은 총장이 따로 정한다.

    제 38 조 (전공 등)
    학생은 복수(연계)전공으로 1전공 33학점 이상, 2전공 33학점 이상 이수함을 원칙으로 한다. 다만, 전공심화 교육을 위하여 복수 전공 (심화형)(45학점+33학점), 주전공 부전공( 45학점+21학점), 단수 심화 전공 (60학점 이상)을 허용할 수 있다.
    복수(연계)전공, 복수 전공(심화형), 주전공 부전공, 단수 심화 전공 허용 및 전공운영 기준은 총장이 따로 정한다.
    학생설계융합전공과 글로벌융합전공은 학제적 교과과정을 학생 스스로 구성하여 승인 받은 전공을 이수하는 것으로, 취득학점은 당해 학과(부)의 전공 이수학점 이상이어야 하며, 기타 시행에 필요한 사항은 총장이 따로 정한다.
    모듈형설계전공은 복수의 모듈 교육과정을 선택하여 이수하는 전공 교육과정으로 기타 시행에 필요한 사항은 총장이 따로 정한다.
    제38조의 2(모듈 교육과정, 전공 및 융복합 영역의 특화분야 인정 및 표기) 총장은 학생이 이수한 모듈 교육과정과 전공과목 및 융복합 영역의 특정분야에 특화 되어 있다고 인정할 경우 학적부, 졸업증명서, 성적증명서에이수모듈명과 특화분야를 표기할 수 있으며 또한 별 도의 증명서를 발급할 수 있다. 전공 및 융복합 영역의 특화분야의 운영에 관한 세부사항은 총장이 따로 정한다.


    		 0.0
  • Loss: ContrastiveLoss with these parameters:
    {
    "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
    "margin": 0.3,
    "size_average": true
}

Training Hyperparameters

Non-Default Hyperparameters

  • eval_strategy: steps
  • per_device_train_batch_size: 2
  • per_device_eval_batch_size: 2
  • num_train_epochs: 7
  • fp16: True
  • multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: steps
  • prediction_loss_only: True
  • per_device_train_batch_size: 2
  • per_device_eval_batch_size: 2
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 5e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1
  • num_train_epochs: 7
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.0
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: False
  • fp16: True
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: False
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • include_for_metrics: []
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • eval_use_gather_object: False
  • average_tokens_across_devices: False
  • prompts: None
  • batch_sampler: batch_sampler
  • multi_dataset_batch_sampler: round_robin

Training Logs

Epoch Step Training Loss
0.0868 50 -
0.1736 100 -
0.2604 150 -
0.3472 200 -
0.4340 250 -
0.5208 300 -
0.6076 350 -
0.6944 400 -
0.7812 450 -
0.8681 500 0.0052
0.9549 550 -
1.0 576 -
1.0417 600 -
1.1285 650 -
1.2153 700 -
1.3021 750 -
1.3889 800 -
1.4757 850 -
1.5625 900 -
1.6493 950 -
1.7361 1000 0.002
1.8229 1050 -
1.9097 1100 -
1.9965 1150 -
2.0 1152 -
2.0833 1200 -
2.1701 1250 -
2.2569 1300 -
2.3438 1350 -
2.4306 1400 -
2.5174 1450 -
2.6042 1500 0.0008
2.6910 1550 -
2.7778 1600 -
2.8646 1650 -
2.9514 1700 -
3.0 1728 -
3.0382 1750 -
3.125 1800 -
3.2118 1850 -
3.2986 1900 -
3.3854 1950 -
3.4722 2000 0.0004
3.5590 2050 -
3.6458 2100 -
3.7326 2150 -
3.8194 2200 -
3.9062 2250 -
3.9931 2300 -
4.0 2304 -
4.0799 2350 -
4.1667 2400 -
4.2535 2450 -
4.3403 2500 0.0002
4.4271 2550 -
4.5139 2600 -
4.6007 2650 -
4.6875 2700 -
4.7743 2750 -
4.8611 2800 -
4.9479 2850 -
5.0 2880 -
5.0347 2900 -
5.1215 2950 -

Framework Versions

  • Python: 3.10.13
  • Sentence Transformers: 3.3.1
  • Transformers: 4.46.2
  • PyTorch: 2.0.1+cu118
  • Accelerate: 0.34.2
  • Datasets: 3.0.0
  • Tokenizers: 0.20.1

Citation

BibTeX

Sentence Transformers 

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

ContrastiveLoss 

@inproceedings{hadsell2006dimensionality,
    author={Hadsell, R. and Chopra, S. and LeCun, Y.},
    booktitle={2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06)},
    title={Dimensionality Reduction by Learning an Invariant Mapping},
    year={2006},
    volume={2},
    number={},
    pages={1735-1742},
    doi={10.1109/CVPR.2006.100}
}
Downloads last month
15
Safetensors
Model size
568M params
Tensor type
F32
·
Inference Providers NEW
Sentence Similarity
This model is not currently available via any of the supported Inference Providers.

Model tree for TARARARAK/HGU_rulebook-fine-tuned-Kure-v1_ContrastiveLoss

Base model

BAAI/bge-m3
Finetuned
nlpai-lab/KURE-v1
Finetuned
(2)
this model