masa-research/me5-small-preskripsi-embedding-pos-neg

SentenceTransformer based on intfloat/multilingual-e5-small

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-small on the preskripsi-sentiment-analysis-dataset-for-embedding-ft dataset. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-small
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 384 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • preskripsi-sentiment-analysis-dataset-for-embedding-ft

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("masa-research/me5-small-preskripsi-embedding-pos-neg")
# Run inference
sentences = [
    'Warganet Kaitkan Zulkifli Hasan dengan Kasus Impor Gula, Kejagung langsung Pasang Badan!. JAKARTA, ExtraNews – Kasus korupsi impor gula makin memanas dengan diramaikannya linimasa Twitter (X) yang dipenuhi beragam komentar atas kasus korupsi itu. Sebagaimana diketahui, Thomas Trikasih Lembong atau Tom Lembong ditetapkan Kejaksaan Agung sebagai tersangka dalam dugaan korupsi impor gula pada 2015. Jaksa menjerat Menteri Perdagangan atau Mendag periode 2015-2016 itu membuat kebijakan impor gula yang merugikan negara senilai Rp 400 miliar. Sejumlah netizen Indonesia tampaknya tidak puas kalau cuma Tom Lembong yang di jadikan tersangka atas korupsi impor gula itu, dan berharap penegak hukum untuk memeriksa Mentri Perdagangan era Jokowi terutama Mendag Zulkifli Hasan. Di ketahui Menteri Perdagangan terakhir di era Presiden Joko Widodo Zulkifli Hasan yang juga Ketua Umum Partai Amanat Nasional itu pada 2023 mengimpor gula sebanyak 5,06 juta ton. Nampak di tangkapan layar Twitter (X) tanggapan kaum netizen yang berharap Zulkifli Hasan juga di periksa terkait kebijakan impor gula pada saat menjabat sebagai Mentri Perdagangan dan menjadi trending topik dan mendapat beraneka ragam tanggapan dari kaum netizen Indonesia. “Impor gula Zulkifli Hasan 18 juta ton, ini impornya 3x lipat yang dilakukan oleh Tom Lembong. Kalo berdasarkan laporan masyarakat, ini lebih gila laporannya. Segera prosessss!!!! “ tulis pengguna akun @har*m*nAZ “Kapan impor gula Zulkifli Hasan 18 juta ton diusut, ini impornya 3x lipat yang dilakukan oleh Tom Lembong Kasus Zulhas kalau diusut mungkin lebih mengerikan,” tulis pengguna @Ca**hum “Banyak yg lupa bhw Airlangga,Dito yg bahkan ada bukti di kembalikan uangnya itu tdk tersentuh sampai sekarang. Zulkifli Hasan terkait korupsi kasus “GULA”. Kalaulah Tom Lembong bersalah, jelas sekali hukum kita masih jauh dari kata adil, karna hanya menyasar lawan” politik saja,” tulis pengguna @sim*nj*nta9*ico impor gula Zulkifli Hasan 18 juta ton, ini impornya 3x lipat yang dilakukan oleh Tom Lembong. Kalo berdasarkan laporan masyarakat, ini lebih gila laporannya. Segera prosessss!!!! pic.twitter.com/CcD62G9bG7 — Hariman Amir (@HarimanAz) October 31, 2024 Sementara itu ramainya warganet yang mulai mengkaitkan kasus Tom Lembong ke Zulkifli Hasan (zulhas) rupanya mendapatkan respon dari Kejaksaan Agung. Melalui rilis resmi Kejaksaan Agung pada 2023 lalu menyatakan bahwa mereka tidak akan memanggil kembali Menteri Perdagangan periode 2022-2024 Zulkifli Hasan sebagai sebagai saksi terkait kasus dugaan korupsi penyalahgunaan kewenangan dalam kegiatan importasi gula tersebut. Menurut Kepala Pusat Penerangan Hukum (Kapuspenkum) Kejagung, Ketut Sumedana, tidak ada keterkaitan Menteri Zulkifli Hasan dalam perkara dimaksud. Dijelaskan Ketut, perkara yang sedang ditangani Kejagung adalah penyelewengan kebijakan yang telah dilaksanakan sejak tahun 2015. “Adapun perkara dimaksud tidak ada kaitannya dengan kebijakan Menteri Perdagangan Zulkifli Hasan yang dilantik pada bulan Juni 2022. Oleh karena tidak adanya hubungan dengan penanganan perkara tersebut, Menteri Perdagangan Zulkifli Hasan tidak akan dilakukan pemanggilan sebagai saksi dalam perkara dimaksud,” jelas Ketut dalam keterangan resminya pada Jumat 6 Oktober 2023 lalu. (*)',
    'Seberapa netral artikel ini? Apakah artikel ini hanya menyajikan fakta atau informasi tanpa memberikan opini atau emosi terhadap presiden joko widodo?',
    'Seberapa kuat artikel ini mengandung sentimen positif, dukungan, atau manfaat yang dapat meningkatkan citra atau reputasi presiden joko widodo?',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Triplet

• Evaluated with TripletEvaluator

Metric	Value
cosine_accuracy	0.4019

Training Details

Training Dataset

preskripsi-sentiment-analysis-dataset-for-embedding-ft

• Dataset: preskripsi-sentiment-analysis-dataset-for-embedding-ft
• Size: 46,095 training samples
• Columns: artikel, positive, and negative_1
• Approximate statistics based on the first 1000 samples:

  	artikel	positive	negative_1
  type	string	string	string
  details	min: 32 tokens mean: 439.08 tokens max: 512 tokens	min: 24 tokens mean: 28.16 tokens max: 78 tokens	min: 27 tokens mean: 31.16 tokens max: 81 tokens

• Samples:

  artikel	positive	negative_1
  Apa Kabar Elkan Baggott Setelah Absen 10 Bulan dari Timnas Indonesia? Lagi Terapi Cedera Pergelangan Kaki dan Segera Comeback. Bola.com, Blackpool - Cedera pergelangan kaki Elkan Baggott hampir sembuh. Bek berusia 22 tahun itu segera kembali bermain untuk Blackpool FC di kasta ketiga Liga Inggris? Elkan Baggott telah absen membela Blackpool sejak Agustus 2024 akibat cedera pergelangan kaki yang membuatnya baru bermain empat kali pada musim ini. Penampilan terakhir Elkan Baggott di Blackpool terjadi pada 24 Agustus 2024, ketika bermain imbang 4-4 melawan Cambridge United dalam matchday ketiga League One 2024/2025. Elkan Baggott sedang menjalani peminjaman di Blackpool selama semusim dari Ipswich Town. Pemain kelahiran Bangkok, Thailand, itu diperkirakan akan kembali membela Blackpool kontra Liverpool U-21 dalam EFL Trophy 2024/2025 pada 7 November 2024. "Elkan Baggott menjalani sesi latihan pertamanya, jadi senang bisa melihatnya kembali bersama tim," ujar pelatih Blackpool, Stephen Dob...	Seberapa kuat artikel ini mengandung sentimen negatif atau kritik yang dapat merugikan atau menciptakan persepsi buruk terhadap timnas indonesia?	Seberapa kuat artikel ini mengandung sentimen positif, dukungan, atau manfaat yang dapat meningkatkan citra atau reputasi timnas indonesia?
  Di Balik Penangkapan Terduga Teroris di 3 Wilayah Jawa Timur dan NTB. KOMPAS.com- Detasemen Khusus (Densus) 88 Antiteror Mabes Polri menangkap sejumlah terduga teroris di Nusa Tenggara Barat dan Jawa Timur, beberapa hari terakhir. Mulanya penangkapan dilakukan terhadap MT di Bima, NTB pada 31 Mei 2023. Dari keterangan Mabes Polri, MT difasilitasi untuk berangkat ke Yaman dan bergabung dengan organisasi AQAP (cabang AlQaedah). Selanjutnya, berdasarkan pengembangan, Densus menangkap sejumlah terduga teroris lainnya. Pada Jumat (2/6/2023) pagi Densus menangkap ABU, terduga teroris di Jalan Kalimas Madya III Nyamplungan, Kecamatan Pabean Cantian, Surabaya, Jawa Timur. "Diamankan 07.30 WIB, setahu saya di rumahnya," kata Ketua RT M. Abri, Sabtu (3/6/2023). Setelah penangkapan tersebut dilakukan penggeledahan di rumah ABU. Abri yang turut serta dalam penggeledahan mengatakan polisi menyita sejumlah buku, busur, dan anak panah. "Iya ada panah. Ujungnya memang sangat tajam. Tapi tadi saya liha...	Seberapa kuat artikel ini mengandung sentimen negatif atau kritik yang dapat merugikan atau menciptakan persepsi buruk terhadap MT?	Seberapa kuat artikel ini mengandung sentimen positif, dukungan, atau manfaat yang dapat meningkatkan citra atau reputasi MT?
  Dirjen Imigrasi Enggan Salahkan Siapapun Soal Peretasan: Sesama Bus Kota Enggak Boleh Saling Menyalip. JAKARTA, KOMPAS.com - Direktur Jenderal (Dirjen) Imigrasi Silmy Karim enggan menyalahkan siapa pun atas peristiwa gangguan sistem pelayanan imigrasi, yang terjadi karena peretasan Pusat Data Nasional (PDN). Menurutnya, ia tak berwenang untuk menilai kementerian/lembaga lain atas peristiwa peretasan yang terjadi. "Ya enggak mungkin saya gitu (menilai)," kata Silmy dalam konferensi pers di kawasan Jakarta Selatan, Jumat (28/6/2024). "Sudah lah, sesama bus kota enggak boleh saling menyalip," tambahnya. Ia menambahkan, hanya pakar di luar kementerian/lembaga yang berhak menilai atas peristiwa yang terjadi. Termasuk, siapa yang patut bertanggungjawab atas peristiwa ini. "Itu yang bisa ngomong kayak gitu pengamat, bisa lah. Saya enggak bisa," tegas Silmy. Sebelumnya, muncul petisi online untuk meminta Menkominfo Budi Arie Setiadi mundur karena dianggap tak bisa menyelesaikan PDN yang disera...	Seberapa kuat artikel ini mengandung sentimen negatif atau kritik yang dapat merugikan atau menciptakan persepsi buruk terhadap Budi Arie Setiadi?	Seberapa kuat artikel ini mengandung sentimen positif, dukungan, atau manfaat yang dapat meningkatkan citra atau reputasi Budi Arie Setiadi?

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Evaluation Dataset

preskripsi-sentiment-analysis-dataset-for-embedding-ft

• Dataset: preskripsi-sentiment-analysis-dataset-for-embedding-ft
• Size: 14,794 evaluation samples
• Columns: artikel, positive, and negative_1
• Approximate statistics based on the first 1000 samples:

  	artikel	positive	negative_1
  type	string	string	string
  details	min: 18 tokens mean: 432.85 tokens max: 512 tokens	min: 24 tokens mean: 30.76 tokens max: 49 tokens	min: 24 tokens mean: 30.36 tokens max: 52 tokens

• Samples:

  artikel	positive	negative_1
  Capai NZE, PLN EPI kembangkan energi bersih basis ekonomi kerakyatan. Lewat teknologi co-firing (bahan bakar alternatif) di PLTU, PLN EPI mengembangkan ekosistem biomassa yang justru banyak melibatkan masyarakat sehingga program transisi ini juga mendorong perekonomian rakyat Jakarta (ANTARA) - Sekretaris Perusahaan PLN Energi Primer Indonesia (PLN EPI) Mamit Setiawan mengatakan PLN EPI mengambil peran penting dalam era transisi energi saat ini dengan mengembangkan energi bersih berbasis ekonomi kerakyatan. Program transisi energi selain mencapai pengurangan emisi juga sekaligus menjadi katalisator pertumbuhan ekonomi, sehingga PLN EPI sebagai Subholding PT PLN (Persero) mengambil bagian penting dalam agenda ini. "Lewat teknologi co-firing (bahan bakar alternatif) di PLTU, PLN EPI mengembangkan ekosistem biomassa yang justru banyak melibatkan masyarakat sehingga program transisi ini juga mendorong perekonomian rakyat," kata Mamit di Jakarta, Senin. Sebagai perusahaan yang menjamin paso...	Seberapa kuat artikel ini mengandung sentimen positif, dukungan, atau manfaat yang dapat meningkatkan citra atau reputasi Pembangkit Listrik Tenaga Uap (PLTU)?	Seberapa kuat artikel ini mengandung sentimen negatif atau kritik yang dapat merugikan atau menciptakan persepsi buruk terhadap Pembangkit Listrik Tenaga Uap (PLTU)?
  Mahasiswa UNS ikut menggali potensi energi baru terbarukan. Melihat krisis sumber daya energi nonterbarukan makin mendesak dunia untuk mencari alternatif energi yang berkelanjutan. Solo (ANTARA) - Mahasiswa Universitas Sebelas Maret (UNS) Surakarta berupaya ikut menggali potensi energi baru terbarukan dengan membuat penelitian yang menggabungkan sistem pemantauan berbasis yaw dengan teknologi Internet of Things (IoT). Ketua tim Alif Ilham, di Solo, Jawa Tengah, Rabu, mengatakan sistem pemantauan berbasis yaw ini dirancang untuk memonitor kinerja Horizontal Axis Wind Turbine (HAWT) secara realtime. Ia mengatakan penelitian dilakukan karena melihat krisis sumber daya energi nonterbarukan makin mendesak dunia untuk mencari alternatif energi yang berkelanjutan. "Dari data kebutuhan Indonesia, 50,3 persen listrik yang digunakan masih berasal dari energi nonterbarukan, yaitu batu bara," katanya. Menurut dia, salah satu solusi yang menjanjikan adalah energi angin. Energi ini dapat diubah menj...	Seberapa netral artikel ini? Apakah artikel ini hanya menyajikan fakta atau informasi tanpa memberikan opini atau emosi terhadap BRIN (Badan Riset dan Inovasi Nasional)?	Seberapa kuat artikel ini mengandung sentimen positif, dukungan, atau manfaat yang dapat meningkatkan citra atau reputasi BRIN (Badan Riset dan Inovasi Nasional)?
  Mengapa Manufaktur Terpuruk dan Apa Urgensinya?. Tema terpuruknya manufaktur di Tanah Air menjadi salah satu pemberitaan media massa pekan ini. Hal ini berawal dari rilis S&P tentang Purchasing Manager Indeks (PMI) Indonesia periode Agustus 2024 pada 2 September 2024. Intinya, indeks Indonesia terpuruk makin dalam di bawah batas minimal indikasi ekspansi. Namun apa yang sebenarnya terjadi? Mengapa demikian? Dan apa urgensinya bagi perekonomian nasional? Apa yang Anda pelajari dari artikel ini? 1.Apa yang terjadi dengan manufaktur? 2.Apa konsekuensinya bagi buruh? 3.Apa pentingnya manufaktur bagi perekonomian Indonesia? PMI Indonesia pada Agustus 2024 melanjutkan kontraksi yang sudah terjadi sejak Juli 2024. PMI manufaktur Indonesia di periode ini anjlok ke 48,9. Angka di bawah 50 menunjukkan kondisi kontraksi. Pada Juli, indeksnya adalah 49,3. Artinya, kontraksi pada Agustus kian dalam. Padahal, sebelumnya, manufaktur Indonesia dalam posisi ekspansi selama 34 bulan berturut-turut. ...	Seberapa kuat artikel ini mengandung sentimen negatif atau kritik yang dapat merugikan atau menciptakan persepsi buruk terhadap Ekonomi Indonesia?	Seberapa kuat artikel ini mengandung sentimen positif, dukungan, atau manfaat yang dapat meningkatkan citra atau reputasi Ekonomi Indonesia?

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 2e-05
• num_train_epochs: 1
• warmup_ratio: 0.1
• push_to_hub: True
• hub_model_id: masa-research/me5-small-preskripsi-embedding-pos-neg
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: True
• resume_from_checkpoint: None
• hub_model_id: masa-research/me5-small-preskripsi-embedding-pos-neg
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	Validation Loss	cosine_accuracy
0.0347	100	2.2799	3.0897	0.6039
0.0694	200	1.0007	3.7314	0.6032
0.1041	300	0.6538	3.9361	0.6031
0.2083	600	0.8024	4.0135	0.6029
0.3124	900	0.7212	4.2401	0.6025
0.4165	1200	0.9165	4.3140	0.6034
0.5207	1500	0.8918	4.6178	0.6033
0.6248	1800	0.8376	4.6052	0.6034
0.7289	2100	0.9715	2.9251	0.4035
0.8330	2400	0.4864	3.3840	0.4045
0.9372	2700	0.4698	3.7879	0.4019

Framework Versions

• Python: 3.11.11
• Sentence Transformers: 3.3.1
• Transformers: 4.47.1
• PyTorch: 2.5.1+cu124
• Accelerate: 1.2.1
• Datasets: 3.2.0
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}