tomaarsen/reranker-camembertv2-base-fr

CrossEncoder based on almanach/camembertv2-base

This is a Cross Encoder model finetuned from almanach/camembertv2-base using the sentence-transformers library. It computes scores for pairs of texts, which can be used for text reranking and semantic search.

Model Details

Model Description

• Model Type: Cross Encoder
• Base model: almanach/camembertv2-base
• Maximum Sequence Length: 1024 tokens
• Number of Output Labels: 1 label

Model Sources

• Documentation: Sentence Transformers Documentation
• Documentation: Cross Encoder Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Cross Encoders on Hugging Face

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import CrossEncoder

# Download from the 🤗 Hub
model = CrossEncoder("tomaarsen/reranker-camembertv2-base-fr")
# Get scores for pairs of texts
pairs = [
    ['', 'Fils d’un agriculteur, Pierre Mumbere Mujomba est né en 1956 à Kilonge, au Nord-Kivu. Après des études secondaires littéraires au "Collège Kambali" à Butembo, il entre à l’institut supérieur pédagogique de Kisangani où il obtient un graduat. Mais c’est à Kinshasa, à L’institut Pédagogique national qu’il décroche une licence en français et linguistique africaine. Il a été professeur de français à l’Alliance française de Kinshasa et coordinateur du centre de coopération Congo-Canada. Pierre Mumbere Mujomba dirige aujourd’hui le Musée littéraire à la bibliothèque nationale du Congo, enseigne également le français à l’institut supérieur des arts et métiers de Kinshasa et dirige la compagnie de théâtre "Graben" qu’il a créé en 1998.'],
    ['', 'Le temple de Jupiter, le plus ancien, fut construit en plusieurs étapes. Le temple était déjà bien avancé sous Néron, mais l’ensemble ne fut achevé et inauguré qu’au . On y accède par un propylée : un escalier monumental conduit à un portique à douze colonnes encadré de deux tours. Selon une inscription latine, un légionnaire aurait fait recouvrir d’or l’un des deux chapiteaux des colonnes. Par un escalier monumental à trois volées, les prêtres atteignaient le temple de Jupiter dont ne subsistent que six colonnes, hautes de vingt-deux mètres, avec une base de de diamètre. Ce temple est le plus grand ( sur 48) de tout le monde romain, à l\'exception du grand temple de Tarse qui lui est supérieur. Il était probablement périptère, avec dix colonnes en façade et dix-neuf sur les longs côtés. Si son plan intérieur était similaire à celui du temple de Bacchus, il comportait un pronaos précédé de huit colonnes et d’une "cella".'],
    ['', 'Ōkubo Toshimichi, homme d\'État de Tokyo, suggère en 1875 que si le marquis Shō Tai était fait gouverneur héréditaire d\'Okinawa, cela serait utile pour calmer les éléments anti-japonais à Okinawa et aiderait la préfecture à mieux s\'assimiler à la Nation. À Okinawa, un important mouvement appelé le ""  fait les mêmes propositions quelques années plus tard mais l\'idée est finalement rejetée par Tokyo car elle représenterait un échec de l\'administration actuelle et pourrait relancer les questions sur la souveraineté des îles.'],
    ['', "Le premier projet d'axe est-ouest est compris dans le «\xa0plan d’utilité et d’embellissement de la Ville de Paris\xa0» établi en 1789 par l'architecte Charles de Wailly. La rue, apparemment assez étroite, figurant dans ce document aurait relié en ligne droite la colonnade du Louvre à la rue Saint-Antoine (à l'emplacement de l'arrivée actuelle de la rue de Rivoli). À cette date, une voie correspondant à l'actuelle rue de Rivoli le long du jardin des Tuileries ne pouvait être envisagée sur les terrains des couvents des Capucins et des Feuillants. Le plan des artistes établi en 1797 reprend cette proposition et ajoute une rue de la place de la Concorde au Louvre dont la réalisation était devenue possible, au moins de la place de la Concorde jusqu'au passage Delorme par la disponibilité des domaines de ces couvents devenus biens nationaux. Cette partie du plan des artistes correspond à la partie ouverte au début des années 1800. Son prolongement de la rue de Rohan à la rue Saint-Antoine qui nécessitait des expropriations n'est réalisée que de 1849 à 1855, non sur le parcours au départ de la colonnade du Louvre envisagé primitivement mais dans le prolongement en ligne droite du tronçon réalisé."],
    ['', "Les indigènes de la région des Everglades sont arrivés dans la péninsule de Floride de ce qui est maintenant les États-Unis il y a approximativement à . Les Paléoaméricains ont trouvé un paysage aride qui a conservé des végétaux et des animaux. Les «\xa0grands\xa0» animaux se sont éteints en Floride il y a environ . Les changements climatiques il y a ont apporté un paysage plus humide. Les Paléoaméricains se sont lentement adaptés aux nouvelles conditions de vie. Ils s'approprient mieux aux changements perpétuels de l'environnement que leurs ancêtres, et créaient de nombreux outils avec les ressources disponibles. Il y a environ , le climat a encore changé pour causer l'inondation régulière du lac Okeechobee qui a provoqué les écosystèmes de marais."],
]
scores = model.predict(pairs)
print(scores.shape)
# (5,)

# Or rank different texts based on similarity to a single text
ranks = model.rank(
    '',
    [
        'Fils d’un agriculteur, Pierre Mumbere Mujomba est né en 1956 à Kilonge, au Nord-Kivu. Après des études secondaires littéraires au "Collège Kambali" à Butembo, il entre à l’institut supérieur pédagogique de Kisangani où il obtient un graduat. Mais c’est à Kinshasa, à L’institut Pédagogique national qu’il décroche une licence en français et linguistique africaine. Il a été professeur de français à l’Alliance française de Kinshasa et coordinateur du centre de coopération Congo-Canada. Pierre Mumbere Mujomba dirige aujourd’hui le Musée littéraire à la bibliothèque nationale du Congo, enseigne également le français à l’institut supérieur des arts et métiers de Kinshasa et dirige la compagnie de théâtre "Graben" qu’il a créé en 1998.',
        'Le temple de Jupiter, le plus ancien, fut construit en plusieurs étapes. Le temple était déjà bien avancé sous Néron, mais l’ensemble ne fut achevé et inauguré qu’au . On y accède par un propylée : un escalier monumental conduit à un portique à douze colonnes encadré de deux tours. Selon une inscription latine, un légionnaire aurait fait recouvrir d’or l’un des deux chapiteaux des colonnes. Par un escalier monumental à trois volées, les prêtres atteignaient le temple de Jupiter dont ne subsistent que six colonnes, hautes de vingt-deux mètres, avec une base de de diamètre. Ce temple est le plus grand ( sur 48) de tout le monde romain, à l\'exception du grand temple de Tarse qui lui est supérieur. Il était probablement périptère, avec dix colonnes en façade et dix-neuf sur les longs côtés. Si son plan intérieur était similaire à celui du temple de Bacchus, il comportait un pronaos précédé de huit colonnes et d’une "cella".',
        'Ōkubo Toshimichi, homme d\'État de Tokyo, suggère en 1875 que si le marquis Shō Tai était fait gouverneur héréditaire d\'Okinawa, cela serait utile pour calmer les éléments anti-japonais à Okinawa et aiderait la préfecture à mieux s\'assimiler à la Nation. À Okinawa, un important mouvement appelé le ""  fait les mêmes propositions quelques années plus tard mais l\'idée est finalement rejetée par Tokyo car elle représenterait un échec de l\'administration actuelle et pourrait relancer les questions sur la souveraineté des îles.',
        "Le premier projet d'axe est-ouest est compris dans le «\xa0plan d’utilité et d’embellissement de la Ville de Paris\xa0» établi en 1789 par l'architecte Charles de Wailly. La rue, apparemment assez étroite, figurant dans ce document aurait relié en ligne droite la colonnade du Louvre à la rue Saint-Antoine (à l'emplacement de l'arrivée actuelle de la rue de Rivoli). À cette date, une voie correspondant à l'actuelle rue de Rivoli le long du jardin des Tuileries ne pouvait être envisagée sur les terrains des couvents des Capucins et des Feuillants. Le plan des artistes établi en 1797 reprend cette proposition et ajoute une rue de la place de la Concorde au Louvre dont la réalisation était devenue possible, au moins de la place de la Concorde jusqu'au passage Delorme par la disponibilité des domaines de ces couvents devenus biens nationaux. Cette partie du plan des artistes correspond à la partie ouverte au début des années 1800. Son prolongement de la rue de Rohan à la rue Saint-Antoine qui nécessitait des expropriations n'est réalisée que de 1849 à 1855, non sur le parcours au départ de la colonnade du Louvre envisagé primitivement mais dans le prolongement en ligne droite du tronçon réalisé.",
        "Les indigènes de la région des Everglades sont arrivés dans la péninsule de Floride de ce qui est maintenant les États-Unis il y a approximativement à . Les Paléoaméricains ont trouvé un paysage aride qui a conservé des végétaux et des animaux. Les «\xa0grands\xa0» animaux se sont éteints en Floride il y a environ . Les changements climatiques il y a ont apporté un paysage plus humide. Les Paléoaméricains se sont lentement adaptés aux nouvelles conditions de vie. Ils s'approprient mieux aux changements perpétuels de l'environnement que leurs ancêtres, et créaient de nombreux outils avec les ressources disponibles. Il y a environ , le climat a encore changé pour causer l'inondation régulière du lac Okeechobee qui a provoqué les écosystèmes de marais.",
    ]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]

Evaluation

Metrics

Cross Encoder Reranking

• Dataset: swim_ir_dev
• Evaluated with CrossEncoderRerankingEvaluator with these parameters:

  {
      "at_k": 10,
      "always_rerank_positives": false
  }
  

Metric	Value
map	0.5465 (+0.0743)
mrr@10	0.5454 (+0.0767)
ndcg@10	0.5725 (+0.0697)

Training Details

Training Dataset

Unnamed Dataset

• Size: 548,005 training samples
• Columns: query, text, and label
• Approximate statistics based on the first 1000 samples:

  	query	text	label
  type	string	string	int
  details	min: 0 characters mean: 39.08 characters max: 140 characters	min: 80 characters mean: 479.61 characters max: 2854 characters	0: ~79.40% 1: ~20.60%

• Samples:

  query	text	label
  	Fils d’un agriculteur, Pierre Mumbere Mujomba est né en 1956 à Kilonge, au Nord-Kivu. Après des études secondaires littéraires au "Collège Kambali" à Butembo, il entre à l’institut supérieur pédagogique de Kisangani où il obtient un graduat. Mais c’est à Kinshasa, à L’institut Pédagogique national qu’il décroche une licence en français et linguistique africaine. Il a été professeur de français à l’Alliance française de Kinshasa et coordinateur du centre de coopération Congo-Canada. Pierre Mumbere Mujomba dirige aujourd’hui le Musée littéraire à la bibliothèque nationale du Congo, enseigne également le français à l’institut supérieur des arts et métiers de Kinshasa et dirige la compagnie de théâtre "Graben" qu’il a créé en 1998.	1
  	Le temple de Jupiter, le plus ancien, fut construit en plusieurs étapes. Le temple était déjà bien avancé sous Néron, mais l’ensemble ne fut achevé et inauguré qu’au . On y accède par un propylée : un escalier monumental conduit à un portique à douze colonnes encadré de deux tours. Selon une inscription latine, un légionnaire aurait fait recouvrir d’or l’un des deux chapiteaux des colonnes. Par un escalier monumental à trois volées, les prêtres atteignaient le temple de Jupiter dont ne subsistent que six colonnes, hautes de vingt-deux mètres, avec une base de de diamètre. Ce temple est le plus grand ( sur 48) de tout le monde romain, à l'exception du grand temple de Tarse qui lui est supérieur. Il était probablement périptère, avec dix colonnes en façade et dix-neuf sur les longs côtés. Si son plan intérieur était similaire à celui du temple de Bacchus, il comportait un pronaos précédé de huit colonnes et d’une "cella".	1
  	Ōkubo Toshimichi, homme d'État de Tokyo, suggère en 1875 que si le marquis Shō Tai était fait gouverneur héréditaire d'Okinawa, cela serait utile pour calmer les éléments anti-japonais à Okinawa et aiderait la préfecture à mieux s'assimiler à la Nation. À Okinawa, un important mouvement appelé le "" fait les mêmes propositions quelques années plus tard mais l'idée est finalement rejetée par Tokyo car elle représenterait un échec de l'administration actuelle et pourrait relancer les questions sur la souveraineté des îles.	1

• Loss: BinaryCrossEntropyLoss with these parameters:

  {
      "activation_fct": "torch.nn.modules.linear.Identity",
      "pos_weight": 5
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 2e-05
• num_train_epochs: 1
• warmup_ratio: 0.1
• seed: 12
• bf16: True
• load_best_model_at_end: True

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 12
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	swim_ir_dev_ndcg@10
-1	-1	-	0.1038 (-0.3989)
0.0000	1	1.606	-
0.0292	1000	0.745	-
0.0584	2000	0.2021	-
0.0876	3000	0.1906	-
0.1168	4000	0.2005	0.5725 (+0.0697)
0.1460	5000	0.1713	-
0.1752	6000	0.1819	-
0.2044	7000	0.1772	-
0.2336	8000	0.1324	0.5713 (+0.0685)
0.2628	9000	0.1404	-
0.2920	10000	0.1443	-
0.3212	11000	0.1589	-
0.3504	12000	0.1473	0.4714 (-0.0313)
0.3796	13000	0.1253	-
0.4087	14000	0.1435	-
0.4379	15000	0.1219	-
0.4671	16000	0.1219	0.5401 (+0.0373)
0.4963	17000	0.1154	-
0.5255	18000	0.1393	-
0.5547	19000	0.1252	-
0.5839	20000	0.0986	0.5654 (+0.0626)
0.6131	21000	0.1151	-
0.6423	22000	0.1143	-
0.6715	23000	0.123	-
0.7007	24000	0.0885	0.3843 (-0.1185)
0.7299	25000	0.1138	-
0.7591	26000	0.0957	-
0.7883	27000	0.0865	-
0.8175	28000	0.1016	0.4097 (-0.0931)
0.8467	29000	0.1085	-
0.8759	30000	0.0694	-
0.9051	31000	0.0754	-
0.9343	32000	0.0845	0.3099 (-0.1928)
0.9635	33000	0.0837	-
0.9927	34000	0.0756	-
-1	-1	-	0.5725 (+0.0697)

• The bold row denotes the saved checkpoint.

Environmental Impact

Carbon emissions were measured using CodeCarbon.

• Energy Consumed: 0.609 kWh
• Carbon Emitted: 0.237 kg of CO2
• Hours Used: 1.557 hours

Training Hardware

• On Cloud: No
• GPU Model: 1 x NVIDIA GeForce RTX 3090
• CPU Model: 13th Gen Intel(R) Core(TM) i7-13700K
• RAM Size: 31.78 GB

Framework Versions

• Python: 3.11.6
• Sentence Transformers: 3.5.0.dev0
• Transformers: 4.49.0
• PyTorch: 2.6.0+cu124
• Accelerate: 1.4.0
• Datasets: 3.3.2
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}