--- tags: - sentence-transformers - cross-encoder - generated_from_trainer - dataset_size:548005 - loss:BinaryCrossEntropyLoss base_model: almanach/camembertv2-base pipeline_tag: text-ranking library_name: sentence-transformers metrics: - map - mrr@10 - ndcg@10 co2_eq_emissions: emissions: 236.91289908549734 energy_consumed: 0.609497504734983 source: codecarbon training_type: fine-tuning on_cloud: false cpu_model: 13th Gen Intel(R) Core(TM) i7-13700K ram_total_size: 31.777088165283203 hours_used: 1.557 hardware_used: 1 x NVIDIA GeForce RTX 3090 model-index: - name: CrossEncoder based on almanach/camembertv2-base results: - task: type: cross-encoder-reranking name: Cross Encoder Reranking dataset: name: swim ir dev type: swim_ir_dev metrics: - type: map value: 0.5465 name: Map - type: mrr@10 value: 0.5454 name: Mrr@10 - type: ndcg@10 value: 0.5725 name: Ndcg@10 --- # CrossEncoder based on almanach/camembertv2-base This is a [Cross Encoder](https://www.sbert.net/docs/cross_encoder/usage/usage.html) model finetuned from [almanach/camembertv2-base](https://huggingface.co/almanach/camembertv2-base) using the [sentence-transformers](https://www.SBERT.net) library. It computes scores for pairs of texts, which can be used for text reranking and semantic search. ## Model Details ### Model Description - **Model Type:** Cross Encoder - **Base model:** [almanach/camembertv2-base](https://huggingface.co/almanach/camembertv2-base) - **Maximum Sequence Length:** 1024 tokens - **Number of Output Labels:** 1 label ### Model Sources - **Documentation:** [Sentence Transformers Documentation](https://sbert.net) - **Documentation:** [Cross Encoder Documentation](https://www.sbert.net/docs/cross_encoder/usage/usage.html) - **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers) - **Hugging Face:** [Cross Encoders on Hugging Face](https://huggingface.co/models?library=sentence-transformers&other=cross-encoder) ## Usage ### Direct Usage (Sentence Transformers) First install the Sentence Transformers library: ```bash pip install -U sentence-transformers ``` Then you can load this model and run inference. ```python from sentence_transformers import CrossEncoder # Download from the 🤗 Hub model = CrossEncoder("tomaarsen/reranker-camembertv2-base-fr") # Get scores for pairs of texts pairs = [ ['', 'Fils d’un agriculteur, Pierre Mumbere Mujomba est né en 1956 à Kilonge, au Nord-Kivu. Après des études secondaires littéraires au "Collège Kambali" à Butembo, il entre à l’institut supérieur pédagogique de Kisangani où il obtient un graduat. Mais c’est à Kinshasa, à L’institut Pédagogique national qu’il décroche une licence en français et linguistique africaine. Il a été professeur de français à l’Alliance française de Kinshasa et coordinateur du centre de coopération Congo-Canada. Pierre Mumbere Mujomba dirige aujourd’hui le Musée littéraire à la bibliothèque nationale du Congo, enseigne également le français à l’institut supérieur des arts et métiers de Kinshasa et dirige la compagnie de théâtre "Graben" qu’il a créé en 1998.'], ['', 'Le temple de Jupiter, le plus ancien, fut construit en plusieurs étapes. Le temple était déjà bien avancé sous Néron, mais l’ensemble ne fut achevé et inauguré qu’au . On y accède par un propylée : un escalier monumental conduit à un portique à douze colonnes encadré de deux tours. Selon une inscription latine, un légionnaire aurait fait recouvrir d’or l’un des deux chapiteaux des colonnes. Par un escalier monumental à trois volées, les prêtres atteignaient le temple de Jupiter dont ne subsistent que six colonnes, hautes de vingt-deux mètres, avec une base de de diamètre. Ce temple est le plus grand ( sur 48) de tout le monde romain, à l\'exception du grand temple de Tarse qui lui est supérieur. Il était probablement périptère, avec dix colonnes en façade et dix-neuf sur les longs côtés. Si son plan intérieur était similaire à celui du temple de Bacchus, il comportait un pronaos précédé de huit colonnes et d’une "cella".'], ['', 'Ōkubo Toshimichi, homme d\'État de Tokyo, suggère en 1875 que si le marquis Shō Tai était fait gouverneur héréditaire d\'Okinawa, cela serait utile pour calmer les éléments anti-japonais à Okinawa et aiderait la préfecture à mieux s\'assimiler à la Nation. À Okinawa, un important mouvement appelé le "" fait les mêmes propositions quelques années plus tard mais l\'idée est finalement rejetée par Tokyo car elle représenterait un échec de l\'administration actuelle et pourrait relancer les questions sur la souveraineté des îles.'], ['', "Le premier projet d'axe est-ouest est compris dans le «\xa0plan d’utilité et d’embellissement de la Ville de Paris\xa0» établi en 1789 par l'architecte Charles de Wailly. La rue, apparemment assez étroite, figurant dans ce document aurait relié en ligne droite la colonnade du Louvre à la rue Saint-Antoine (à l'emplacement de l'arrivée actuelle de la rue de Rivoli). À cette date, une voie correspondant à l'actuelle rue de Rivoli le long du jardin des Tuileries ne pouvait être envisagée sur les terrains des couvents des Capucins et des Feuillants. Le plan des artistes établi en 1797 reprend cette proposition et ajoute une rue de la place de la Concorde au Louvre dont la réalisation était devenue possible, au moins de la place de la Concorde jusqu'au passage Delorme par la disponibilité des domaines de ces couvents devenus biens nationaux. Cette partie du plan des artistes correspond à la partie ouverte au début des années 1800. Son prolongement de la rue de Rohan à la rue Saint-Antoine qui nécessitait des expropriations n'est réalisée que de 1849 à 1855, non sur le parcours au départ de la colonnade du Louvre envisagé primitivement mais dans le prolongement en ligne droite du tronçon réalisé."], ['', "Les indigènes de la région des Everglades sont arrivés dans la péninsule de Floride de ce qui est maintenant les États-Unis il y a approximativement à . Les Paléoaméricains ont trouvé un paysage aride qui a conservé des végétaux et des animaux. Les «\xa0grands\xa0» animaux se sont éteints en Floride il y a environ . Les changements climatiques il y a ont apporté un paysage plus humide. Les Paléoaméricains se sont lentement adaptés aux nouvelles conditions de vie. Ils s'approprient mieux aux changements perpétuels de l'environnement que leurs ancêtres, et créaient de nombreux outils avec les ressources disponibles. Il y a environ , le climat a encore changé pour causer l'inondation régulière du lac Okeechobee qui a provoqué les écosystèmes de marais."], ] scores = model.predict(pairs) print(scores.shape) # (5,) # Or rank different texts based on similarity to a single text ranks = model.rank( '', [ 'Fils d’un agriculteur, Pierre Mumbere Mujomba est né en 1956 à Kilonge, au Nord-Kivu. Après des études secondaires littéraires au "Collège Kambali" à Butembo, il entre à l’institut supérieur pédagogique de Kisangani où il obtient un graduat. Mais c’est à Kinshasa, à L’institut Pédagogique national qu’il décroche une licence en français et linguistique africaine. Il a été professeur de français à l’Alliance française de Kinshasa et coordinateur du centre de coopération Congo-Canada. Pierre Mumbere Mujomba dirige aujourd’hui le Musée littéraire à la bibliothèque nationale du Congo, enseigne également le français à l’institut supérieur des arts et métiers de Kinshasa et dirige la compagnie de théâtre "Graben" qu’il a créé en 1998.', 'Le temple de Jupiter, le plus ancien, fut construit en plusieurs étapes. Le temple était déjà bien avancé sous Néron, mais l’ensemble ne fut achevé et inauguré qu’au . On y accède par un propylée : un escalier monumental conduit à un portique à douze colonnes encadré de deux tours. Selon une inscription latine, un légionnaire aurait fait recouvrir d’or l’un des deux chapiteaux des colonnes. Par un escalier monumental à trois volées, les prêtres atteignaient le temple de Jupiter dont ne subsistent que six colonnes, hautes de vingt-deux mètres, avec une base de de diamètre. Ce temple est le plus grand ( sur 48) de tout le monde romain, à l\'exception du grand temple de Tarse qui lui est supérieur. Il était probablement périptère, avec dix colonnes en façade et dix-neuf sur les longs côtés. Si son plan intérieur était similaire à celui du temple de Bacchus, il comportait un pronaos précédé de huit colonnes et d’une "cella".', 'Ōkubo Toshimichi, homme d\'État de Tokyo, suggère en 1875 que si le marquis Shō Tai était fait gouverneur héréditaire d\'Okinawa, cela serait utile pour calmer les éléments anti-japonais à Okinawa et aiderait la préfecture à mieux s\'assimiler à la Nation. À Okinawa, un important mouvement appelé le "" fait les mêmes propositions quelques années plus tard mais l\'idée est finalement rejetée par Tokyo car elle représenterait un échec de l\'administration actuelle et pourrait relancer les questions sur la souveraineté des îles.', "Le premier projet d'axe est-ouest est compris dans le «\xa0plan d’utilité et d’embellissement de la Ville de Paris\xa0» établi en 1789 par l'architecte Charles de Wailly. La rue, apparemment assez étroite, figurant dans ce document aurait relié en ligne droite la colonnade du Louvre à la rue Saint-Antoine (à l'emplacement de l'arrivée actuelle de la rue de Rivoli). À cette date, une voie correspondant à l'actuelle rue de Rivoli le long du jardin des Tuileries ne pouvait être envisagée sur les terrains des couvents des Capucins et des Feuillants. Le plan des artistes établi en 1797 reprend cette proposition et ajoute une rue de la place de la Concorde au Louvre dont la réalisation était devenue possible, au moins de la place de la Concorde jusqu'au passage Delorme par la disponibilité des domaines de ces couvents devenus biens nationaux. Cette partie du plan des artistes correspond à la partie ouverte au début des années 1800. Son prolongement de la rue de Rohan à la rue Saint-Antoine qui nécessitait des expropriations n'est réalisée que de 1849 à 1855, non sur le parcours au départ de la colonnade du Louvre envisagé primitivement mais dans le prolongement en ligne droite du tronçon réalisé.", "Les indigènes de la région des Everglades sont arrivés dans la péninsule de Floride de ce qui est maintenant les États-Unis il y a approximativement à . Les Paléoaméricains ont trouvé un paysage aride qui a conservé des végétaux et des animaux. Les «\xa0grands\xa0» animaux se sont éteints en Floride il y a environ . Les changements climatiques il y a ont apporté un paysage plus humide. Les Paléoaméricains se sont lentement adaptés aux nouvelles conditions de vie. Ils s'approprient mieux aux changements perpétuels de l'environnement que leurs ancêtres, et créaient de nombreux outils avec les ressources disponibles. Il y a environ , le climat a encore changé pour causer l'inondation régulière du lac Okeechobee qui a provoqué les écosystèmes de marais.", ] ) # [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...] ``` ## Evaluation ### Metrics #### Cross Encoder Reranking * Dataset: `swim_ir_dev` * Evaluated with [CrossEncoderRerankingEvaluator](https://sbert.net/docs/package_reference/cross_encoder/evaluation.html#sentence_transformers.cross_encoder.evaluation.CrossEncoderRerankingEvaluator) with these parameters: ```json { "at_k": 10, "always_rerank_positives": false } ``` | Metric | Value | |:------------|:---------------------| | map | 0.5465 (+0.0743) | | mrr@10 | 0.5454 (+0.0767) | | **ndcg@10** | **0.5725 (+0.0697)** | ## Training Details ### Training Dataset #### Unnamed Dataset * Size: 548,005 training samples * Columns: query, text, and label * Approximate statistics based on the first 1000 samples: | | query | text | label | |:--------|:-----------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------|:------------------------------------------------| | type | string | string | int | | details | | | | * Samples: | query | text | label | |:--------------|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------| | | Fils d’un agriculteur, Pierre Mumbere Mujomba est né en 1956 à Kilonge, au Nord-Kivu. Après des études secondaires littéraires au "Collège Kambali" à Butembo, il entre à l’institut supérieur pédagogique de Kisangani où il obtient un graduat. Mais c’est à Kinshasa, à L’institut Pédagogique national qu’il décroche une licence en français et linguistique africaine. Il a été professeur de français à l’Alliance française de Kinshasa et coordinateur du centre de coopération Congo-Canada. Pierre Mumbere Mujomba dirige aujourd’hui le Musée littéraire à la bibliothèque nationale du Congo, enseigne également le français à l’institut supérieur des arts et métiers de Kinshasa et dirige la compagnie de théâtre "Graben" qu’il a créé en 1998. | 1 | | | Le temple de Jupiter, le plus ancien, fut construit en plusieurs étapes. Le temple était déjà bien avancé sous Néron, mais l’ensemble ne fut achevé et inauguré qu’au . On y accède par un propylée : un escalier monumental conduit à un portique à douze colonnes encadré de deux tours. Selon une inscription latine, un légionnaire aurait fait recouvrir d’or l’un des deux chapiteaux des colonnes. Par un escalier monumental à trois volées, les prêtres atteignaient le temple de Jupiter dont ne subsistent que six colonnes, hautes de vingt-deux mètres, avec une base de de diamètre. Ce temple est le plus grand ( sur 48) de tout le monde romain, à l'exception du grand temple de Tarse qui lui est supérieur. Il était probablement périptère, avec dix colonnes en façade et dix-neuf sur les longs côtés. Si son plan intérieur était similaire à celui du temple de Bacchus, il comportait un pronaos précédé de huit colonnes et d’une "cella". | 1 | | | Ōkubo Toshimichi, homme d'État de Tokyo, suggère en 1875 que si le marquis Shō Tai était fait gouverneur héréditaire d'Okinawa, cela serait utile pour calmer les éléments anti-japonais à Okinawa et aiderait la préfecture à mieux s'assimiler à la Nation. À Okinawa, un important mouvement appelé le "" fait les mêmes propositions quelques années plus tard mais l'idée est finalement rejetée par Tokyo car elle représenterait un échec de l'administration actuelle et pourrait relancer les questions sur la souveraineté des îles. | 1 | * Loss: [BinaryCrossEntropyLoss](https://sbert.net/docs/package_reference/cross_encoder/losses.html#binarycrossentropyloss) with these parameters: ```json { "activation_fct": "torch.nn.modules.linear.Identity", "pos_weight": 5 } ``` ### Training Hyperparameters #### Non-Default Hyperparameters - `eval_strategy`: steps - `per_device_train_batch_size`: 16 - `per_device_eval_batch_size`: 16 - `learning_rate`: 2e-05 - `num_train_epochs`: 1 - `warmup_ratio`: 0.1 - `seed`: 12 - `bf16`: True - `load_best_model_at_end`: True #### All Hyperparameters
Click to expand - `overwrite_output_dir`: False - `do_predict`: False - `eval_strategy`: steps - `prediction_loss_only`: True - `per_device_train_batch_size`: 16 - `per_device_eval_batch_size`: 16 - `per_gpu_train_batch_size`: None - `per_gpu_eval_batch_size`: None - `gradient_accumulation_steps`: 1 - `eval_accumulation_steps`: None - `torch_empty_cache_steps`: None - `learning_rate`: 2e-05 - `weight_decay`: 0.0 - `adam_beta1`: 0.9 - `adam_beta2`: 0.999 - `adam_epsilon`: 1e-08 - `max_grad_norm`: 1.0 - `num_train_epochs`: 1 - `max_steps`: -1 - `lr_scheduler_type`: linear - `lr_scheduler_kwargs`: {} - `warmup_ratio`: 0.1 - `warmup_steps`: 0 - `log_level`: passive - `log_level_replica`: warning - `log_on_each_node`: True - `logging_nan_inf_filter`: True - `save_safetensors`: True - `save_on_each_node`: False - `save_only_model`: False - `restore_callback_states_from_checkpoint`: False - `no_cuda`: False - `use_cpu`: False - `use_mps_device`: False - `seed`: 12 - `data_seed`: None - `jit_mode_eval`: False - `use_ipex`: False - `bf16`: True - `fp16`: False - `fp16_opt_level`: O1 - `half_precision_backend`: auto - `bf16_full_eval`: False - `fp16_full_eval`: False - `tf32`: None - `local_rank`: 0 - `ddp_backend`: None - `tpu_num_cores`: None - `tpu_metrics_debug`: False - `debug`: [] - `dataloader_drop_last`: False - `dataloader_num_workers`: 0 - `dataloader_prefetch_factor`: None - `past_index`: -1 - `disable_tqdm`: False - `remove_unused_columns`: True - `label_names`: None - `load_best_model_at_end`: True - `ignore_data_skip`: False - `fsdp`: [] - `fsdp_min_num_params`: 0 - `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False} - `fsdp_transformer_layer_cls_to_wrap`: None - `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None} - `deepspeed`: None - `label_smoothing_factor`: 0.0 - `optim`: adamw_torch - `optim_args`: None - `adafactor`: False - `group_by_length`: False - `length_column_name`: length - `ddp_find_unused_parameters`: None - `ddp_bucket_cap_mb`: None - `ddp_broadcast_buffers`: False - `dataloader_pin_memory`: True - `dataloader_persistent_workers`: False - `skip_memory_metrics`: True - `use_legacy_prediction_loop`: False - `push_to_hub`: False - `resume_from_checkpoint`: None - `hub_model_id`: None - `hub_strategy`: every_save - `hub_private_repo`: None - `hub_always_push`: False - `gradient_checkpointing`: False - `gradient_checkpointing_kwargs`: None - `include_inputs_for_metrics`: False - `include_for_metrics`: [] - `eval_do_concat_batches`: True - `fp16_backend`: auto - `push_to_hub_model_id`: None - `push_to_hub_organization`: None - `mp_parameters`: - `auto_find_batch_size`: False - `full_determinism`: False - `torchdynamo`: None - `ray_scope`: last - `ddp_timeout`: 1800 - `torch_compile`: False - `torch_compile_backend`: None - `torch_compile_mode`: None - `dispatch_batches`: None - `split_batches`: None - `include_tokens_per_second`: False - `include_num_input_tokens_seen`: False - `neftune_noise_alpha`: None - `optim_target_modules`: None - `batch_eval_metrics`: False - `eval_on_start`: False - `use_liger_kernel`: False - `eval_use_gather_object`: False - `average_tokens_across_devices`: False - `prompts`: None - `batch_sampler`: batch_sampler - `multi_dataset_batch_sampler`: proportional
### Training Logs | Epoch | Step | Training Loss | swim_ir_dev_ndcg@10 | |:----------:|:--------:|:-------------:|:--------------------:| | -1 | -1 | - | 0.1038 (-0.3989) | | 0.0000 | 1 | 1.606 | - | | 0.0292 | 1000 | 0.745 | - | | 0.0584 | 2000 | 0.2021 | - | | 0.0876 | 3000 | 0.1906 | - | | **0.1168** | **4000** | **0.2005** | **0.5725 (+0.0697)** | | 0.1460 | 5000 | 0.1713 | - | | 0.1752 | 6000 | 0.1819 | - | | 0.2044 | 7000 | 0.1772 | - | | 0.2336 | 8000 | 0.1324 | 0.5713 (+0.0685) | | 0.2628 | 9000 | 0.1404 | - | | 0.2920 | 10000 | 0.1443 | - | | 0.3212 | 11000 | 0.1589 | - | | 0.3504 | 12000 | 0.1473 | 0.4714 (-0.0313) | | 0.3796 | 13000 | 0.1253 | - | | 0.4087 | 14000 | 0.1435 | - | | 0.4379 | 15000 | 0.1219 | - | | 0.4671 | 16000 | 0.1219 | 0.5401 (+0.0373) | | 0.4963 | 17000 | 0.1154 | - | | 0.5255 | 18000 | 0.1393 | - | | 0.5547 | 19000 | 0.1252 | - | | 0.5839 | 20000 | 0.0986 | 0.5654 (+0.0626) | | 0.6131 | 21000 | 0.1151 | - | | 0.6423 | 22000 | 0.1143 | - | | 0.6715 | 23000 | 0.123 | - | | 0.7007 | 24000 | 0.0885 | 0.3843 (-0.1185) | | 0.7299 | 25000 | 0.1138 | - | | 0.7591 | 26000 | 0.0957 | - | | 0.7883 | 27000 | 0.0865 | - | | 0.8175 | 28000 | 0.1016 | 0.4097 (-0.0931) | | 0.8467 | 29000 | 0.1085 | - | | 0.8759 | 30000 | 0.0694 | - | | 0.9051 | 31000 | 0.0754 | - | | 0.9343 | 32000 | 0.0845 | 0.3099 (-0.1928) | | 0.9635 | 33000 | 0.0837 | - | | 0.9927 | 34000 | 0.0756 | - | | -1 | -1 | - | 0.5725 (+0.0697) | * The bold row denotes the saved checkpoint. ### Environmental Impact Carbon emissions were measured using [CodeCarbon](https://github.com/mlco2/codecarbon). - **Energy Consumed**: 0.609 kWh - **Carbon Emitted**: 0.237 kg of CO2 - **Hours Used**: 1.557 hours ### Training Hardware - **On Cloud**: No - **GPU Model**: 1 x NVIDIA GeForce RTX 3090 - **CPU Model**: 13th Gen Intel(R) Core(TM) i7-13700K - **RAM Size**: 31.78 GB ### Framework Versions - Python: 3.11.6 - Sentence Transformers: 3.5.0.dev0 - Transformers: 4.49.0 - PyTorch: 2.6.0+cu124 - Accelerate: 1.4.0 - Datasets: 3.3.2 - Tokenizers: 0.21.0 ## Citation ### BibTeX #### Sentence Transformers ```bibtex @inproceedings{reimers-2019-sentence-bert, title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks", author = "Reimers, Nils and Gurevych, Iryna", booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing", month = "11", year = "2019", publisher = "Association for Computational Linguistics", url = "https://arxiv.org/abs/1908.10084", } ```