Update README.md

README.md

@@ -64,7 +64,35 @@ See training details [here](https://github.com/timpal0l/ModernBERT/blob/main/tra
 ```
 ## Intended Use  
 * Fill-mask inference, embedding extraction and fine-tuning for Scandinavian downstream NLP tasks (classification, NER, QA, etc.).  
-* Drop-in replacement for BERT-style encoders (omit `token_type_ids`).  
+* Drop-in replacement for BERT-style encoders (omit `token_type_ids`).
+## Fill-mask
+```python
+from transformers import pipeline
+unmasker = pipeline('fill-mask', model='AI-Sweden-Models/ModernBERT-large')
+unmasker("Huvudstaden i Sverige är [MASK].")
+```
+```python
+[{'score': 0.5732529759407043,
+  'token': 2961,
+  'token_str': ' Stockholm',
+  'sequence': 'Huvudstaden i Sverige är  Stockholm.'},
+ {'score': 0.06222670152783394,
+  'token': 4481,
+  'token_str': ' Göteborg',
+  'sequence': 'Huvudstaden i Sverige är  Göteborg.'},
+ {'score': 0.02539575845003128,
+  'token': 5882,
+  'token_str': ' Malmö',
+  'sequence': 'Huvudstaden i Sverige är  Malmö.'},
+ {'score': 0.024683712050318718,
+  'token': 19931,
+  'token_str': ' Norrköping',
+  'sequence': 'Huvudstaden i Sverige är  Norrköping.'},
+ {'score': 0.02418600209057331,
+  'token': 28202,
+  'token_str': ' Solna',
+  'sequence': 'Huvudstaden i Sverige är  Solna.'}]
+```
 ## Limitations & Biases  
 * Web corpora can contain noise, stereotypes and sensitive content despite filtering.   
 * RoPE extrapolation beyond 8 k tokens is untested and may degrade.