Upload app

.gitignore

@@ -0,0 +1,180 @@
+# Byte-compiled / optimized / DLL files
+__pycache__/
+*.py[cod]
+*$py.class
+
+# C extensions
+*.so
+
+# Distribution / packaging
+.Python
+build/
+develop-eggs/
+dist/
+downloads/
+eggs/
+.eggs/
+lib/
+lib64/
+parts/
+sdist/
+var/
+wheels/
+share/python-wheels/
+*.egg-info/
+.installed.cfg
+*.egg
+MANIFEST
+
+# PyInstaller
+#  Usually these files are written by a python script from a template
+#  before PyInstaller builds the exe, so as to inject date/other infos into it.
+*.manifest
+*.spec
+
+# Installer logs
+pip-log.txt
+pip-delete-this-directory.txt
+
+# Unit test / coverage reports
+htmlcov/
+.tox/
+.nox/
+.coverage
+.coverage.*
+.cache
+nosetests.xml
+coverage.xml
+*.cover
+*.py,cover
+.hypothesis/
+.pytest_cache/
+cover/
+
+# Translations
+*.mo
+*.pot
+
+# Django stuff:
+*.log
+local_settings.py
+db.sqlite3
+db.sqlite3-journal
+
+# Flask stuff:
+instance/
+.webassets-cache
+
+# Scrapy stuff:
+.scrapy
+
+# Sphinx documentation
+docs/_build/
+
+# PyBuilder
+.pybuilder/
+target/
+
+# Jupyter Notebook
+.ipynb_checkpoints
+
+# IPython
+profile_default/
+ipython_config.py
+
+# pyenv
+#   For a library or package, you might want to ignore these files since the code is
+#   intended to run in multiple environments; otherwise, check them in:
+# .python-version
+
+# pipenv
+#   According to pypa/pipenv#598, it is recommended to include Pipfile.lock in version control.
+#   However, in case of collaboration, if having platform-specific dependencies or dependencies
+#   having no cross-platform support, pipenv may install dependencies that don't work, or not
+#   install all needed dependencies.
+#Pipfile.lock
+
+# UV
+#   Similar to Pipfile.lock, it is generally recommended to include uv.lock in version control.
+#   This is especially recommended for binary packages to ensure reproducibility, and is more
+#   commonly ignored for libraries.
+#uv.lock
+
+# poetry
+#   Similar to Pipfile.lock, it is generally recommended to include poetry.lock in version control.
+#   This is especially recommended for binary packages to ensure reproducibility, and is more
+#   commonly ignored for libraries.
+#   https://python-poetry.org/docs/basic-usage/#commit-your-poetrylock-file-to-version-control
+#poetry.lock
+
+# pdm
+#   Similar to Pipfile.lock, it is generally recommended to include pdm.lock in version control.
+#pdm.lock
+#   pdm stores project-wide configurations in .pdm.toml, but it is recommended to not include it
+#   in version control.
+#   https://pdm.fming.dev/latest/usage/project/#working-with-version-control
+.pdm.toml
+.pdm-python
+.pdm-build/
+
+# PEP 582; used by e.g. github.com/David-OConnor/pyflow and github.com/pdm-project/pdm
+__pypackages__/
+
+# Celery stuff
+celerybeat-schedule
+celerybeat.pid
+
+# SageMath parsed files
+*.sage.py
+
+# Environments
+.env
+.venv
+env/
+venv/
+ENV/
+env.bak/
+venv.bak/
+
+# Spyder project settings
+.spyderproject
+.spyproject
+
+# Rope project settings
+.ropeproject
+
+# mkdocs documentation
+/site
+
+# mypy
+.mypy_cache/
+.dmypy.json
+dmypy.json
+
+# Pyre type checker
+.pyre/
+
+# pytype static type analyzer
+.pytype/
+
+# Cython debug symbols
+cython_debug/
+
+# PyCharm
+#  JetBrains specific template is maintained in a separate JetBrains.gitignore that can
+#  be found at https://github.com/github/gitignore/blob/main/Global/JetBrains.gitignore
+#  and can be added to the global gitignore or merged into this file.  For a more nuclear
+#  option (not recommended) you can uncomment the following to ignore the entire idea folder.
+#.idea/
+
+# Ruff stuff:
+.ruff_cache/
+
+# PyPI configuration file
+.pypirc
+
+# Gradio stuff
+.gradio
+
+# Test runs
+tests_runs/

README.md

@@ -1,14 +1,6 @@
----
-title: Virtual Catalan Grandparent
-emoji: 💬
-colorFrom: yellow
-colorTo: purple
-sdk: gradio
-sdk_version: 5.0.1
-app_file: app.py
-pinned: false
-license: mit
-short_description: A virtual Catalan grandparent
----
+# A virtual Catalan grandparent
 
-An example chatbot using [Gradio](https://gradio.app), [`huggingface_hub`](https://huggingface.co/docs/huggingface_hub/v0.22.2/en/index), and the [Hugging Face Inference API](https://huggingface.co/docs/api-inference/index).
+This is the repository for the project "A virtual Catalan grandparent",
+created as part of the course "Natural Language Processing" of the
+"Master's degree in Machine Learning and Cybersecurity for Internet Connected Systems"
+at UPC-EPSEM.

app.py

@@ -1,64 +1,98 @@
+import pprint
+import numpy as np
 import gradio as gr
-from huggingface_hub import InferenceClient
+import src.datasets as datasets
+import src.models as models
+import src.commons as commons
+from src.customlogger import logger
 
-"""
-For more information on `huggingface_hub` Inference API support, please check the docs: https://huggingface.co/docs/huggingface_hub/v0.22.2/en/guides/inference
-"""
-client = InferenceClient("HuggingFaceH4/zephyr-7b-beta")
+SHARE = True
+TOP_K = 5
 
+def setup():
+    """Set up the environment by loading the model, tokenizer, and dataset."""
+    tokenizer = models.load_tokenizer()
+    model = models.load_model()
+    proverbs = datasets.load_proverbs()
+    index = commons.load_or_create_index(tokenizer, model, proverbs)
+    return index, tokenizer, model, proverbs
 
-def respond(
-    message,
-    history: list[tuple[str, str]],
-    system_message,
-    max_tokens,
-    temperature,
-    top_p,
-):
-    messages = [{"role": "system", "content": system_message}]
 
-    for val in history:
-        if val[0]:
-            messages.append({"role": "user", "content": val[0]})
-        if val[1]:
-            messages.append({"role": "assistant", "content": val[1]})
+def sample_inference_results(inference_results: list[dict]) -> list[dict]:
+    """Sample one match per input from inference results, with probability inversely proportional to distance."""
+    sampled = []
+    for result in inference_results:
+        matches = result['matches']
+        distances = np.array([m['distance'] for m in matches])
+        # Convert distances to probabilities using softmax
+        # over negative distances (closer = higher prob)
+        alpha = 1000
+        exp_scores = np.exp(-alpha * distances)
+        probs = exp_scores / exp_scores.sum()
+        sample = np.random.choice(len(result['matches']), p=probs)
+        sampled.append({
+            'input': result['input'],
+            'matches': [match | {"prob": float(probs[i])} for i, match in enumerate(matches)],
+            'sample': result['matches'][sample],
+            "prob": float(probs[sample]),
+        })
+    return sampled
 
-    messages.append({"role": "user", "content": message})
 
-    response = ""
+def build_response_from_result(result: dict) -> str:
+    response = f"**Top {len(result['matches'])} matches:**\n"
+    matches = sorted(result["matches"], key=lambda x: x["rank"])
+    for match in matches:
+        response += f"{match['rank']}. \"{match['proverb']}\" *(distance = {match['distance']:.6f}, probability = {match['prob']*100:.2f}%)*\n"
+    return response
 
-    for message in client.chat_completion(
-        messages,
-        max_tokens=max_tokens,
-        stream=True,
-        temperature=temperature,
-        top_p=top_p,
-    ):
-        token = message.choices[0].delta.content
-
-        response += token
-        yield response
 
+if __name__ == "__main__":
+    index, tokenizer, model, proverbs = setup()
 
-"""
-For information on how to customize the ChatInterface, peruse the gradio docs: https://www.gradio.app/docs/chatinterface
-"""
-demo = gr.ChatInterface(
-    respond,
-    additional_inputs=[
-        gr.Textbox(value="You are a friendly Chatbot.", label="System message"),
-        gr.Slider(minimum=1, maximum=2048, value=512, step=1, label="Max new tokens"),
-        gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperature"),
-        gr.Slider(
-            minimum=0.1,
-            maximum=1.0,
-            value=0.95,
-            step=0.05,
-            label="Top-p (nucleus sampling)",
-        ),
-    ],
-)
+    def run(message, history, detailed_response):
+        # Run inference on the input message
+        logger.info(f"Running inference for message \"{message}\"...")
+        results = commons.inference(
+            [message], index, tokenizer, model, proverbs, k=TOP_K
+        )
 
+        # Sample one match per input from inference results
+        sampled = sample_inference_results(results)
+        logger.info(f"Inference result:\n{pprint.pformat(sampled[0])}")
+        
+        # Build the final response with the details or just the proverb
+        if detailed_response:
+            response = build_response_from_result(sampled[0])
+        else:
+            response = sampled[0]["sample"]["proverb"]
+        return response
 
-if __name__ == "__main__":
-    demo.launch()
+    # Create the Gradio interface
+    with gr.Blocks() as demo:
+        with gr.Row():
+                gr.Markdown(
+                    "# A virtual Catalan grandparent"
+                )
+        with gr.Row():
+            with gr.Column(scale=1):
+                gr.Markdown(
+                    "This is the demo of \"A virtual Catalan grandparent\", a project built as part of a Natural Language Processing course.\n\n"
+                    "You can write anything and you will get a fitting proverb as the response.\n\n"
+                    "> The application is based on a pre-trained transformer model, " +
+                    "[projecte-aina/roberta-base-ca-v2-cased-sts](https://huggingface.co/projecte-aina/roberta-base-ca-v2-cased-sts) " +
+                    "and uses normalized L2 distance between embedding to select the most appropriate proverb in the database, " +
+                    "available [here](https://huggingface.co/datasets/pauhmolins/catalan-proverbs).\n\n"
+                )
+            with gr.Column(scale=2):
+                detailed_response_checkbox = gr.Checkbox(
+                    label="Show detailed response", render=False, value=False)
+                accordion = gr.Accordion(
+                    label="Options", render=False, open=False)
+                chat = gr.ChatInterface(
+                    fn=run,
+                    type="messages",
+                    additional_inputs = [detailed_response_checkbox],
+                    additional_inputs_accordion=accordion,
+                )
+    demo.launch(share=SHARE)

datasets/prompts.json

@@ -0,0 +1,322 @@
+[
+  {
+    "prompt": "Un any més, m'han tornat a pujar el preu del lloguer.",
+    "proverb": "A cada bugada es perd un llençol."
+  },
+  {
+    "prompt": "Avui m'ha arribat una multa per excés de velocitat que em van posar fa un any.",
+    "proverb": "A cada porc li arriba el seu Sant Martí."
+  },
+  {
+    "prompt": "El meu metge m'ha cancelat la visita, diu que s'ha posat malalt.",
+    "proverb": "A cal sabater, sabates de paper."
+  },
+  {
+    "prompt": "Es nota que s'acosta l'estiu, les terrasses estan ben plenes!",
+    "proverb": "A l'estiu, tota cuca viu."
+  },
+  {
+    "prompt": "Vaig marxar del concert just abans que toquessin la seva millor cançó.",
+    "proverb": "A la taula d'en Bernat, qui no hi és, no hi és comptat."
+  },
+  {
+    "prompt": "Va arribar a darrera hora, però noi, quan van cridar a dinar, va ser el primer a parar el plat.",
+    "proverb": "A la taula i al llit, al primer crit."
+  },
+  {
+    "prompt": "Ho va fer assegurant-se de no equivocar-se.",
+    "proverb": "A poc a poc i bona lletra."
+  },
+  {
+    "prompt": "El van enganyar amb tot de regles i normes que només coneixien ells.",
+    "proverb": "Advocats i procuradors, a l'infern de dos en dos."
+  },
+  {
+    "prompt": "Les nevades de l'hivern asseguren una bona collita pels pagesos.",
+    "proverb": "Any de neu, any de Déu."
+  },
+  {
+    "prompt": "El van marejar a metges quan només necessitava tranquil·litat.",
+    "proverb": "Aquest mal no vol soroll."
+  },
+  {
+    "prompt": "Semblava que s’havia de menjar el món però a la primera dificultat ja va plegar.",
+    "proverb": "Arrancada de cavall, parada de rossí."
+  },
+  {
+    "prompt": "No va poder entrar anar de festa enlloc, tot era caríssim.",
+    "proverb": "Barcelona és bona si la bossa sona."
+  },
+  {
+    "prompt": "No s’en sortia i va plegar, va començar de nou.",
+    "proverb": "Bon vent i barca nova."
+  },
+  {
+    "prompt": "Criticava tot i a tothom, però mentrestant feia el que li deien.",
+    "proverb": "Brams d'ase no arriben al cel."
+  },
+  {
+    "prompt": "Nosaltres demanant que plogui i els hotelers que faci sol.",
+    "proverb": "Cada terra fa sa guerra."
+  },
+  {
+    "prompt": "Abans no era així, però què vols, s'hi ha anat tornant.",
+    "proverb": "Caldera vella, bony o forat."
+  },
+  {
+    "prompt": "Va dir que no i d'allí no el treies, no va haver-hi manera. Tremendo!",
+    "proverb": "Canalla neixem i canalla tornem."
+  },
+  {
+    "prompt": "Es queixa de l’ordre, i si veiéssis com té la casa...",
+    "proverb": "Cap geperut no es veu el gep."
+  },
+  {
+    "prompt": "Els botiguers lamenten que el temps hagi espantat a la clientela.",
+    "proverb": "Carrers molls, calaixos eixuts."
+  },
+  {
+    "prompt": "Ja no ve d'aquí, havíem de ser deu i ja som trenta.",
+    "proverb": "Com més serem, més riurem."
+  },
+  {
+    "prompt": "Aquest matí ha estat marejat tot el dia, fins ara que ho ha vomitat",
+    "proverb": "Cosa dolenta, fora del ventre."
+  },
+  {
+    "prompt": "Ho va encertar només una vegada però sempre més li han demanat consell.",
+    "proverb": "Cria fama i posa't a jeure."
+  },
+  {
+    "prompt": "El seu pis vell ha millorat molt només repintant-ne les parets.",
+    "proverb": "Cànter nou fa l'aigua fresca."
+  },
+  {
+    "prompt": "Per més que li explicaven no ho entenia i ell, tossut, que tenia raó.",
+    "proverb": "D'on no n'hi ha, no en pot rajar."
+  },
+  {
+    "prompt": "Els va sorprendre que també els passés a ells.",
+    "proverb": "De Joans, Joseps i ases, n'hi ha a totes les cases."
+  },
+  {
+    "prompt": "Els havia ajudat a fer el dinar i no van ser bons per convidar-lo.",
+    "proverb": "De desagraïts, l'infern n'és ple."
+  },
+  {
+    "prompt": "Jugant, jugant  van acabar caient pel marge",
+    "proverb": "De les rialles vénen les ploralles."
+  },
+  {
+    "prompt": "Cada dia hi posava un euro fins que s’ha pogut comprar el tren que volia",
+    "proverb": "De mica en mica s'omple la pica."
+  },
+  {
+    "prompt": "Era qüestió d’esperar, només es podia resoldre d’aquella manera.",
+    "proverb": "De més verdes en maduren."
+  },
+  {
+    "prompt": "No diries mai qui li ha vingut a donar les gràcies…",
+    "proverb": "De porc i de senyor, se n'ha de venir de mena."
+  },
+  {
+    "prompt": "Va agafar una llibreta nova per fer-ne blocs de notes.",
+    "proverb": "De qui pa en fa rosegons."
+  },
+  {
+    "prompt": "Era inevitable, ja feia temps que la salut li fallava.",
+    "proverb": "De vell, ningú no passa."
+  },
+  {
+    "prompt": "Tu demana la beca, mai se sap.",
+    "proverb": "Demanar no fa pobre."
+  },
+  {
+    "prompt": "Els convidats arribaven i encara no havia ni encès el foc…",
+    "proverb": "El més calent és a l'aigüera."
+  },
+  {
+    "prompt": "Semblava que era una afició i n’ha fet una empresa.",
+    "proverb": "Els catalans de les pedres en fem pans."
+  },
+  {
+    "prompt": "No va voler posar aïllant a les finestres i la factura de calefacció ha estat monumental.",
+    "proverb": "Els estalvis es mengen les estovalles."
+  },
+  {
+    "prompt": "Què vols, a casa seva ja eren tibats de mena.",
+    "proverb": "Els testos s'assemblen a les olles."
+  },
+  {
+    "prompt": "Tota la tarda li va riure les gràcies, i no va ser fins al vespre que li va demanar el gran favor.",
+    "proverb": "Em fas festes i no me'n solies fer, és que em vols fotre o m'has de menester."
+  },
+  {
+    "prompt": "Ell va poder anar de festa, ja tenia el treball enllestit.",
+    "proverb": "Feina feta no fa destorb."
+  },
+  {
+    "prompt": "Aquestes vacances no penso fer altra cosa que jaure al sofà.",
+    "proverb": "Feina fuig, mandra no em deixis."
+  },
+  {
+    "prompt": "No volia que el tornéssin a enredar per preparar una festa. Quina feinada.",
+    "proverb": "Gat escaldat, de l'aigua tèbia fuig."
+  },
+  {
+    "prompt": "D’ença que viu amb la Maria, només fa el que ella li diu.",
+    "proverb": "Home casat, burro espatllat."
+  },
+  {
+    "prompt": "Tot ho començava però res ho arreglava bé.",
+    "proverb": "Home de molts oficis, pobre segur."
+  },
+  {
+    "prompt": "Van anar a dormir a la Fonda perque els convidats estiguessin còmodes a casa seva.",
+    "proverb": "Hostes vingueren que de casa ens tragueren."
+  },
+  {
+    "prompt": "Just acabaven d’arreglar una cadira que es va trencar la taula.",
+    "proverb": "L'alegria dura poc a casa del pobre."
+  },
+  {
+    "prompt": "Ja fa molts dies que està costipada, i mira que es cuida.",
+    "proverb": "Març, marçot, mata la vella a la vora del foc i la jove si pot."
+  },
+  {
+    "prompt": "Es va passar l’estona amb una caixa a la mà amunt i avall, però la resta, pendent.",
+    "proverb": "Molta fressa i poca endreça."
+  },
+  {
+    "prompt": "Si deia el que havia vist, encara en sortiria malparat.",
+    "proverb": "Muts i a la gàbia."
+  },
+  {
+    "prompt": "Va sortir de casa sense agafar una jaqueta perquè deia que no feia tan fred, i s'ha passat la setmana malalt al llit.",
+    "proverb": "Més viu el qui piula que el qui xiula."
+  },
+  {
+    "prompt": "Quan van haver cobrat pel transport li van deixar les caixes de qualsevol manera.",
+    "proverb": "Músic pagat no fa bon so."
+  },
+  {
+    "prompt": "No et creuràs com va acabar.",
+    "proverb": "N'hi ha per llogar-hi cadires."
+  },
+  {
+    "prompt": "Els va avisar que ja havia passat abans, però no se’l van voler escoltar.",
+    "proverb": "Ningú és profeta en la seva terra."
+  },
+  {
+    "prompt": "Semblava fet però a l’ultim minut els van marcar un gol que els va deixar fora.",
+    "proverb": "No diguis blat que no sigui al sac i ben lligat."
+  },
+  {
+    "prompt": "Sempre havia dit que ell no ho faria.",
+    "proverb": "No diguis mai d'aquesta aigua no en beuré."
+  },
+  {
+    "prompt": "Enmig d’aquells disbarats, cal dir que alguna idea era molt bona.",
+    "proverb": "No es pot pas matar tot el que és gras."
+  },
+  {
+    "prompt": "Semblava que la sequera no s’acabaria mai.",
+    "proverb": "No hi ha mal que cent anys duri ni cos que resistir el pugui."
+  },
+  {
+    "prompt": "No només es va adormir sinó que encara es va perdre quan hi anava",
+    "proverb": "No vols caldo? Dues tasses!"
+  },
+  {
+    "prompt": "Tot anava bé fins que li va criticar al germà.",
+    "proverb": "On no hi ha sang, butifarra no s'hi fa."
+  },
+  {
+    "prompt": "Semblava impossible fins que va dir que els pagaria un dinar.",
+    "proverb": "Pagant, Sant Pere canta."
+  },
+  {
+    "prompt": "Es va comprar tota una vaixella quan només se li havia trencat un plat.",
+    "proverb": "Preu per preu, sabates grosses."
+  },
+  {
+    "prompt": "Quan va veure el preu de la tele, li va trobar totes les pegues.",
+    "proverb": "Quan la guineu no les pot haver diu que són verdes."
+  },
+  {
+    "prompt": "Per un cantó feien la guerra bruta mentre deien que respectaven l’ordre establert.",
+    "proverb": "Que la mà esquerra no sàpiga el que fa la mà dreta."
+  },
+  {
+    "prompt": "Va travessar el bosc a mitjanit, cantant com un boig.",
+    "proverb": "Qui canta els seus mals espanta."
+  },
+  {
+    "prompt": "No va començar a cotitzar fins passats els trenta, i li ha quedat una pensió força minsa.",
+    "proverb": "Qui de jove no treballa, de vell dorm a la palla."
+  },
+  {
+    "prompt": "Semblava que no havien de durar ni dos dies, i guaita’ls.",
+    "proverb": "Qui dia passa, any empeny."
+  },
+  {
+    "prompt": "De jove ja havia fet teatre, ara fa les millors presentacions a la feina.",
+    "proverb": "Qui fa un cove fa un cistell."
+  },
+  {
+    "prompt": "Després que es fes públic el cas de corrupció, se'l va expulsar dels càrrecs de govern i se'l va acabar condemant a presó.",
+    "proverb": "Qui la fa, la paga."
+  },
+  {
+    "prompt": "No va parar de queixar-se fins que tothom li va fer cas.",
+    "proverb": "Qui no plora no mama."
+  },
+  {
+    "prompt": "No he pensat a agafar el moneder, així que he hagut de tornar a buscar-lo.",
+    "proverb": "Qui no té cap, ha de tenir cames."
+  },
+  {
+    "prompt": "Ell té molt bona vista però molt mal d'esquena, en canvi l'altre no s'hi veu però camina ben dret.",
+    "proverb": "Qui no té un all, té una ceba."
+  },
+  {
+    "prompt": "Tothom apartava la vista, al final van ser les seves amistats més properes qui li van haver de fer veure el seu error.",
+    "proverb": "Qui vol bé et farà plorar i qui et vol mal et farà riure."
+  },
+  {
+    "prompt": "Les sabates eren precioses, i la llaga que li van fer també.",
+    "proverb": "Qui vol lluir ha de patir."
+  },
+  {
+    "prompt": "Si vols veure el concert des de primera fila, hauràs de posar-te a la cua moltes hores abans que comenci.",
+    "proverb": "Qui vulgui peix que es mulli el cul."
+  },
+  {
+    "prompt": "Fins ara les hi haviem deixat passar totes, però a partir d'ara això canviarà.",
+    "proverb": "S'ha acabat el bròquil."
+  },
+  {
+    "prompt": "Els millors amics són aquells que saben escoltar.",
+    "proverb": "Si vols ben parlar, aprèn de callar."
+  },
+  {
+    "prompt": "D'ençà del dia que van acabar de pintar, no hi han fet res més.",
+    "proverb": "Tal dia farà l'any."
+  },
+  {
+    "prompt": "Al final, no en va sobrar cap...",
+    "proverb": "Tants caps, tants barrets."
+  },
+  {
+    "prompt": "Aquella mala notícia va ser només la primera de totes.",
+    "proverb": "Un mal no ve tot sol."
+  },
+  {
+    "prompt": "Ell presumeix de la feina que fa, però li fan els seus col·laboradors.",
+    "proverb": "Uns tenen la fama i altres carden la llana."
+  },
+  {
+    "prompt": "D'ell, si més no, ja en sabia els defectes. Del nou només eren referències.",
+    "proverb": "Val més boig conegut que savi per conèixer."
+  }
+]

datasets/proverbs.json

@@ -0,0 +1,1655 @@
+[
+  {
+    "proverb": "A cada bugada es perd un llençol.",
+    "themes": [
+      "pèrdua",
+      "inevitabilitat",
+      "experiència"
+    ],
+    "sentiment": "resignació",
+    "explanation": "Aquest refrany expressa que en cada acció o procés, per molt rutinari que sigui, sempre hi ha la possibilitat de perdre alguna cosa. És una manera de dir que les pèrdues petites són inevitables en la vida quotidiana.",
+    "usage": "S'utilitza quan es vol expressar que les petites pèrdues o inconvenients són part natural de qualsevol activitat o procés."
+  },
+  {
+    "proverb": "A cada porc li arriba el seu Sant Martí.",
+    "themes": [
+      "justícia",
+      "conseqüències",
+      "karma"
+    ],
+    "sentiment": "esperança",
+    "explanation": "Aquest refrany indica que tothom rep el que es mereix, tard o d'hora. Fa referència al fet que per Sant Martí es mata el porc, simbolitzant que les accions tenen conseqüències.",
+    "usage": "S'utilitza per expressar que les persones que actuen malament acabaran rebent el càstig o les conseqüències dels seus actes."
+  },
+  {
+    "proverb": "A cal sabater, sabates de paper.",
+    "themes": [
+      "ironia",
+      "incoherència",
+      "paradoxa"
+    ],
+    "sentiment": "sornegueria",
+    "explanation": "Aquest refrany ressalta la paradoxa que sovint les persones que tenen una professió o habilitat no l'apliquen a si mateixes. El sabater, tot i fer sabates, en té de mala qualitat per a ell mateix.",
+    "usage": "S'utilitza per comentar situacions on algú no aplica els seus coneixements o habilitats en benefici propi."
+  },
+  {
+    "proverb": "A l'estiu, tota cuca viu.",
+    "themes": [
+      "abundància",
+      "cicle vital",
+      "temporada"
+    ],
+    "sentiment": "alegria",
+    "explanation": "Aquest refrany fa referència a la vitalitat i l'activitat que es produeix durant l'estiu, quan les condicions són favorables per a la vida.",
+    "usage": "S'utilitza per destacar l'activitat i l'energia que es percep durant l'estiu, tant en la natura com en les persones."
+  },
+  {
+    "proverb": "A la taula d'en Bernat, qui no hi és, no hi és comptat.",
+    "themes": [
+      "presència",
+      "importància",
+      "exclusió"
+    ],
+    "sentiment": "advertència",
+    "explanation": "Aquest refrany indica que si no estàs present en un moment o lloc determinat, no seràs tingut en compte. Fa referència a la importància de ser present per ser considerat.",
+    "usage": "S'utilitza per remarcar que la presència és necessària per participar o ser considerat en decisions o esdeveniments."
+  },
+  {
+    "proverb": "A la taula i al llit, al primer crit.",
+    "themes": [
+      "celeritat",
+      "atenció",
+      "reacció"
+    ],
+    "sentiment": "picardia",
+    "explanation": "Aquest refrany recomana ser ràpid a l'hora de seure a taula o anar al llit, especialment si es fa en companyia, per aprofitar l'ocasió sense perdre temps.",
+    "usage": "S'utilitza sovint amb to humorístic per indicar que cal actuar ràpidament quan se't presenta una bona oportunitat."
+  },
+  {
+    "proverb": "A la vora del riu no t'hi facis el niu.",
+    "themes": [
+      "precaució",
+      "saviesa popular",
+      "naturalesa"
+    ],
+    "sentiment": "prudència",
+    "explanation": "Refrany que adverteix de no establir-se en llocs que poden ser perillosos o inestables, com la vora d'un riu que pot desbordar-se.",
+    "usage": "S'utilitza per aconsellar a algú que eviti situacions que poden ser arriscades o poc fiables."
+  },
+  {
+    "proverb": "A més de pregar, cal treballar.",
+    "themes": [
+      "esforç",
+      "religió",
+      "pragmatisme"
+    ],
+    "sentiment": "consell",
+    "explanation": "Vol dir que no només cal confiar en la sort o en l'ajuda divina, sinó també posar-hi el teu propi esforç.",
+    "usage": "S'utilitza per dir que la feina i l'esforç personal són essencials per aconseguir els resultats."
+  },
+  {
+    "proverb": "A poc a poc i bona lletra.",
+    "themes": [
+      "despaci",
+      "precisió",
+      "perseverança"
+    ],
+    "sentiment": "consell",
+    "explanation": "Vol dir que cal fer les coses amb calma i amb cura per obtenir bons resultats.",
+    "usage": "S’utilitza per animar a fer les coses amb paciència i de manera meticulosa."
+  },
+  {
+    "proverb": "A sants i a minyons no els prometis si no els dons.",
+    "themes": [
+      "promeses",
+      "compromís",
+      "veracitat"
+    ],
+    "sentiment": "avís",
+    "explanation": "Aquest refrany ensenya que no s'han de fer promeses si no tens la intenció de complir-les, especialment a persones que s'hi agafen amb il·lusió o fe.",
+    "usage": "S'utilitza per advertir algú que no prometi res que no pugui o vulgui complir."
+  },
+  {
+    "proverb": "A so de timbals no s'agafen llebres.",
+    "themes": [
+      "eficàcia",
+      "estratègia",
+      "discreció"
+    ],
+    "sentiment": "realisme",
+    "explanation": "Vol dir que amb molt de rebombori no s'aconsegueixen coses delicades o difícils. La caça de la llebre necessita silenci, no soroll.",
+    "usage": "S'utilitza per criticar accions espectaculars o molt visibles que no porten resultats reals."
+  },
+  {
+    "proverb": "Advocats i procuradors, a l'infern de dos en dos.",
+    "themes": [
+      "justícia",
+      "crítica social",
+      "professions"
+    ],
+    "sentiment": "sarcasme",
+    "explanation": "Refrany popular que reflecteix la desconfiança o mala fama tradicional cap a aquests professionals, considerats sovint poc honestos o interessats.",
+    "usage": "S'utilitza quan es vol expressar frustració o cinisme respecte al món judicial o legal."
+  },
+  {
+    "proverb": "Al pot petit hi ha la bona confitura.",
+    "themes": [
+      "valor",
+      "aparences",
+      "qualitat"
+    ],
+    "sentiment": "apreciació",
+    "explanation": "Vol dir que les coses petites poden tenir molt de valor o ser excel·lents, com la confitura concentrada en un pot petit.",
+    "usage": "S'utilitza per defensar o valorar persones o coses petites però valuoses."
+  },
+  {
+    "proverb": "Amb una cama no es camina.",
+    "themes": [
+      "equilibri",
+      "col·laboració",
+      "funcionalitat"
+    ],
+    "sentiment": "realisme",
+    "explanation": "Indica que per funcionar correctament o avançar, calen més d'un recurs, eina o persona.",
+    "usage": "S'utilitza per expressar que no es pot fer una tasca completament amb només una part dels recursos necessaris."
+  },
+  {
+    "proverb": "Any de neu, any de Déu.",
+    "themes": [
+      "cicles naturals",
+      "bona collita",
+      "optimisme"
+    ],
+    "sentiment": "esperança",
+    "explanation": "Aquest refrany expressa que un any amb molta neu és auguri d'una bona collita i prosperitat.",
+    "usage": "S'utilitza per veure de manera positiva un hivern nevat o unes condicions que aparentment poden semblar dures."
+  },
+  {
+    "proverb": "Aquest mal no vol soroll.",
+    "themes": [
+      "prudència",
+      "discreció",
+      "precaució"
+    ],
+    "sentiment": "cautelós",
+    "explanation": "És millor no fer-ne massa esment d'alguns problemes delicats.",
+    "usage": "S'utilitza per tractar assumptes que no convé divulgar."
+  },
+  {
+    "proverb": "Arrancada de cavall, parada de rossí.",
+    "themes": [
+      "constància",
+      "impulsivitat",
+      "esforç"
+    ],
+    "sentiment": "crítica",
+    "explanation": "Vol dir que algú comença amb molt entusiasme o força, però es desinfla ràpidament i no acaba la feina.",
+    "usage": "S'utilitza per descriure persones o projectes que tenen un gran inici però no continuen amb la mateixa energia."
+  },
+  {
+    "proverb": "Barcelona és bona si la bossa sona.",
+    "themes": [
+      "riquesa",
+      "vida urbana",
+      "desigualtat"
+    ],
+    "sentiment": "ironia",
+    "explanation": "Aquest refrany ironitza sobre el fet que per gaudir de Barcelona (i de qualsevol ciutat gran) cal tenir diners.",
+    "usage": "S'utilitza per comentar que l'accés a certs llocs o plaers depèn del poder adquisitiu."
+  },
+  {
+    "proverb": "Bon vent i barca nova.",
+    "themes": [
+      "comiat",
+      "despit",
+      "canvi"
+    ],
+    "sentiment": "desdeny",
+    "explanation": "S'utilitza per acomiadar algú de manera poc afectuosa, desitjant-li que se'n vagi lluny.",
+    "usage": "S'empra quan algú se'n va i no se'l troba a faltar, o fins i tot se n'alegra."
+  },
+  {
+    "proverb": "Brams d'ase no arriben al cel.",
+    "themes": [
+      "ignorància",
+      "ofenses",
+      "indiferència"
+    ],
+    "sentiment": "menyspreu",
+    "explanation": "Vol dir que els insults o comentaris d'ignorants no tenen importància ni transcendència.",
+    "usage": "S'utilitza per restar importància a crítiques o comentaris ofensius de gent poc respectada."
+  },
+  {
+    "proverb": "Cada terra fa sa guerra.",
+    "themes": [
+      "diversitat",
+      "cultura",
+      "costums"
+    ],
+    "sentiment": "reflexiu",
+    "explanation": "Indica que cada lloc té els seus costums i maneres de fer diferents.",
+    "usage": "S'empra per justificar diferències entre regions o tradicions locals."
+  },
+  {
+    "proverb": "Caldera vella, bony o forat.",
+    "themes": [
+      "experiència",
+      "envelliment",
+      "imperfecció"
+    ],
+    "sentiment": "comprensiu",
+    "explanation": "Vol dir que amb el temps tot s'espatlla o té defectes.",
+    "usage": "S'utilitza per excusar errors o defectes en persones o coses velles."
+  },
+  {
+    "proverb": "Canalla neixem i canalla tornem.",
+    "themes": [
+      "vida",
+      "vellesa",
+      "cicle vital"
+    ],
+    "sentiment": "melancòlic",
+    "explanation": "Expressa que tal com naixem dèbils i dependents, així ens tornem amb la vellesa.",
+    "usage": "S'utilitza parlant del pas del temps i la pèrdua d'autonomia en fer-se gran."
+  },
+  {
+    "proverb": "Cap geperut no es veu el gep.",
+    "themes": [
+      "hipocresia",
+      "autocrítica",
+      "defectes"
+    ],
+    "sentiment": "crític",
+    "explanation": "Vol dir que la gent sovint no veu els seus propis defectes però sí els dels altres.",
+    "usage": "S'utilitza per retreure a algú que critica però no veu les seves pròpies mancances."
+  },
+  {
+    "proverb": "Carrers molls, calaixos eixuts.",
+    "themes": [
+      "clima",
+      "economia",
+      "pagesia"
+    ],
+    "sentiment": "preocupació",
+    "explanation": "Expressa que quan plou massa, els pagesos no poden vendre i no guanyen diners.",
+    "usage": "S'empra en contextos agrícoles per parlar dels efectes econòmics del mal temps."
+  },
+  {
+    "proverb": "Com més serem, més riurem.",
+    "themes": [
+      "companyonia",
+      "diversió",
+      "optimisme"
+    ],
+    "sentiment": "alegria",
+    "explanation": "Vol dir que com més gent hi hagi, millor s'ho passa tothom.",
+    "usage": "S'utilitza per convidar més gent a unir-se a una activitat o celebració."
+  },
+  {
+    "proverb": "Cosa dolenta, fora del ventre.",
+    "themes": [
+      "nadalitat",
+      "alliberament",
+      "família"
+    ],
+    "sentiment": "alleujament",
+    "explanation": "Es diu després de donar a llum, celebrant que el part ha acabat bé.",
+    "usage": "S'utilitza tradicionalment en contextos rurals o familiars després del naixement d'un infant."
+  },
+  {
+    "proverb": "Cria fama i posa't a jeure.",
+    "themes": [
+      "reputació",
+      "comoditat",
+      "aparences"
+    ],
+    "sentiment": "cínic",
+    "explanation": "Quan tens una bona reputació, pots aprofitar-te'n i no esforçar-te gaire.",
+    "usage": "S'utilitza per referir-se a qui viu de la seva fama sense fer gaire res."
+  },
+  {
+    "proverb": "Cànter nou fa l'aigua fresca.",
+    "themes": [
+      "novetat",
+      "atractiu",
+      "aparences"
+    ],
+    "sentiment": "positiu",
+    "explanation": "Indica que allò nou o recent sempre sembla millor o més atractiu.",
+    "usage": "S'empra per valorar la novetat o justificar un canvi per coses noves."
+  },
+  {
+    "proverb": "D'on no n'hi ha, no en pot rajar.",
+    "themes": [
+      "limitacions",
+      "realitat",
+      "expectatives"
+    ],
+    "sentiment": "realista",
+    "explanation": "No es pot treure res d'on no hi ha recursos o capacitat.",
+    "usage": "S'empra per indicar que no es poden exigir coses impossibles."
+  },
+  {
+    "proverb": "De Joans, Joseps i ases, n'hi ha a totes les cases.",
+    "themes": [
+      "popularitat",
+      "quotidianitat",
+      "persones"
+    ],
+    "sentiment": "irònic",
+    "explanation": "Indica que hi ha noms o persones molt comunes, a vegades amb sentit despectiu.",
+    "usage": "S'utilitza per parlar de coses o persones corrents, sense singularitat."
+  },
+  {
+    "proverb": "De desagraïts, l'infern n'és ple.",
+    "themes": [
+      "agraïment",
+      "moral",
+      "valors"
+    ],
+    "sentiment": "reprotxa",
+    "explanation": "Critica les persones que no són agraïdes quan reben ajuda.",
+    "usage": "S'utilitza per retreure la manca d'agraïment."
+  },
+  {
+    "proverb": "De les rialles vénen les ploralles.",
+    "themes": [
+      "canvi",
+      "advertència",
+      "equilibri"
+    ],
+    "sentiment": "preventiu",
+    "explanation": "Recorda que darrere la diversió pot venir el plor o una situació negativa.",
+    "usage": "S'empra per advertir de no perdre el seny en l'alegria."
+  },
+  {
+    "proverb": "De mica en mica s'omple la pica.",
+    "themes": [
+      "paciència",
+      "constància",
+      "progrés"
+    ],
+    "sentiment": "positiu",
+    "explanation": "Amb esforç constant, encara que lent, s'aconsegueixen grans coses.",
+    "usage": "S'utilitza per encoratjar a seguir treballant pas a pas."
+  },
+  {
+    "proverb": "De moliner mudaràs i de lladre no t'escaparàs.",
+    "themes": [
+      "justícia",
+      "naturalesa humana",
+      "canvi"
+    ],
+    "sentiment": "pessimista",
+    "explanation": "Vol dir que pots evitar certes coses, però no sempre el mal.",
+    "usage": "S'utilitza per indicar que hi ha mals inevitables."
+  },
+  {
+    "proverb": "De més verdes en maduren.",
+    "themes": [
+      "esperança",
+      "temps",
+      "canvi"
+    ],
+    "sentiment": "esperançador",
+    "explanation": "Encara que ara sembli difícil, tot pot canviar amb el temps.",
+    "usage": "S'utilitza per expressar que les coses poden evolucionar favorablement."
+  },
+  {
+    "proverb": "De ponent, ni vent ni gent.",
+    "themes": [
+      "clima",
+      "caràcter",
+      "territori"
+    ],
+    "sentiment": "despectiu",
+    "explanation": "Fa referència a la mala fama del vent i la gent que ve de ponent.",
+    "usage": "S'empra per criticar el mal temps o la gent d'un lloc determinat."
+  },
+  {
+    "proverb": "De porc i de senyor, se n'ha de venir de mena.",
+    "themes": [
+      "origen",
+      "educació",
+      "naturalesa"
+    ],
+    "sentiment": "conservador",
+    "explanation": "Indica que certes qualitats no s'aprenen, sinó que es tenen de naixement.",
+    "usage": "S'utilitza per valorar el llinatge o l'educació heretada."
+  },
+  {
+    "proverb": "De qui pa en fa rosegons.",
+    "themes": [
+      "repartiment",
+      "enveja",
+      "economia"
+    ],
+    "sentiment": "desconfiat",
+    "explanation": "El que en té, sempre en guarda o en fa profit pels seus interessos.",
+    "usage": "S'utilitza per assenyalar qui sap aprofitar-se de tot."
+  },
+  {
+    "proverb": "De vell, ningú no passa.",
+    "themes": [
+      "vellesa",
+      "destí",
+      "vida"
+    ],
+    "sentiment": "resignat",
+    "explanation": "Tots envellim si no morim abans.",
+    "usage": "S'empra per recordar que ningú s'escapa del pas del temps."
+  },
+  {
+    "proverb": "Demanar no fa pobre.",
+    "themes": [
+      "dignitat",
+      "necessitat",
+      "humilitat"
+    ],
+    "sentiment": "neutral",
+    "explanation": "No passa res per demanar ajuda si es necessita.",
+    "usage": "S'utilitza per encoratjar algú a demanar sense vergonya."
+  },
+  {
+    "proverb": "Diu el mort al degollat: qui t'ha fet eixe forat?.",
+    "themes": [
+      "cinisme",
+      "ironia",
+      "hipocresia"
+    ],
+    "sentiment": "burleta",
+    "explanation": "Es diu quan algú en mal estat es burla o critica algú que està pitjor.",
+    "usage": "S'utilitza per posar en evidència la hipocresia."
+  },
+  {
+    "proverb": "Déu dona faves a qui no té queixals.",
+    "themes": [
+      "injustícia",
+      "destí",
+      "desigualtat"
+    ],
+    "sentiment": "crític",
+    "explanation": "La vida dona coses valuoses a qui no les pot aprofitar.",
+    "usage": "S'empra per lamentar-se de la mala sort o les injustícies de la vida."
+  },
+  {
+    "proverb": "El fill de la gata, rates mata.",
+    "themes": [
+      "naturalesa",
+      "herència",
+      "instint"
+    ],
+    "sentiment": "afirmatiu",
+    "explanation": "Indica que els fills s'assemblen als pares en actitud o caràcter.",
+    "usage": "S'utilitza quan algú segueix les passes familiars."
+  },
+  {
+    "proverb": "El mal fuster molts encenalls sol fer.",
+    "themes": [
+      "errors",
+      "habilitat",
+      "resultats"
+    ],
+    "sentiment": "advertència",
+    "explanation": "Vol dir que aquells que no fan bé les coses solen generar més problemes o mal resultat.",
+    "usage": "S'utilitza per advertir sobre els perills d'un treball mal fet o descurat."
+  },
+  {
+    "proverb": "El més calent és a l'aigüera.",
+    "themes": [
+      "tasques inacabades",
+      "imprevistos",
+      "desordre"
+    ],
+    "sentiment": "frustració",
+    "explanation": "Vol dir que encara no s'ha acabat allò que s'estava fent.",
+    "usage": "S'utilitza per indicar que queda feina pendent."
+  },
+  {
+    "proverb": "El nom no fa la cosa.",
+    "themes": [
+      "aparences",
+      "essència",
+      "veritat"
+    ],
+    "sentiment": "reflexiu",
+    "explanation": "No es pot jutjar una cosa només pel seu nom o aparença.",
+    "usage": "S'empra per recordar que l'essència importa més que la forma."
+  },
+  {
+    "proverb": "El prometre no fa pobre.",
+    "themes": [
+      "paraules",
+      "compromís",
+      "engany"
+    ],
+    "sentiment": "escèptic",
+    "explanation": "Prometre no costa res, però complir és diferent.",
+    "usage": "S'utilitza per desconfiar de les promeses buides."
+  },
+  {
+    "proverb": "El que no vulguis per a tu, no ho vulguis per a ningú.",
+    "themes": [
+      "ètica",
+      "empatia",
+      "respecte"
+    ],
+    "sentiment": "moralitzador",
+    "explanation": "Tracta els altres com voldries ser tractat.",
+    "usage": "S'utilitza per promoure el respecte i la justícia en les accions personals."
+  },
+  {
+    "proverb": "Els catalans de les pedres en fem pans.",
+    "themes": [
+      "recursivitat",
+      "identitat",
+      "resiliència"
+    ],
+    "sentiment": "orgullós",
+    "explanation": "Els catalans sabem aprofitar qualsevol recurs, per escàs que sigui.",
+    "usage": "S'utilitza per expressar l'enginy i capacitat de sortir-se'n amb poc."
+  },
+  {
+    "proverb": "Els estalvis es mengen les estovalles.",
+    "themes": [
+      "avarícia",
+      "mesura",
+      "conseqüències"
+    ],
+    "sentiment": "crític",
+    "explanation": "L'estalvi excessiu pot fer perdre més del que es guanya.",
+    "usage": "S'utilitza per advertir sobre els efectes negatius de l'estalvi extrem."
+  },
+  {
+    "proverb": "Els testos s'assemblen a les olles.",
+    "themes": [
+      "família",
+      "semblança",
+      "educació"
+    ],
+    "sentiment": "reflexiu",
+    "explanation": "Els fills acostumen a assemblar-se als pares.",
+    "usage": "S'utilitza per indicar la transmissió de caràcters o costums familiars."
+  },
+  {
+    "proverb": "Em fas festes i no me'n solies fer, és que em vols fotre o m'has de menester.",
+    "themes": [
+      "desconfiança",
+      "interès",
+      "relacions"
+    ],
+    "sentiment": "sospitós",
+    "explanation": "Quan algú sobtadament és amable, pot ser que tingui un interès ocult.",
+    "usage": "S'utilitza per expressar recel davant una actitud inusualment simpàtica."
+  },
+  {
+    "proverb": "Feina feta no fa destorb.",
+    "themes": [
+      "ordre",
+      "eficiència",
+      "treball"
+    ],
+    "sentiment": "positiu",
+    "explanation": "Quan les coses es fan al seu temps, deixen de ser un problema.",
+    "usage": "S'utilitza per fomentar la previsió i el compliment de les tasques."
+  },
+  {
+    "proverb": "Feina fuig, mandra no em deixis.",
+    "themes": [
+      "peresa",
+      "procrastinació",
+      "sàtira"
+    ],
+    "sentiment": "irònic",
+    "explanation": "Fa broma sobre la mandra i la tendència a evitar la feina.",
+    "usage": "S'empra en to humorístic quan no es vol treballar."
+  },
+  {
+    "proverb": "Feta la llei, feta la trampa.",
+    "themes": [
+      "legalitat",
+      "enginy",
+      "corruptela"
+    ],
+    "sentiment": "escèptic",
+    "explanation": "Sempre hi ha qui troba la manera de saltar-se les normes.",
+    "usage": "S'utilitza per assenyalar la facilitat amb què es poden esquivar les lleis."
+  },
+  {
+    "proverb": "Gallina vella fa bon caldo.",
+    "themes": [
+      "experiència",
+      "edat",
+      "valor"
+    ],
+    "sentiment": "positiu",
+    "explanation": "Les persones grans poden aportar molt, com una gallina vella fa un bon brou.",
+    "usage": "S'utilitza per defensar el valor de l'experiència."
+  },
+  {
+    "proverb": "Gat escaldat, de l'aigua tèbia fuig.",
+    "themes": [
+      "trauma",
+      "prudència",
+      "experiència"
+    ],
+    "sentiment": "cautelós",
+    "explanation": "Qui ha tingut una mala experiència, evita fins i tot riscos petits.",
+    "usage": "S'utilitza per justificar una actitud temerosa o reservada."
+  },
+  {
+    "proverb": "Gent jove, pa tou.",
+    "themes": [
+      "joventut",
+      "fragilitat",
+      "inexperiència"
+    ],
+    "sentiment": "despectiu",
+    "explanation": "Els joves poden ser tous o no tenir prou resistència.",
+    "usage": "S'utilitza de manera crítica per referir-se a la manca de fermesa dels joves."
+  },
+  {
+    "proverb": "Hi ha més dies que llonganisses.",
+    "themes": [
+      "paciència",
+      "temps",
+      "esperança"
+    ],
+    "sentiment": "tranquil·litzador",
+    "explanation": "Encara hi ha molt de temps per fer les coses.",
+    "usage": "S'utilitza per calmar algú que té pressa o angoixa."
+  },
+  {
+    "proverb": "Home casat, burro espatllat.",
+    "themes": [
+      "matrimoni",
+      "experiència",
+      "ironia"
+    ],
+    "sentiment": "burleta",
+    "explanation": "El matrimoni pot desgastar o limitar l'home.",
+    "usage": "S'empra de manera humorística o crítica sobre els efectes del matrimoni."
+  },
+  {
+    "proverb": "Home de molts oficis, pobre segur.",
+    "themes": [
+      "especialització",
+      "treball",
+      "riquesa"
+    ],
+    "sentiment": "escèptic",
+    "explanation": "Qui fa moltes coses diferents, sovint no domina cap i no prospera.",
+    "usage": "S'utilitza per valorar la importància de centrar-se en un ofici."
+  },
+  {
+    "proverb": "Home roig i gos pelut, primer mort que conegut.",
+    "themes": [
+      "aparences",
+      "desconfiança",
+      "prejudicis"
+    ],
+    "sentiment": "refrany tradicional",
+    "explanation": "Desconfiança envers allò que es veu com estrany o fora del comú.",
+    "usage": "S'utilitza (de manera ja molt antiquada o crítica) per referir-se a la desconfiança basada en aparença."
+  },
+  {
+    "proverb": "Hostes vingueren que de casa ens tragueren.",
+    "themes": [
+      "hospitalitat",
+      "abusos",
+      "conseqüències"
+    ],
+    "sentiment": "negatiu",
+    "explanation": "Els convidats es van imposar tant que van fer fora els amfitrions.",
+    "usage": "S'utilitza per advertir del perill de ser massa acollidor."
+  },
+  {
+    "proverb": "Ja pots xiular, si l'ase no vol beure.",
+    "themes": [
+      "voluntat",
+      "ineficiència",
+      "força de voluntat"
+    ],
+    "sentiment": "resignat",
+    "explanation": "No serveix de res insistir si l'altre no vol cooperar.",
+    "usage": "S'utilitza quan algú és tossut o intractable."
+  },
+  {
+    "proverb": "L'alegria dura poc a casa del pobre.",
+    "themes": [
+      "classe social",
+      "tristesa",
+      "realitat"
+    ],
+    "sentiment": "trist",
+    "explanation": "Les bones notícies duren poc quan es tenen pocs recursos.",
+    "usage": "S'utilitza per expressar una realitat dura i injusta."
+  },
+  {
+    "proverb": "L'ase d'en Mora, de tot se n'enamora.",
+    "themes": [
+      "frivolitat",
+      "tendències",
+      "canvi d'opinió"
+    ],
+    "sentiment": "burleta",
+    "explanation": "Fa referència a qui canvia de preferències sovint o s'entusiasma fàcilment.",
+    "usage": "S'utilitza per descriure persones inconstants o massa entusiastes."
+  },
+  {
+    "proverb": "L'enciam és l'escombreta de la panxa.",
+    "themes": [
+      "salut",
+      "alimentació",
+      "digestió"
+    ],
+    "sentiment": "positiu",
+    "explanation": "L'enciam ajuda a fer neteja a l'estómac i afavoreix la digestió.",
+    "usage": "S'utilitza per promoure una dieta saludable."
+  },
+  {
+    "proverb": "L'ull del amo engreixa el cavall",
+    "themes": [
+      "vigilància",
+      "responsabilitat",
+      "cura",
+      "gestió"
+    ],
+    "sentiment": "consell",
+    "explanation": "Vol dir que quan el propietari o responsable està pendent de les seves coses, aquestes funcionen millor o prosperen.",
+    "usage": "S’utilitza per destacar la importància de supervisar personalment allò que és teu si vols que vagi bé."
+  },
+  {
+    "proverb": "Les cabres, pels seus pecats, porten els genolls pelats.",
+    "themes": [
+      "conseqüències",
+      "culpa",
+      "accions"
+    ],
+    "sentiment": "advertència",
+    "explanation": "Indica que els errors o mals actes sovint deixen rastres visibles o conseqüències.",
+    "usage": "S'utilitza per remarcar que les males accions no passen desapercebudes."
+  },
+  {
+    "proverb": "Lo món no fou fet en un dia",
+    "themes": [
+      "temps",
+      "paciència",
+      "procés",
+      "esforç"
+    ],
+    "sentiment": "reflexió",
+    "explanation": "Vol dir que les grans obres o els bons resultats necessiten temps per aconseguir-se, i no es poden fer de pressa.",
+    "usage": "S’utilitza per recordar que cal tenir paciència i constància per assolir objectius importants."
+  },
+  {
+    "proverb": "Març, marçot, mata la vella a la vora del foc i la jove si pot.",
+    "themes": [
+      "clima",
+      "duresa",
+      "inestabilitat"
+    ],
+    "sentiment": "precaució",
+    "explanation": "Fa referència a la duresa i inestabilitat del mes de març, que pot afectar tothom.",
+    "usage": "S'utilitza per avisar del fred tardà o el temps traïdorenc de març."
+  },
+  {
+    "proverb": "Molta fressa i poca endreça.",
+    "themes": [
+      "aparences",
+      "eficiència",
+      "crítica"
+    ],
+    "sentiment": "desaprovació",
+    "explanation": "Descriu situacions on es fa molt soroll però poca feina real.",
+    "usage": "S'utilitza per criticar la manca de productivitat malgrat l'activitat aparent."
+  },
+  {
+    "proverb": "Muts i a la gàbia.",
+    "themes": [
+      "silenci",
+      "autoritat",
+      "obediència"
+    ],
+    "sentiment": "imperatiu",
+    "explanation": "És una expressió que ordena callar i sotmetre's.",
+    "usage": "S'utilitza per exigir silenci o aturar qualsevol protesta o comentari."
+  },
+  {
+    "proverb": "Més viu el qui piula que el qui xiula.",
+    "themes": [
+      "vivacitat",
+      "astúcia",
+      "expressió"
+    ],
+    "sentiment": "afirmació",
+    "explanation": "Indica que qui s'expressa o actua amb intel·ligència sol sortir-se'n millor.",
+    "usage": "S'utilitza per valorar l'enginy o la capacitat de fer-se notar amb habilitat."
+  },
+  {
+    "proverb": "Músic pagat no fa bon so.",
+    "themes": [
+      "interès",
+      "motivació",
+      "qualitat"
+    ],
+    "sentiment": "cínic",
+    "explanation": "Suggerix que quan algú ja ha cobrat, potser no treballa amb la mateixa qualitat.",
+    "usage": "S'utilitza per expressar desconfiança en el rendiment un cop s'ha cobrat per endavant."
+  },
+  {
+    "proverb": "N'hi ha per llogar-hi cadires.",
+    "themes": [
+      "sorpresa",
+      "exageració",
+      "crítica social"
+    ],
+    "sentiment": "sorpresa",
+    "explanation": "Expressa que una situació és tan extravagant o conflictiva que val la pena seure a mirar-la.",
+    "usage": "S'utilitza davant d'una escena ridícula, absurda o d'alt dramatisme."
+  },
+  {
+    "proverb": "Ningú és profeta en la seva terra.",
+    "themes": [
+      "reconeixement",
+      "injustícia",
+      "societat"
+    ],
+    "sentiment": "resignació",
+    "explanation": "Expressa que sovint no es reconeix el valor d'algú en el seu propi entorn.",
+    "usage": "S'utilitza quan una persona no rep valoració al seu lloc d'origen."
+  },
+  {
+    "proverb": "No deixes les sendes velles per les novelles.",
+    "themes": [
+      "prudència",
+      "experiència",
+      "tradició"
+    ],
+    "sentiment": "conservador",
+    "explanation": "Recomana no abandonar allò conegut i segur per opcions noves i incertes.",
+    "usage": "S'utilitza per advertir contra els canvis innecessaris o arriscats."
+  },
+  {
+    "proverb": "No diguis blat que no sigui al sac i ben lligat.",
+    "themes": [
+      "precaució",
+      "expectatives",
+      "realitat"
+    ],
+    "sentiment": "advertència",
+    "explanation": "Adverteix de no donar res per segur fins que no es té completament assolit.",
+    "usage": "S'utilitza per recomanar prudència abans de celebrar l'èxit."
+  },
+  {
+    "proverb": "No diguis mai d'aquesta aigua no en beuré.",
+    "themes": [
+      "humilitat",
+      "canvis",
+      "incertesa"
+    ],
+    "sentiment": "advertència",
+    "explanation": "Fes referència a la incertesa del futur, i com les circumstàncies poden canviar.",
+    "usage": "S'utilitza per advertir que mai es pot estar segur de tot, ja que les opinions o accions poden canviar."
+  },
+  {
+    "proverb": "No es pot pas matar tot el que és gras.",
+    "themes": [
+      "incapacitat",
+      "limitacions",
+      "realisme"
+    ],
+    "sentiment": "realista",
+    "explanation": "Indica que no tot es pot canviar o eliminar, hi ha coses que són difícils d'afectar.",
+    "usage": "S'utilitza per reconèixer les limitacions davant situacions complicades."
+  },
+  {
+    "proverb": "No hi ha mal dinar per qui es fa convidar.",
+    "themes": [
+      "convides",
+      "comer",
+      "despesa"
+    ],
+    "sentiment": "ironia",
+    "explanation": "Vol dir que el menjar d'un convidat sempre és millor perquè no ha de pagar.",
+    "usage": "S'utilitza per referir-se als avantatges d'algú que gaudeix de serveis sense haver de pagar."
+  },
+  {
+    "proverb": "No hi ha mal que cent anys duri ni cos que resistir el pugui.",
+    "themes": [
+      "temps",
+      "resiliència",
+      "esperança",
+      "patiment"
+    ],
+    "sentiment": "consol",
+    "explanation": "Vol dir que cap mal dura per sempre, i que fins i tot els pitjors moments acaben passant, ja que ningú pot suportar un patiment etern.",
+    "usage": "S’utilitza per consolar algú que està passant per una mala època, recordant-li que tot acaba passant."
+  },
+  {
+    "proverb": "No vols caldo? Dues tasses!",
+    "themes": [
+      "desafiaments",
+      "conseqüències",
+      "ironia"
+    ],
+    "sentiment": "irònic",
+    "explanation": "Suggerix que si rebutges una situació, en pots rebre encara més.",
+    "usage": "S'utilitza per evidenciar que rebutjar una opció pot portar a una situació encara més difícil."
+  },
+  {
+    "proverb": "No és carn ni peix i piula quan neix.",
+    "themes": [
+      "ambigüitat",
+      "incertesa",
+      "caràcter"
+    ],
+    "sentiment": "desaprovació",
+    "explanation": "Descriu algú que no té una postura clara o definida, essent indecís.",
+    "usage": "S'utilitza per criticar aquells que no tenen una posició decidida o clara."
+  },
+  {
+    "proverb": "On no hi ha sang, butifarra no s'hi fa.",
+    "themes": [
+      "esforç",
+      "resultat",
+      "relacions"
+    ],
+    "sentiment": "realista",
+    "explanation": "Indica que els bons resultats requereixen esforç i implicació.",
+    "usage": "S'utilitza per dir que les coses bones no es poden aconseguir sense treball dur."
+  },
+  {
+    "proverb": "Pagant, Sant Pere canta.",
+    "themes": [
+      "diners",
+      "interessos",
+      "motivació"
+    ],
+    "sentiment": "cínic",
+    "explanation": "Indica que les persones actuen de manera diferent quan hi ha un interès econòmic involucrat.",
+    "usage": "S'utilitza per mostrar que les accions estan sovint motivades per interessos econòmics."
+  },
+  {
+    "proverb": "Panxa plena no té pena.",
+    "themes": [
+      "satisfacció",
+      "necessitats bàsiques",
+      "comoditat"
+    ],
+    "sentiment": "afirmació",
+    "explanation": "Aquesta expressió subratlla com la satisfacció de les necessitats bàsiques porta tranquil·litat.",
+    "usage": "S'utilitza per dir que quan algú està satisfet, sol estar més content i tranquil."
+  },
+  {
+    "proverb": "Preu per preu, sabates grosses.",
+    "themes": [
+      "costos",
+      "valor",
+      "eficiència"
+    ],
+    "sentiment": "pragmatisme",
+    "explanation": "Suggerix que si s'ha de pagar el mateix, és millor optar per una opció millor.",
+    "usage": "S'utilitza per advocar per obtenir el millor valor possible en qualsevol situació."
+  },
+  {
+    "proverb": "Quan el dia creix, el fred neix.",
+    "themes": [
+      "temps",
+      "cicles",
+      "relacions naturals"
+    ],
+    "sentiment": "observacional",
+    "explanation": "Fa referència al comportament del temps en relació a la llargada dels dies.",
+    "usage": "S'utilitza per descriure les variacions de temperatura segons les estacions."
+  },
+  {
+    "proverb": "Quan la guineu no les pot haver diu que són verdes.",
+    "themes": [
+      "excuses",
+      "frustració",
+      "justificacions"
+    ],
+    "sentiment": "crítica",
+    "explanation": "Descrit a qui es nega a reconèixer una cosa tot i que és evident, justificant-se amb excuses.",
+    "usage": "S'utilitza per criticar aquells que donen excuses per justificar la seva incapacitat o fracàs."
+  },
+  {
+    "proverb": "Quan un no vol, dos no es barallen.",
+    "themes": [
+      "conflictes",
+      "responsabilitat",
+      "relacions"
+    ],
+    "sentiment": "reflexió",
+    "explanation": "Indica que en un conflicte, si una de les parts no vol discutir, no pot haver-hi baralla.",
+    "usage": "S'utilitza per dir que la resolució de conflictes depèn també de la voluntat de les dues parts."
+  },
+  {
+    "proverb": "Que la mà esquerra no sàpiga el que fa la mà dreta.",
+    "themes": [
+      "discreció",
+      "privacitat",
+      "accions"
+    ],
+    "sentiment": "prudència",
+    "explanation": "Suggerix que cal mantenir les accions en secret i no deixar que altres sàpiguen els nostres moviments.",
+    "usage": "S'utilitza per instar a la discreció i la privacitat en les accions importants."
+  },
+  {
+    "proverb": "Qui canta a la taula i xiula al llit, no té el seny complit.",
+    "themes": [
+      "conducta",
+      "coherència",
+      "caràcter"
+    ],
+    "sentiment": "crítica",
+    "explanation": "Indica que qui no és coherent en les seves accions i comportaments no és completament savi.",
+    "usage": "S'utilitza per criticar qui té actituds contradictòries."
+  },
+  {
+    "proverb": "Qui canta els seus mals espanta.",
+    "themes": [
+      "expressió",
+      "emocions",
+      "cataracta"
+    ],
+    "sentiment": "cautela",
+    "explanation": "Indica que parlar dels problemes pot alleujar però també pot causar reaccions negatives.",
+    "usage": "S'utilitza per alertar de les conseqüències de compartir massa les pròpies dificultats."
+  },
+  {
+    "proverb": "Qui de jove no treballa, de vell dorm a la palla.",
+    "themes": [
+      "esforç",
+      "futur",
+      "responsabilitat"
+    ],
+    "sentiment": "advertència",
+    "explanation": "Aquesta dita fa referència al fet que no treballar de jove porta problemes econòmics o de salut a l'edat avançada.",
+    "usage": "S'utilitza per advertir els joves de la importància de l'esforç a la vida laboral."
+  },
+  {
+    "proverb": "Qui dia passa, any empeny.",
+    "themes": [
+      "temps",
+      "persistència",
+      "futur"
+    ],
+    "sentiment": "optimisme",
+    "explanation": "Indica que el temps passarà i que les dificultats es superaran amb el temps.",
+    "usage": "S'utilitza per dir que la paciència i la persistència ens portaran a superar les dificultats."
+  },
+  {
+    "proverb": "Qui fa un cove fa un cistell.",
+    "themes": [
+      "treball",
+      "resultats",
+      "acció"
+    ],
+    "sentiment": "optimisme",
+    "explanation": "Indica que les petites accions o esforços porten a resultats més grans si es mantenen.",
+    "usage": "S'utilitza per motivar a perseverar en qualsevol tasca, ja que els petits esforços s'acumulen."
+  },
+  {
+    "proverb": "Qui guanya primer, s'escanya darrer.",
+    "themes": [
+      "competència",
+      "temps",
+      "resultats"
+    ],
+    "sentiment": "advertència",
+    "explanation": "Expressa que en competicions o desafiaments, qui corre massa al principi pot acabar fatigat o en desavantatge a la fi.",
+    "usage": "S'utilitza per advertir que cal equilibrar l'esforç i no precipitar-se massa."
+  },
+  {
+    "proverb": "Qui guarda quan té, menja quan vol.",
+    "themes": [
+      "estalvi",
+      "previsió",
+      "seguretat"
+    ],
+    "sentiment": "conservador",
+    "explanation": "Diu que qui estalvia o guarda en els moments bons tindrà seguretat en els moments difícils.",
+    "usage": "S'utilitza per animar a ser prudent i estalviar per al futur."
+  },
+  {
+    "proverb": "Qui la fa, la paga.",
+    "themes": [
+      "responsabilitat",
+      "justícia",
+      "acció"
+    ],
+    "sentiment": "equitat",
+    "explanation": "Expressa que qui comet un error o una acció negativa en serà responsable.",
+    "usage": "S'utilitza per recordar que cada acció té una conseqüència."
+  },
+  {
+    "proverb": "Qui mal no fa, mal no pensa.",
+    "themes": [
+      "intencions",
+      "puresa",
+      "moralitat"
+    ],
+    "sentiment": "ètica",
+    "explanation": "Indica que qui actua de manera correcta no té males intencions.",
+    "usage": "S'utilitza per justificar o defensar una persona que no té intencions malicioses."
+  },
+  {
+    "proverb": "Qui menja sopes, se les pensa totes.",
+    "themes": [
+      "experiència",
+      "reflexió",
+      "prudència"
+    ],
+    "sentiment": "sabiesa",
+    "explanation": "Fes referència a qui té experiència o qui pensa molt abans d'actuar.",
+    "usage": "S'utilitza per dir que les persones que reflexionen abans de fer alguna cosa solen ser més astutes."
+  },
+  {
+    "proverb": "Qui molt xerra, algunes n'erra.",
+    "themes": [
+      "paraula",
+      "precaució",
+      "comunicació"
+    ],
+    "sentiment": "advertència",
+    "explanation": "Indica que parlar massa pot portar a equivocar-se.",
+    "usage": "S'utilitza per advertir que parlar excessivament pot causar errors."
+  },
+  {
+    "proverb": "Qui no en passa no en conta.",
+    "themes": [
+      "experiència",
+      "comprensió",
+      "empatia"
+    ],
+    "sentiment": "comprensió",
+    "explanation": "Indica que només qui ha passat per una determinada experiència pot entendre realment les seves dificultats.",
+    "usage": "S'utilitza per mostrar comprensió envers algú que no entén una situació si no l'ha viscuda."
+  },
+  {
+    "proverb": "Qui no menja davant de vós, menja per dos.",
+    "themes": [
+      "generositat",
+      "regals",
+      "ingratitud"
+    ],
+    "sentiment": "ironia",
+    "explanation": "Fa referència a aquells que mengen el que no els pertany o aprofiten oportunitats sense agrair-les.",
+    "usage": "S'utilitza per criticar aquells que aprofiten els altres sense donar res a canvi."
+  },
+  {
+    "proverb": "Qui no plora no mama.",
+    "themes": [
+      "necessitats",
+      "esforç",
+      "iniciativa"
+    ],
+    "sentiment": "realista",
+    "explanation": "Vol dir que si no es demana el que es vol o es necessita, no s'obté res.",
+    "usage": "S'utilitza per dir que cal demanar o lluitar per aconseguir el que es vol."
+  },
+  {
+    "proverb": "Qui no pot segar, espigola.",
+    "themes": [
+      "adaptació",
+      "capacitats",
+      "futur"
+    ],
+    "sentiment": "pragmatisme",
+    "explanation": "Fa referència a qui no pot fer una cosa gran, però s'adapta i fa el millor possible.",
+    "usage": "S'utilitza per animar a buscar solucions adaptades a les pròpies capacitats."
+  },
+  {
+    "proverb": "Qui no s'arrisca, no pisca.",
+    "themes": [
+      "coratge",
+      "iniciativa",
+      "resultat"
+    ],
+    "sentiment": "motivació",
+    "explanation": "Indica que qui no es pren riscos no aconseguirà resultats significatius.",
+    "usage": "S'utilitza per encoratjar a prendre riscos o decisions valentes."
+  },
+  {
+    "proverb": "Qui no té cap, ha de tenir cames.",
+    "themes": [
+      "responsabilitat",
+      "solucions",
+      "adaptació"
+    ],
+    "sentiment": "pragmatisme",
+    "explanation": "Diu que si no tens un recurs, has de trobar una altra manera de solucionar el problema.",
+    "usage": "S'utilitza per suggerir que, si no tens una opció, has de buscar una alternativa."
+  },
+  {
+    "proverb": "Qui no té feina, el gat pentina.",
+    "themes": [
+      "ocupació",
+      "procrastinació",
+      "oci"
+    ],
+    "sentiment": "ironia",
+    "explanation": "Fa referència a qui no té res a fer i es dedica a tasques innecessàries o absurdament petites.",
+    "usage": "S'utilitza per referir-se a aquells que es dediquen a feines sense importància per manca d'activitat."
+  },
+  {
+    "proverb": "Qui no té un all, té una ceba.",
+    "themes": [
+      "alternatives",
+      "recursos",
+      "vida quotidiana"
+    ],
+    "sentiment": "humilitat",
+    "explanation": "Indica que sempre hi ha solucions alternatives, encara que no siguin exactament el que es volia.",
+    "usage": "S'utilitza per dir que encara que no es tingui el que es vol, sempre es pot fer servir una altra cosa."
+  },
+  {
+    "proverb": "Qui oli remena, els dits se n'unta.",
+    "themes": [
+      "responsabilitat",
+      "conseqüències",
+      "accions"
+    ],
+    "sentiment": "advertència",
+    "explanation": "Fes referència a que les accions d'un mateix comporten conseqüències, sovint inesperades.",
+    "usage": "S'utilitza per recordar que quan t'implicaries en alguna cosa, les conseqüències et poden afectar."
+  },
+  {
+    "proverb": "Qui paga, mana.",
+    "themes": [
+      "poder",
+      "diners",
+      "autoritat"
+    ],
+    "sentiment": "pragmatisme",
+    "explanation": "Indica que qui té els recursos o el control econòmic té poder per influir en les decisions.",
+    "usage": "S'utilitza per descriure com el poder econòmic pot determinar qui té l'autoritat en una situació."
+  },
+  {
+    "proverb": "Qui tot ho vol, tot ho perd.",
+    "themes": [
+      "desig",
+      "conseqüències",
+      "modestia"
+    ],
+    "sentiment": "consell",
+    "explanation": "Diu que voler-ho tot pot portar a perdre-ho tot.",
+    "usage": "S'utilitza per advertir que cal ser conscient dels límits i no desitjar més del que es pot obtenir."
+  },
+  {
+    "proverb": "Qui té boca s'equivoca.",
+    "themes": [
+      "errores",
+      "imperfecció",
+      "humilitat"
+    ],
+    "sentiment": "comprensió",
+    "explanation": "Vol dir que tothom pot equivocar-se, ja que no existeix ningú perfecte.",
+    "usage": "S'utilitza per mostrar comprensió quan algú comet un error verbal o en opinió."
+  },
+  {
+    "proverb": "Qui té cua de palla, s'encén.",
+    "themes": [
+      "culpabilitat",
+      "sospita",
+      "consciència"
+    ],
+    "sentiment": "crítica",
+    "explanation": "Fes referència a qui té un passat o accions sospitoses que el fan vulnerables a la crítica o la desconfiança.",
+    "usage": "S'utilitza per indicar que aquells que tenen secrets o culpabilitat s'exposen a la sospita."
+  },
+  {
+    "proverb": "Qui té el cul llogat no seu quan vol.",
+    "themes": [
+      "responsabilitat",
+      "llibertat",
+      "compromís"
+    ],
+    "sentiment": "realista",
+    "explanation": "Fes referència a la falta de llibertat d'acció per aquells que tenen compromisos o deutes.",
+    "usage": "S'utilitza per dir que qui té deures o responsabilitats no pot fer el que vol tot el temps."
+  },
+  {
+    "proverb": "Qui té gana somia pa.",
+    "themes": [
+      "desig",
+      "necessitats",
+      "esperança"
+    ],
+    "sentiment": "nostàlgia",
+    "explanation": "Indica que aquells que tenen necessitats somien amb resoldre-les.",
+    "usage": "S'utilitza per dir que qui està mancat d'una cosa desitjada tendeix a pensar-hi constantment."
+  },
+  {
+    "proverb": "Qui va amb un coix, al cap de l'any ho són tots dos.",
+    "themes": [
+      "influència",
+      "relacions",
+      "adaptació"
+    ],
+    "sentiment": "advertència",
+    "explanation": "Fes referència a la influència de l'entorn, que pot afectar la persona que està al voltant d'algú amb alguna característica o comportament.",
+    "usage": "S'utilitza per advertir que l'entorn pot influir negativament en una persona que se sent còmoda amb ell."
+  },
+  {
+    "proverb": "Qui vol bé et farà plorar i qui et vol mal et farà riure.",
+    "themes": [
+      "relacions",
+      "amor",
+      "interessos"
+    ],
+    "sentiment": "ironia",
+    "explanation": "Indica que a vegades les accions de les persones properes poden tenir efectes inesperats, a vegades dolorosos, altre cops humorístics.",
+    "usage": "S'utilitza per reflexionar sobre com les relacions poden ser complexes i no sempre transparents."
+  },
+  {
+    "proverb": "Qui vol lluir ha de patir.",
+    "themes": [
+      "esforç",
+      "resultats",
+      "aparences"
+    ],
+    "sentiment": "motivació",
+    "explanation": "Vol dir que aquells que volen aconseguir èxit o reconeixement han de passar per dificultats o sacrificis.",
+    "usage": "S'utilitza per dir que el camí cap a l'èxit no és fàcil i requereix esforç."
+  },
+  {
+    "proverb": "Qui vulgui peix que es mulli el cul.",
+    "themes": [
+      "esforç",
+      "acció",
+      "resultats"
+    ],
+    "sentiment": "pragmatisme",
+    "explanation": "Indica que per aconseguir el que es vol, cal actuar i afrontar les dificultats.",
+    "usage": "S'utilitza per suggerir que per aconseguir alguna cosa s'ha de prendre la iniciativa i superar els obstacles."
+  },
+  {
+    "proverb": "Què sap el gat de fer culleres?.",
+    "themes": [
+      "incapacitat",
+      "ignorància",
+      "sorpresa"
+    ],
+    "sentiment": "irònic",
+    "explanation": "Descriu la falta d'habilitat o coneixement d'algú sobre un tema.",
+    "usage": "S'utilitza per fer burla de la ignorància d'algú en un camp específic."
+  },
+  {
+    "proverb": "S'atrapa abans un mentider que un coix.",
+    "themes": [
+      "mentides",
+      "veritat",
+      "engany"
+    ],
+    "sentiment": "desconfiança",
+    "explanation": "Vol dir que és més fàcil agafar algú que menteix que algú que no pot fer el que promet.",
+    "usage": "S'utilitza per ressaltar la facilitat amb què es poden detectar les mentides."
+  },
+  {
+    "proverb": "S'ha acabat el bròquil.",
+    "themes": [
+      "final",
+      "conclusió",
+      "desistència"
+    ],
+    "sentiment": "frustració",
+    "explanation": "Indica que una situació ha arribat al seu fi, sovint de manera definitiva.",
+    "usage": "S'utilitza per expressar que una situació s'ha acabat o que una oportunitat s'ha perdut."
+  },
+  {
+    "proverb": "Sempre han tingut bec les oques.",
+    "themes": [
+      "tradició",
+      "costums",
+      "experiència"
+    ],
+    "sentiment": "nostàlgia",
+    "explanation": "Vol dir que les coses que es fan habitualment han estat sempre així.",
+    "usage": "S'utilitza per fer referència a tradicions o pràctiques que han estat presents durant molt de temps."
+  },
+  {
+    "proverb": "Sempre plou sobre mullat.",
+    "themes": [
+      "dificultats",
+      "desafiaments",
+      "complicacions"
+    ],
+    "sentiment": "desesperança",
+    "explanation": "Expressa que quan una situació ja és difícil, sembla que sempre apareixen més problemes.",
+    "usage": "S'utilitza per referir-se a una situació que es complica encara més després d'haver-se enfrontat a dificultats."
+  },
+  {
+    "proverb": "Si ets al ball, has de ballar.",
+    "themes": [
+      "adaptació",
+      "situació",
+      "responsabilitat"
+    ],
+    "sentiment": "acceptació",
+    "explanation": "Indica que si t'has implicat en alguna situació, cal afrontar-la i fer-te'n responsable.",
+    "usage": "S'utilitza per dir que un cop estàs en una situació, cal afrontar-la sense queixar-se."
+  },
+  {
+    "proverb": "Si no vols pols, no vagis a l'era.",
+    "themes": [
+      "evitar problemes",
+      "precaució",
+      "responsabilitat"
+    ],
+    "sentiment": "consell",
+    "explanation": "Vol dir que si no vols afrontar dificultats, no t'hi impliquis des d'un principi.",
+    "usage": "S'utilitza per dir que si no vols enfrontar-te a un problema, millor que no t'hi involucris."
+  },
+  {
+    "proverb": "Si veus una aranya, fot-li castanya.",
+    "themes": [
+      "acció",
+      "immediatesa",
+      "resposta"
+    ],
+    "sentiment": "determinat",
+    "explanation": "Diu que quan et trobes amb un problema, cal actuar de manera decidida i ràpida.",
+    "usage": "S'utilitza per motivar a fer front immediatament a un problema sense dubtar."
+  },
+  {
+    "proverb": "Si vols ben parlar, aprèn de callar.",
+    "themes": [
+      "sabiduría",
+      "comunicació",
+      "prudència"
+    ],
+    "sentiment": "consell",
+    "explanation": "Indica que per ser un bon parlant, cal saber escoltar i saber quan callar.",
+    "usage": "S'utilitza per fer entendre que la comunicació efectiva requereix saber callar quan és necessari."
+  },
+  {
+    "proverb": "Si vols estar ben servit, fes-te tu mateix el llit.",
+    "themes": [
+      "independència",
+      "autonomia",
+      "esforç"
+    ],
+    "sentiment": "motivació",
+    "explanation": "Expressa que per aconseguir els millors resultats, cal prendre la iniciativa i responsabilitzar-se de les pròpies tasques.",
+    "usage": "S'utilitza per animar a ser independent i no dependre dels altres."
+  },
+  {
+    "proverb": "Si vols saber, pregunta.",
+    "themes": [
+      "curiositat",
+      "coneixement",
+      "aprenentatge"
+    ],
+    "sentiment": "invitació",
+    "explanation": "Suggerix que la millor manera d'aprendre és preguntar quan no es té la informació.",
+    "usage": "S'utilitza per fomentar la curiositat i l'aprenentatge actiu."
+  },
+  {
+    "proverb": "Tal dia farà l'any.",
+    "themes": [
+      "temps",
+      "record",
+      "període"
+    ],
+    "sentiment": "nostàlgia",
+    "explanation": "Expressa que un any després, la situació tornarà o es recordarà.",
+    "usage": "S'utilitza per dir que el temps passarà i es recordarà aquell moment o es reviurà."
+  },
+  {
+    "proverb": "Tal faràs, tal trobaràs.",
+    "themes": [
+      "acció",
+      "resultat",
+      "causa-efecte"
+    ],
+    "sentiment": "advertència",
+    "explanation": "Indica que els resultats d'una acció depenen directament de com es faci aquella acció.",
+    "usage": "S’utilitza per advertir que el que es fa tindrà una reacció proporcional."
+  },
+  {
+    "proverb": "Tal mesura com fareu us serà feta.",
+    "themes": [
+      "acció",
+      "conseqüències",
+      "justícia"
+    ],
+    "sentiment": "injustícia",
+    "explanation": "Vol dir que el tractament que donis als altres serà el que rebràs.",
+    "usage": "S'utilitza per indicar que el que fas als altres t'arribarà a tu."
+  },
+  {
+    "proverb": "Tant te vull, que et trac un ull.",
+    "themes": [
+      "relacions",
+      "sacrifici",
+      "desig"
+    ],
+    "sentiment": "ironia",
+    "explanation": "Vol dir que el desig o l'amor per algú pot portar a fer sacrificis, a vegades excessius o irracionals.",
+    "usage": "S'utilitza per expressar un amor o una estima exagerada o fins i tot una acció impulsiva."
+  },
+  {
+    "proverb": "Tanta roba i tan poc sabó!",
+    "themes": [
+      "aparences",
+      "eficàcia",
+      "pragmatisme"
+    ],
+    "sentiment": "crítica",
+    "explanation": "Fa referència a una situació en què hi ha molt de material o recurs però poc rendiment o eficàcia.",
+    "usage": "S'utilitza per descriure una situació en què les expectatives són grans però els resultats són minúsculs."
+  },
+  {
+    "proverb": "Tants caps, tants barrets.",
+    "themes": [
+      "diversitat",
+      "opinions",
+      "opinió pública"
+    ],
+    "sentiment": "acceptació",
+    "explanation": "Vol dir que hi ha tantes opinions o punts de vista com persones, i cadascú té la seva manera de pensar.",
+    "usage": "S'utilitza per expressar la idea que no hi ha una sola manera de veure les coses, sinó moltes."
+  },
+  {
+    "proverb": "Tota pedra fa paret.",
+    "themes": [
+      "petits esforços",
+      "construcció",
+      "persistència"
+    ],
+    "sentiment": "motivació",
+    "explanation": "Vol dir que amb petites aportacions o esforços, es poden aconseguir grans resultats a llarg termini.",
+    "usage": "S'utilitza per animar a continuar amb petites tasques que, a la llarga, sumaran molt."
+  },
+  {
+    "proverb": "Tots els camins van a Roma.",
+    "themes": [
+      "alternatives",
+      "objectius",
+      "camí"
+    ],
+    "sentiment": "optimisme",
+    "explanation": "Expressa la idea que hi ha moltes maneres d'arribar a un mateix objectiu, i totes són vàlides.",
+    "usage": "S'utilitza per tranquil·litzar algú, mostrant-li que no importa el camí que esculli per arribar a un fi."
+  },
+  {
+    "proverb": "Un mal no ve tot sol.",
+    "themes": [
+      "desafiaments",
+      "problemes",
+      "dificultats"
+    ],
+    "sentiment": "desesperança",
+    "explanation": "Indica que un problema sol portar-ne altres després.",
+    "usage": "S'utilitza per expressar la idea que les dificultats tendeixen a aparèixer en grup."
+  },
+  {
+    "proverb": "Una flor no fa estiu, ni dues primavera.",
+    "themes": [
+      "temps",
+      "realitat",
+      "expectatives"
+    ],
+    "sentiment": "prudència",
+    "explanation": "Indica que una sola acció o esdeveniment no és suficient per establir una tendència o resultat durador.",
+    "usage": "S'utilitza per avisar que no cal fer conclusions precipitadament a partir d'un únic esdeveniment."
+  },
+  {
+    "proverb": "Una gota fa vessar un got.",
+    "themes": [
+      "mides",
+      "desbordament",
+      "límits"
+    ],
+    "sentiment": "frustració",
+    "explanation": "Vol dir que un petit detall o una petita acció pot ser l'últim en provocar una reacció gran.",
+    "usage": "S'utilitza per mostrar com el mínim en excés pot causar una situació insostenible."
+  },
+  {
+    "proverb": "Uns tenen la fama i altres carden la llana.",
+    "themes": [
+      "reconeixement",
+      "justícia",
+      "injustícia"
+    ],
+    "sentiment": "ironia",
+    "explanation": "Vol dir que algú rep el reconeixement pels èxits dels altres, o que els qui treballen no sempre són reconeguts.",
+    "usage": "S'utilitza per criticar la falta de reconeixement a qui realment fa el treball dur."
+  },
+  {
+    "proverb": "Val més anar sol que mal acompanyat.",
+    "themes": [
+      "relacions",
+      "companyia",
+      "independència"
+    ],
+    "sentiment": "consell",
+    "explanation": "Diu que és millor estar sol que estar mal acompanyat, com a manera de preservar la qualitat de les relacions.",
+    "usage": "S'utilitza per suggerir que la qualitat de les companyies és més important que la quantitat."
+  },
+  {
+    "proverb": "Val més boig conegut que savi per conèixer.",
+    "themes": [
+      "incertesa",
+      "relacions",
+      "desconfiança"
+    ],
+    "sentiment": "prudència",
+    "explanation": "Diu que és millor mantenir-se amb el que ja es coneix, encara que no sigui ideal, que arriscar-se amb el desconegut.",
+    "usage": "S'utilitza per argumentar que les coses familiars, per dolentes que siguin, poden semblar més segures que les noves."
+  },
+  {
+    "proverb": "Val més caure amb gràcia que ser graciós.",
+    "themes": [
+      "aparences",
+      "distingir-se",
+      "impressió"
+    ],
+    "sentiment": "reflexió",
+    "explanation": "Vol dir que és millor ser autèntic en els teus actes, fins i tot si no són perfectes, que intentar ser simpàtic de manera artificial.",
+    "usage": "S'utilitza per dir que és millor ser un mateix i actuar amb naturalitat."
+  }
+]

requirements.txt

@@ -1 +1,6 @@
-huggingface_hub==0.25.2
+transformers
+torch
+faiss-cpu
+numpy
+gradio
+colorlog

src/commons.py

@@ -0,0 +1,67 @@
+import src.datasets
+import src.models as models
+import src.indexes as indexes
+import numpy as np
+
+
+def load_or_create_index(tokenizer: models.Tokenizer, model: models.Model, dataset: list[dict]) -> indexes.Index:
+    """Load an existing index or create a new one with default values if it doesn't exist."""
+    if indexes.index_exists():
+        # Load existing index
+        index = indexes.load_index()
+    else:
+        # Create a new index with default values
+        embeddings = embed_dataset(dataset, tokenizer, model)
+        index = indexes.create_index(embeddings)
+    return index
+
+
+def embed_dataset(
+    dataset: list[dict],
+    tokenizer: models.Tokenizer,
+    model: models.Model,
+    map: callable = None,
+    pooling_method: str = models.DEFAULT_POOLING_METHOD
+) -> np.ndarray:
+    """Create a FAISS index from the given dataset."""
+    texts = datasets.build_text_representations(dataset, map)
+    embeddings = models.embed_texts(texts, tokenizer, model, pooling_method)
+    return embeddings
+
+
+def inference(
+    inputs: list[str],
+    index,
+    tokenizer: models.Tokenizer,
+    model: models.Model,
+    dataset: list[dict],
+    pooling_method: str = models.DEFAULT_POOLING_METHOD,
+    k: int = 1
+) -> list[dict]:
+    """Perform inference on the input text and return top matches from the index."""
+    embeddings = models.embed_texts(inputs, tokenizer, model, pooling_method)
+    distances, indices = indexes.find_closest(embeddings, index, k=k)
+    return build_inference_results(inputs, embeddings, dataset, distances, indices)
+
+
+def build_inference_results(inputs: list[str], embeddings: np.ndarray, dataset: list[dict], distances: np.ndarray, indices: np.ndarray) -> list[dict]:
+    """Build the inference results from the distances and indices."""
+    results = []
+    for i in range(len(distances)):
+        indices_list = [idx for idx in indices[i]]
+
+        # Create a list of matches with distances and proverbs
+        matches = {
+            "input": inputs[i],
+            "embedding": embeddings[i],
+            "matches": [
+                {
+                    "rank": j + 1,
+                    "proverb": dataset[indices_list[j]]["proverb"],
+                    "distance": float(distances[i][j])
+                }
+                for j in range(len(indices_list))
+            ]
+        }
+        results.append(matches)
+    return results

src/customlogger.py

@@ -0,0 +1,68 @@
+import sys
+import logging
+import time
+import colorlog
+
+# A module is only ever loaded once, so we can set up the logger here
+logger = logging.getLogger("custom")
+
+# Set the default logging level once at the module level
+TRACE = 5
+logger.setLevel(TRACE)
+
+
+def trace(self, message, *args, **kwargs):
+    """Log a message with severity TRACE."""
+    if self.isEnabledFor(TRACE):
+        self._log(TRACE, message, args, **kwargs)
+
+
+def setup_logger():
+    """Set up the logger with a custom format and color scheme."""
+    # Set the log record to include padding for the origin
+    old_factory = logging.getLogRecordFactory()
+
+    def record_factory(*args, **kwargs):
+        record = old_factory(*args, **kwargs)
+        record.origin = f'{record.filename}:{record.lineno}'
+        return record
+    logging.setLogRecordFactory(record_factory)
+
+    # Create a new log level
+    logging.Logger.trace = trace
+    logging.addLevelName(TRACE, "TRACE")
+
+    # Set formatting for the custom logger
+    fmt = colorlog.ColoredFormatter(
+        "%(asctime)s | %(log_color)s%(levelname)-5s%(reset)s | %(blue)s%(origin)-20s%(reset)s | %(log_color)s%(message)s%(reset)s",
+        datefmt="%H:%M:%S",
+        log_colors={
+            'TRACE': 'yellow',
+            'DEBUG': 'white',
+            'INFO': 'green',
+            'WARNING': 'yellow',
+            'ERROR': 'red',
+        }
+    )
+
+    stdout = colorlog.StreamHandler(stream=sys.stdout)
+    stdout.setFormatter(fmt)
+    logger.addHandler(stdout)
+
+    # Disable the default logging handler
+    logger.propagate = False
+
+
+def log_time(func):
+    """Decorator to log the time taken by a function."""
+    def wrapper(*args, **kwargs):
+        start = time.time()
+        result = func(*args, **kwargs)
+        logger.trace(
+            f"{func.__name__} completed in {time.time() - start:.2f} seconds")
+        return result
+    return wrapper
+
+
+# Actually set up the logger for all modules that import this one
+setup_logger()

src/datasets.py

@@ -0,0 +1,107 @@
+import json
+import os
+import random
+import re
+from src.customlogger import log_time, logger
+
+PROVERBS_FILE = os.path.join("datasets", "proverbs.json")
+PROMPTS_FILE = os.path.join("datasets", "prompts.json")
+PROMPTS_TRAIN_FILE = os.path.join("datasets", "prompts_train.json")
+PROMPTS_TEST_FILE = os.path.join("datasets", "prompts_test.json")
+PROVERB_FIELDS = ["proverb", "themes", "sentiment", "explanation", "usage"]
+
+
+@log_time
+def load_proverbs(proverbs_file: str = PROVERBS_FILE) -> list[dict]:
+    logger.debug(f"Loading proverb dataset from '{proverbs_file}'...")
+    proverbs = load_dataset(proverbs_file)
+    logger.debug(f"Loaded {len(proverbs)} proverb entries")
+    return proverbs
+
+
+@log_time
+def load_prompts(prompts_file: str = PROMPTS_FILE) -> list[dict]:
+    logger.debug(f"Loading prompts dataset from '{prompts_file}'...")
+    prompts = load_dataset(prompts_file)
+    logger.debug(f"Loaded {len(prompts)} prompt entries")
+    return prompts
+
+
+def load_dataset(file):
+    with open(file, "r", encoding="utf-8") as f:
+        data = json.load(f)
+    return data
+
+
+def default_proverb_fields_selection(proverb):
+    """Select fields from the proverb for text representation (proverb, sentiment, usage)."""
+    return [proverb["proverb"]] + proverb["themes"]
+
+
+@log_time
+def build_text_representations(proverbs: list[dict], map: callable = None) -> list[str]:
+    if not map:
+        map = default_proverb_fields_selection
+
+    """Build text representations of proverbs for embedding."""
+    # Remove duplicate periods (some fields already have them)
+    text_representations = [
+        re.sub(r"\.+", ".", ". ".join(map(proverb))) for proverb in proverbs]
+
+    return text_representations
+
+
+def prompts_dataset_splits_exists(train_file: str = PROMPTS_TRAIN_FILE, test_file: str = PROMPTS_TEST_FILE) -> bool:
+    """Check if the prompt dataset splits exist."""
+    return os.path.exists(train_file) and os.path.exists(test_file)
+
+
+@log_time
+def load_prompt_dataset_splits(train_file: str = PROMPTS_TRAIN_FILE, test_file: str = PROMPTS_TEST_FILE) -> tuple[list[dict], list[dict]]:
+    """Load the prompt dataset splits."""
+    with open(train_file, "r", encoding="utf-8") as f:
+        train_set = json.load(f)
+
+    with open(test_file, "r", encoding="utf-8") as f:
+        test_set = json.load(f)
+
+    return train_set, test_set
+
+
+@log_time
+def split_dataset(dataset: list[dict], train_ratio: float = 0, seed: int = 42,
+                  train_file: str = PROMPTS_TRAIN_FILE, test_file: str = PROMPTS_TEST_FILE) -> tuple[list[dict], list[dict]]:
+    """Split a dataset into train and test sets and save them to JSON files.
+
+    Args:
+        dataset (list[dict]): The dataset to split.
+        train_ratio (float): The ratio of the dataset to use for training.
+        seed (int): The random seed for reproducibility.
+        train_file (str): Path to save the training dataset.
+        test_file (str): Path to save the testing dataset.
+    """
+    logger.debug(
+        f"Splitting dataset into train and test with train_ratio={train_ratio}, seed={seed}")
+    random.seed(seed)
+    # Copy the dataset to avoid modifying the original
+    # (it's okay since it's a small dataset)
+    dataset = dataset.copy()
+    random.shuffle(dataset)
+
+    split_index = int(len(dataset) * train_ratio)
+    train_set = dataset[:split_index]
+    test_set = dataset[split_index:]
+
+    logger.debug(
+        f"Train set size: {len(train_set)}, Test set size: {len(test_set)}")
+
+    with open(train_file, "w", encoding="utf-8") as f:
+        json.dump(train_set, f, ensure_ascii=False, indent=2)
+
+    with open(test_file, "w", encoding="utf-8") as f:
+        json.dump(test_set, f, ensure_ascii=False, indent=2)
+
+    logger.info(f"Train dataset saved to '{train_file}'")
+    logger.info(f"Test dataset saved to '{test_file}'")
+
+    return train_set, test_set

src/indexes.py

@@ -0,0 +1,52 @@
+import os
+import faiss
+import numpy as np
+from src.customlogger import log_time, logger
+
+# Type alias to decouple from FAISS
+Index = faiss.IndexFlat
+
+INDEX_FILE = "proverbs.index"
+
+# This were the index types tested
+INDEX_TYPES = [faiss.IndexFlatL2, faiss.IndexFlatIP]
+# This is the pooling method used in the final iteration
+DEFAULT_INDEX_TYPE = faiss.IndexFlatL2
+
+
+def index_exists(index_file: str = INDEX_FILE) -> bool:
+    """Check if the index file exists."""
+    return os.path.exists(index_file)
+
+
+@log_time
+def create_index(embeddings: np.ndarray, index_type: type = None, index_file: str = INDEX_FILE) -> Index:
+    """Create a FAISS index and store the given embeddings."""
+    if not index_type:
+        index_type = DEFAULT_INDEX_TYPE
+
+    dimension = embeddings.shape[1]
+    logger.debug(
+        f"Creating FAISS index with {len(embeddings)} {embeddings.shape[1]}-dimensional embeddings...")
+    index = index_type(dimension)
+    index.add(embeddings)
+    logger.debug(f"Saving FAISS index to '{index_file}'...")
+    faiss.write_index(index, index_file)
+    return index
+
+
+@log_time
+def load_index(index_file: str = INDEX_FILE) -> Index:
+    """Load the FAISS index from the specified file."""
+    logger.debug(f"Loading FAISS index from '{index_file}'...")
+    index = faiss.read_index(index_file)
+    return index
+
+
+@log_time
+def find_closest(embeddings, index: Index, k=5) -> tuple[np.ndarray, np.ndarray]:
+    """Find the closest k vectors in the index for the given embeddings."""
+    logger.debug(
+        f"Performing search for the top {k} matches of {len(embeddings)} embedding...")
+    distances, indices = index.search(embeddings, k)
+    return distances, indices

src/models.py

@@ -0,0 +1,76 @@
+from transformers import AutoTokenizer, AutoModel
+import torch
+import numpy as np
+from src.customlogger import log_time, logger
+
+# Type alias to decouple from transformers
+Tokenizer = AutoTokenizer
+Model = AutoModel
+
+# This were the models tested
+MODELS = [
+    "projecte-aina/roberta-base-ca-v2",
+    "projecte-aina/roberta-base-ca-v2-cased-sts",
+    "projecte-aina/roberta-base-ca-v2-cased-te",
+    "projecte-aina/roberta-base-ca-v2-cased-tc",
+    "projecte-aina/roberta-large-ca-v2"
+]
+# This is the model used in the final iteration
+DEFAULT_MODEL = "projecte-aina/roberta-base-ca-v2"
+
+# This were the pooling methods tested
+POOLING_METHODS = ["mean", "max", "cls"]
+# This is the pooling method used in the final iteration
+DEFAULT_POOLING_METHOD = "cls"
+
+
+@log_time
+def load_model(model_name: str = DEFAULT_MODEL) -> Model:
+    """Load the model for the specified model name."""
+    logger.debug(f"Loading model {model_name}...")
+    model = AutoModel.from_pretrained(model_name)
+    # Set model to evaluation mode
+    model.eval()
+    return model
+
+
+@log_time
+def load_tokenizer(model_name: str = DEFAULT_MODEL) -> Tokenizer:
+    """Load the tokenizer for the specified model."""
+    logger.debug(f"Loading tokenizer {model_name}...")
+    tokenizer = AutoTokenizer.from_pretrained(model_name)
+    return tokenizer
+
+
+@log_time
+def embed_texts(texts: list[str], tokenizer: Tokenizer, model: Model, pooling_metod: str = DEFAULT_POOLING_METHOD, batch_size: int = 32) -> np.ndarray:
+    """Get sentence embeddings using mean pooling."""
+    logger.debug(f"Computing {len(texts)} embeddings...")
+    embeddings = []
+    # Do not use gradient tracking, as we are only doing inference
+    with torch.no_grad():
+        for i in range(0, len(texts), batch_size):
+            # Tokenize the batch of texts
+            batch = texts[i:i+batch_size]
+            encoded = tokenizer(batch, padding=True,
+                                truncation=True, return_tensors="pt")
+            # Run the model on the input batch and get the last hidden state
+            outputs = model(**encoded)
+            last_hidden = outputs.last_hidden_state
+            # Recover the attention mask to avoid padding tokens and compute the pooling
+            mask = encoded["attention_mask"].unsqueeze(-1)\
+                .expand(last_hidden.size()).float()
+            # Apply the pooling method
+            if pooling_metod == "mean":
+                pooled = (last_hidden * mask).sum(1) / mask.sum(1)
+            elif pooling_metod == "max":
+                pooled = (last_hidden * mask).max(1)[0]
+            elif pooling_metod == "cls":
+                pooled = last_hidden[:, 0, :]
+            else:
+                raise ValueError(f"Unknown pooling method: {pooling_metod}")
+            # Normalize the pooled embeddings to unit length (L2 norm)
+            pooled = torch.nn.functional.normalize(pooled, p=2, dim=1)
+            # Append the normalized embeddings to the list
+            embeddings.append(pooled.cpu().numpy())
+    return np.vstack(embeddings)