|
--- |
|
base_model: Novaciano/La_Mejor_Mezcla-3.2-1B |
|
library_name: transformers |
|
datasets: |
|
- alexandreteles/AlpacaToxicQA_ShareGPT |
|
- Nitral-AI/Active_RP-ShareGPT |
|
- PJMixers/hieunguyenminh_roleplay-deduped-ShareGPT |
|
- Nitral-AI/RP_Alignment-ShareGPT |
|
- Chaser-cz/sonnet35-charcard-roleplay-sharegpt |
|
- AiCloser/sharegpt_cot_dataset |
|
- PJMixers/Gryphe_Opus-WritingPrompts-Story2Prompt-ShareGPT |
|
- priveeai/pippa_sharegpt |
|
- Locutusque/sharegpt_gpt4_uncensored_cleaned |
|
- OpenCoder-LLM/opc-sft-stage1 |
|
- OpenCoder-LLM/opc-sft-stage2 |
|
- microsoft/orca-agentinstruct-1M-v1 |
|
- microsoft/orca-math-word-problems-200k |
|
- NousResearch/hermes-function-calling-v1 |
|
- AI-MO/NuminaMath-CoT |
|
- AI-MO/NuminaMath-TIR |
|
- allenai/tulu-3-sft-mixture |
|
- cognitivecomputations/dolphin-coder |
|
- HuggingFaceTB/smoltalk |
|
- cognitivecomputations/samantha-data |
|
- m-a-p/CodeFeedback-Filtered-Instruction |
|
- m-a-p/Code-Feedback |
|
tags: |
|
- mergekit |
|
- merge |
|
- llama-cpp |
|
language: |
|
- es |
|
- en |
|
license: apache-2.0 |
|
--- |
|
|
|
# Novaciano/La_Mejor_Mezcla-3.2-1B-Q6_K-GGUF |
|
Este modelo se convirtió al formato GGUF desde [`Novaciano/La_Mejor_Mezcla-3.2-1B`](https://huggingface.co/Novaciano/La_Mejor_Mezcla-3.2-1B) utilizando llama.cpp a través del espacio [GGUF-my-repo](https://huggingface.co/spaces/ggml-org/gguf-my-repo) de ggml.ai. |
|
Consulta la [tarjeta del modelo original](https://huggingface.co/Novaciano/La_Mejor_Mezcla-3.2-1B) para obtener más detalles sobre el modelo. |
|
|
|
<center><a href="https://ibb.co/YFCsj2MK"><img src="https://i.ibb.co/pB7FX28s/1559d4be98b5a26edf62ee40695ececc-high.jpg" alt="1559d4be98b5a26edf62ee40695ececc-high" border="0"></a></center> |
|
|
|
# Mezcla |
|
|
|
*Esta es una mezcla de modelos de lenguaje pre-entrenados creado a partir de [mergekit](https://github.com/cg123/mergekit).* |
|
|
|
## Detalles de la mezcla |
|
|
|
*Fue creado a partir de los que considero los mejores modelos que he usado de base para mis anteriores creaciones. Cada uno destaca en lo suyo:* |
|
- Roleplay |
|
- GRPO |
|
- Uncensored |
|
- Abliterated |
|
- Gran cantidad de datasets inyectados |
|
|
|
### Método de Mezcla |
|
|
|
*Este modelo ha sido mezclado usando el método de mezcla [Model Stock](https://arxiv.org/abs/2403.19522) usando [bunnycore/FuseChat-3.2-1B-Creative-RP](https://huggingface.co/bunnycore/FuseChat-3.2-1B-Creative-RP) como base.* |
|
|
|
### Modelos Mezclados |
|
|
|
*Los siguientes modelos han sido incluidos en la mezcla:* |
|
* [NickyNicky/Llama-1B-GRPO_Final](https://huggingface.co/NickyNicky/Llama-1B-GRPO_Final) |
|
* [xdrshjr/llama3.2_1b_uncensored_5000_8epoch_lora](https://huggingface.co/xdrshjr/llama3.2_1b_uncensored_5000_8epoch_lora) |
|
* [huihui-ai/Llama-3.2-1B-Instruct-abliterated](https://huggingface.co/huihui-ai/Llama-3.2-1B-Instruct-abliterated) |
|
* [prithivMLmods/Bellatrix-Tiny-1B-v3](https://huggingface.co/prithivMLmods/Bellatrix-Tiny-1B-v3) |
|
* [cognitivecomputations/Dolphin3.0-Llama3.2-1B](https://huggingface.co/cognitivecomputations/Dolphin3.0-Llama3.2-1B) |
|
|
|
--- |
|
## Uso con llama.cpp |
|
Instalar llama.cpp a través de brew (funciona en Mac y Linux) |
|
|
|
```bash |
|
brew install llama.cpp |
|
|
|
``` |
|
Invoque el servidor llama.cpp o la CLI. |
|
|
|
### CLI: |
|
```bash |
|
llama-cli --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q6_K-GGUF --hf-file la_mejor_mezcla-3.2-1b-q6_k.gguf -p "The meaning to life and the universe is" |
|
``` |
|
|
|
### Server: |
|
```bash |
|
llama-server --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q6_K-GGUF --hf-file la_mejor_mezcla-3.2-1b-q6_k.gguf -c 2048 |
|
``` |
|
|
|
**Nota:** También puedes usar este punto de control directamente a través de los [pasos de uso](https://github.com/ggerganov/llama.cpp?tab=readme-ov-file#usage) que se enumeran en el repositorio Llama.cpp. |
|
|
|
**Paso 1:** Clona llama.cpp desde GitHub. |
|
``` |
|
git clone https://github.com/ggerganov/llama.cpp |
|
``` |
|
|
|
**Paso 2:** Vaya a la carpeta llama.cpp y compílela con el indicador `LLAMA_CURL=1` junto con otros indicadores específicos del hardware (por ejemplo: LLAMA_CUDA=1 para GPU Nvidia en Linux). |
|
``` |
|
cd llama.cpp && LLAMA_CURL=1 make |
|
``` |
|
|
|
**Paso 3:** Ejecutar la inferencia a través del binario principal. |
|
``` |
|
./llama-cli --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q6_K-GGUF --hf-file la_mejor_mezcla-3.2-1b-q6_k.gguf -p "The meaning to life and the universe is" |
|
``` |
|
o |
|
``` |
|
./llama-server --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q6_K-GGUF --hf-file la_mejor_mezcla-3.2-1b-q6_k.gguf -c 2048 |
|
``` |