File size: 4,276 Bytes
4bbe3f6
38b2f75
 
e5408ab
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
4bbe3f6
 
 
 
 
 
 
e5408ab
4bbe3f6
 
3bcee94
38b2f75
 
 
 
 
 
 
 
 
 
eab6b6e
38b2f75
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
4bbe3f6
 
 
 
 
38b2f75
4bbe3f6
 
 
3bcee94
4bbe3f6
 
 
 
3bcee94
4bbe3f6
 
38b2f75
4bbe3f6
38b2f75
4bbe3f6
 
 
 
38b2f75
4bbe3f6
 
 
 
38b2f75
3bcee94
 
4bbe3f6
38b2f75
4bbe3f6
3bcee94
38b2f75
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
---
base_model: Novaciano/La_Mejor_Mezcla-3.2-1B
library_name: transformers
datasets:
- alexandreteles/AlpacaToxicQA_ShareGPT
- Nitral-AI/Active_RP-ShareGPT
- PJMixers/hieunguyenminh_roleplay-deduped-ShareGPT
- Nitral-AI/RP_Alignment-ShareGPT
- Chaser-cz/sonnet35-charcard-roleplay-sharegpt
- AiCloser/sharegpt_cot_dataset
- PJMixers/Gryphe_Opus-WritingPrompts-Story2Prompt-ShareGPT
- priveeai/pippa_sharegpt
- Locutusque/sharegpt_gpt4_uncensored_cleaned
- OpenCoder-LLM/opc-sft-stage1
- OpenCoder-LLM/opc-sft-stage2
- microsoft/orca-agentinstruct-1M-v1
- microsoft/orca-math-word-problems-200k
- NousResearch/hermes-function-calling-v1
- AI-MO/NuminaMath-CoT
- AI-MO/NuminaMath-TIR
- allenai/tulu-3-sft-mixture
- cognitivecomputations/dolphin-coder
- HuggingFaceTB/smoltalk
- cognitivecomputations/samantha-data
- m-a-p/CodeFeedback-Filtered-Instruction
- m-a-p/Code-Feedback
tags:
- mergekit
- merge
- llama-cpp
language:
- es
- en
license: apache-2.0
---

# Novaciano/La_Mejor_Mezcla-3.2-1B-Q5_K_M-GGUF
Este modelo se convirtió al formato GGUF desde [`Novaciano/La_Mejor_Mezcla-3.2-1B`](https://huggingface.co/Novaciano/La_Mejor_Mezcla-3.2-1B) utilizando llama.cpp a través del espacio [GGUF-my-repo](https://huggingface.co/spaces/ggml-org/gguf-my-repo) de ggml.ai.
Consulta la [tarjeta del modelo original](https://huggingface.co/Novaciano/La_Mejor_Mezcla-3.2-1B) para obtener más detalles sobre el modelo.

<center><a href="https://ibb.co/YFCsj2MK"><img src="https://i.ibb.co/pB7FX28s/1559d4be98b5a26edf62ee40695ececc-high.jpg" alt="1559d4be98b5a26edf62ee40695ececc-high" border="0"></a></center>

# Mezcla

*Esta es una mezcla de modelos de lenguaje pre-entrenados creado a partir de [mergekit](https://github.com/cg123/mergekit).*

## Detalles de la mezcla

*Fue creado a partir de los que considero los mejores modelos que he usado de base para mis anteriores creaciones. Cada uno destaca en lo suyo:*
- Roleplay
- GRPO
- Uncensored
- Abliterated
- Gran cantidad de datasets inyectados

### Método de Mezcla

*Este modelo ha sido mezclado usando el método de mezcla [Model Stock](https://arxiv.org/abs/2403.19522) usando [bunnycore/FuseChat-3.2-1B-Creative-RP](https://huggingface.co/bunnycore/FuseChat-3.2-1B-Creative-RP) como base.*

### Modelos Mezclados

*Los siguientes modelos han sido incluidos en la mezcla:*
* [NickyNicky/Llama-1B-GRPO_Final](https://huggingface.co/NickyNicky/Llama-1B-GRPO_Final)
* [xdrshjr/llama3.2_1b_uncensored_5000_8epoch_lora](https://huggingface.co/xdrshjr/llama3.2_1b_uncensored_5000_8epoch_lora)
* [huihui-ai/Llama-3.2-1B-Instruct-abliterated](https://huggingface.co/huihui-ai/Llama-3.2-1B-Instruct-abliterated)
* [prithivMLmods/Bellatrix-Tiny-1B-v3](https://huggingface.co/prithivMLmods/Bellatrix-Tiny-1B-v3)
* [cognitivecomputations/Dolphin3.0-Llama3.2-1B](https://huggingface.co/cognitivecomputations/Dolphin3.0-Llama3.2-1B)

---
## Uso con llama.cpp
Instalar llama.cpp a través de brew (funciona en Mac y Linux)

```bash
brew install llama.cpp

```
Invoque el servidor llama.cpp o la CLI.

### CLI:
```bash
llama-cli --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q5_K_M-GGUF --hf-file la_mejor_mezcla-3.2-1b-q5_k_m.gguf -p "The meaning to life and the universe is"
```

### Server:
```bash
llama-server --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q5_K_M-GGUF --hf-file la_mejor_mezcla-3.2-1b-q5_k_m.gguf -c 2048
```

**Nota:** También puedes usar este punto de control directamente a través de los [pasos de uso](https://github.com/ggerganov/llama.cpp?tab=readme-ov-file#usage) que se enumeran en el repositorio Llama.cpp.

**Paso 1:** Clona llama.cpp desde GitHub.
```
git clone https://github.com/ggerganov/llama.cpp
```

**Paso 2:** Vaya a la carpeta llama.cpp y compílela con el indicador `LLAMA_CURL=1` junto con otros indicadores específicos del hardware (por ejemplo: LLAMA_CUDA=1 para GPU Nvidia en Linux).
```
cd llama.cpp && LLAMA_CURL=1 make
```

**Paso 3:** Ejecutar la inferencia a través del binario principal.
```
./llama-cli --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q5_K_M-GGUF --hf-file la_mejor_mezcla-3.2-1b-q5_k_m.gguf -p "The meaning to life and the universe is"
```
o
```
./llama-server --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q5_K_M-GGUF --hf-file la_mejor_mezcla-3.2-1b-q5_k_m.gguf -c 2048
```