File size: 4,258 Bytes
aa9dceb
7d5f517
 
aa9dceb
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
7d5f517
 
 
 
 
 
 
 
 
 
aa9dceb
7d5f517
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
aa9dceb
 
 
 
 
7d5f517
aa9dceb
 
 
 
 
 
 
 
 
 
 
7d5f517
aa9dceb
7d5f517
aa9dceb
 
 
 
7d5f517
aa9dceb
 
 
 
7d5f517
aa9dceb
 
 
7d5f517
aa9dceb
 
7d5f517
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
---
base_model: Novaciano/La_Mejor_Mezcla-3.2-1B
library_name: transformers
datasets:
- alexandreteles/AlpacaToxicQA_ShareGPT
- Nitral-AI/Active_RP-ShareGPT
- PJMixers/hieunguyenminh_roleplay-deduped-ShareGPT
- Nitral-AI/RP_Alignment-ShareGPT
- Chaser-cz/sonnet35-charcard-roleplay-sharegpt
- AiCloser/sharegpt_cot_dataset
- PJMixers/Gryphe_Opus-WritingPrompts-Story2Prompt-ShareGPT
- priveeai/pippa_sharegpt
- Locutusque/sharegpt_gpt4_uncensored_cleaned
- OpenCoder-LLM/opc-sft-stage1
- OpenCoder-LLM/opc-sft-stage2
- microsoft/orca-agentinstruct-1M-v1
- microsoft/orca-math-word-problems-200k
- NousResearch/hermes-function-calling-v1
- AI-MO/NuminaMath-CoT
- AI-MO/NuminaMath-TIR
- allenai/tulu-3-sft-mixture
- cognitivecomputations/dolphin-coder
- HuggingFaceTB/smoltalk
- cognitivecomputations/samantha-data
- m-a-p/CodeFeedback-Filtered-Instruction
- m-a-p/Code-Feedback
tags:
- mergekit
- merge
- llama-cpp
language:
- es
- en
license: apache-2.0
---

# Novaciano/La_Mejor_Mezcla-3.2-1B-Q6_K-GGUF
Este modelo se convirtió al formato GGUF desde [`Novaciano/La_Mejor_Mezcla-3.2-1B`](https://huggingface.co/Novaciano/La_Mejor_Mezcla-3.2-1B) utilizando llama.cpp a través del espacio [GGUF-my-repo](https://huggingface.co/spaces/ggml-org/gguf-my-repo) de ggml.ai.
Consulta la [tarjeta del modelo original](https://huggingface.co/Novaciano/La_Mejor_Mezcla-3.2-1B) para obtener más detalles sobre el modelo.

<center><a href="https://ibb.co/YFCsj2MK"><img src="https://i.ibb.co/pB7FX28s/1559d4be98b5a26edf62ee40695ececc-high.jpg" alt="1559d4be98b5a26edf62ee40695ececc-high" border="0"></a></center>

# Mezcla

*Esta es una mezcla de modelos de lenguaje pre-entrenados creado a partir de [mergekit](https://github.com/cg123/mergekit).*

## Detalles de la mezcla

*Fue creado a partir de los que considero los mejores modelos que he usado de base para mis anteriores creaciones. Cada uno destaca en lo suyo:*
- Roleplay
- GRPO
- Uncensored
- Abliterated
- Gran cantidad de datasets inyectados

### Método de Mezcla

*Este modelo ha sido mezclado usando el método de mezcla [Model Stock](https://arxiv.org/abs/2403.19522) usando [bunnycore/FuseChat-3.2-1B-Creative-RP](https://huggingface.co/bunnycore/FuseChat-3.2-1B-Creative-RP) como base.*

### Modelos Mezclados

*Los siguientes modelos han sido incluidos en la mezcla:*
* [NickyNicky/Llama-1B-GRPO_Final](https://huggingface.co/NickyNicky/Llama-1B-GRPO_Final)
* [xdrshjr/llama3.2_1b_uncensored_5000_8epoch_lora](https://huggingface.co/xdrshjr/llama3.2_1b_uncensored_5000_8epoch_lora)
* [huihui-ai/Llama-3.2-1B-Instruct-abliterated](https://huggingface.co/huihui-ai/Llama-3.2-1B-Instruct-abliterated)
* [prithivMLmods/Bellatrix-Tiny-1B-v3](https://huggingface.co/prithivMLmods/Bellatrix-Tiny-1B-v3)
* [cognitivecomputations/Dolphin3.0-Llama3.2-1B](https://huggingface.co/cognitivecomputations/Dolphin3.0-Llama3.2-1B)

---
## Uso con llama.cpp
Instalar llama.cpp a través de brew (funciona en Mac y Linux)

```bash
brew install llama.cpp

```
Invoque el servidor llama.cpp o la CLI.

### CLI:
```bash
llama-cli --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q6_K-GGUF --hf-file la_mejor_mezcla-3.2-1b-q6_k.gguf -p "The meaning to life and the universe is"
```

### Server:
```bash
llama-server --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q6_K-GGUF --hf-file la_mejor_mezcla-3.2-1b-q6_k.gguf -c 2048
```

**Nota:** También puedes usar este punto de control directamente a través de los [pasos de uso](https://github.com/ggerganov/llama.cpp?tab=readme-ov-file#usage) que se enumeran en el repositorio Llama.cpp.

**Paso 1:** Clona llama.cpp desde GitHub.
```
git clone https://github.com/ggerganov/llama.cpp
```

**Paso 2:** Vaya a la carpeta llama.cpp y compílela con el indicador `LLAMA_CURL=1` junto con otros indicadores específicos del hardware (por ejemplo: LLAMA_CUDA=1 para GPU Nvidia en Linux).
```
cd llama.cpp && LLAMA_CURL=1 make
```

**Paso 3:** Ejecutar la inferencia a través del binario principal.
```
./llama-cli --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q6_K-GGUF --hf-file la_mejor_mezcla-3.2-1b-q6_k.gguf -p "The meaning to life and the universe is"
```
o
```
./llama-server --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q6_K-GGUF --hf-file la_mejor_mezcla-3.2-1b-q6_k.gguf -c 2048
```