Novaciano commited on
Commit
3bcee94
·
verified ·
1 Parent(s): 7560ebc

Upload README.md with huggingface_hub

Browse files
Files changed (1) hide show
  1. README.md +20 -47
README.md CHANGED
@@ -1,6 +1,4 @@
1
  ---
2
- base_model: Novaciano/La_Mejor_Mezcla-3.2-1B
3
- library_name: transformers
4
  datasets:
5
  - alexandreteles/AlpacaToxicQA_ShareGPT
6
  - Nitral-AI/Active_RP-ShareGPT
@@ -24,85 +22,60 @@ datasets:
24
  - cognitivecomputations/samantha-data
25
  - m-a-p/CodeFeedback-Filtered-Instruction
26
  - m-a-p/Code-Feedback
 
 
27
  tags:
28
  - mergekit
29
  - merge
30
  - llama-cpp
 
31
  language:
32
  - es
33
  - en
34
  license: apache-2.0
 
35
  ---
36
 
37
- # Novaciano/La_Mejor_Mezcla-3.2-1B-Q5_0-GGUF
38
- Este modelo se convirtió al formato GGUF desde [`Novaciano/La_Mejor_Mezcla-3.2-1B`](https://huggingface.co/Novaciano/La_Mejor_Mezcla-3.2-1B) utilizando llama.cpp a través del espacio [GGUF-my-repo](https://huggingface.co/spaces/ggml-org/gguf-my-repo) de ggml.ai.
39
- Consulta la [tarjeta del modelo original](https://huggingface.co/Novaciano/La_Mejor_Mezcla-3.2-1B) para obtener más detalles sobre el modelo.
40
-
41
- <center><a href="https://ibb.co/YFCsj2MK"><img src="https://i.ibb.co/pB7FX28s/1559d4be98b5a26edf62ee40695ececc-high.jpg" alt="1559d4be98b5a26edf62ee40695ececc-high" border="0"></a></center>
42
-
43
- # Mezcla
44
-
45
- *Esta es una mezcla de modelos de lenguaje pre-entrenados creado a partir de [mergekit](https://github.com/cg123/mergekit).*
46
-
47
- ## Detalles de la mezcla
48
 
49
- *Fue creado a partir de los que considero los mejores modelos que he usado de base para mis anteriores creaciones. Cada uno destaca en lo suyo:*
50
- - Roleplay
51
- - GRPO
52
- - Uncensored
53
- - Abliterated
54
- - Gran cantidad de datasets inyectados
55
-
56
- ### Método de Mezcla
57
-
58
- *Este modelo ha sido mezclado usando el método de mezcla [Model Stock](https://arxiv.org/abs/2403.19522) usando [bunnycore/FuseChat-3.2-1B-Creative-RP](https://huggingface.co/bunnycore/FuseChat-3.2-1B-Creative-RP) como base.*
59
-
60
- ### Modelos Mezclados
61
-
62
- *Los siguientes modelos han sido incluidos en la mezcla:*
63
- * [NickyNicky/Llama-1B-GRPO_Final](https://huggingface.co/NickyNicky/Llama-1B-GRPO_Final)
64
- * [xdrshjr/llama3.2_1b_uncensored_5000_8epoch_lora](https://huggingface.co/xdrshjr/llama3.2_1b_uncensored_5000_8epoch_lora)
65
- * [huihui-ai/Llama-3.2-1B-Instruct-abliterated](https://huggingface.co/huihui-ai/Llama-3.2-1B-Instruct-abliterated)
66
- * [prithivMLmods/Bellatrix-Tiny-1B-v3](https://huggingface.co/prithivMLmods/Bellatrix-Tiny-1B-v3)
67
- * [cognitivecomputations/Dolphin3.0-Llama3.2-1B](https://huggingface.co/cognitivecomputations/Dolphin3.0-Llama3.2-1B)
68
-
69
- ---
70
- ## Uso con llama.cpp
71
- Instalar llama.cpp a través de brew (funciona en Mac y Linux)
72
 
73
  ```bash
74
  brew install llama.cpp
75
 
76
  ```
77
- Invoque el servidor llama.cpp o la CLI.
78
 
79
  ### CLI:
80
  ```bash
81
- llama-cli --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q5_0-GGUF --hf-file la_mejor_mezcla-3.2-1b-q5_0.gguf -p "The meaning to life and the universe is"
82
  ```
83
 
84
  ### Server:
85
  ```bash
86
- llama-server --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q5_0-GGUF --hf-file la_mejor_mezcla-3.2-1b-q5_0.gguf -c 2048
87
  ```
88
 
89
- **Nota:** También puedes usar este punto de control directamente a través de los [pasos de uso](https://github.com/ggerganov/llama.cpp?tab=readme-ov-file#usage) que se enumeran en el repositorio Llama.cpp.
90
 
91
- **Paso 1:** Clona llama.cpp desde GitHub.
92
  ```
93
  git clone https://github.com/ggerganov/llama.cpp
94
  ```
95
 
96
- **Paso 2:** Vaya a la carpeta llama.cpp y compílela con el indicador `LLAMA_CURL=1` junto con otros indicadores específicos del hardware (por ejemplo: LLAMA_CUDA=1 para GPU Nvidia en Linux).
97
  ```
98
  cd llama.cpp && LLAMA_CURL=1 make
99
  ```
100
 
101
- **Paso 3:** Ejecutar la inferencia a través del binario principal.
 
 
102
  ```
103
- ./llama-cli --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q5_0-GGUF --hf-file la_mejor_mezcla-3.2-1b-q5_0.gguf -p "The meaning to life and the universe is"
104
  ```
105
- o
106
  ```
107
- ./llama-server --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q5_0-GGUF --hf-file la_mejor_mezcla-3.2-1b-q5_0.gguf -c 2048
108
- ```
 
1
  ---
 
 
2
  datasets:
3
  - alexandreteles/AlpacaToxicQA_ShareGPT
4
  - Nitral-AI/Active_RP-ShareGPT
 
22
  - cognitivecomputations/samantha-data
23
  - m-a-p/CodeFeedback-Filtered-Instruction
24
  - m-a-p/Code-Feedback
25
+ base_model: Novaciano/La_Mejor_Mezcla-3.2-1B
26
+ library_name: transformers
27
  tags:
28
  - mergekit
29
  - merge
30
  - llama-cpp
31
+ - gguf-my-repo
32
  language:
33
  - es
34
  - en
35
  license: apache-2.0
36
+ pipeline_tag: text-generation
37
  ---
38
 
39
+ # Novaciano/La_Mejor_Mezcla-3.2-1B-Q5_K_M-GGUF
40
+ This model was converted to GGUF format from [`Novaciano/La_Mejor_Mezcla-3.2-1B`](https://huggingface.co/Novaciano/La_Mejor_Mezcla-3.2-1B) using llama.cpp via the ggml.ai's [GGUF-my-repo](https://huggingface.co/spaces/ggml-org/gguf-my-repo) space.
41
+ Refer to the [original model card](https://huggingface.co/Novaciano/La_Mejor_Mezcla-3.2-1B) for more details on the model.
 
 
 
 
 
 
 
 
42
 
43
+ ## Use with llama.cpp
44
+ Install llama.cpp through brew (works on Mac and Linux)
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
45
 
46
  ```bash
47
  brew install llama.cpp
48
 
49
  ```
50
+ Invoke the llama.cpp server or the CLI.
51
 
52
  ### CLI:
53
  ```bash
54
+ llama-cli --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q5_K_M-GGUF --hf-file la_mejor_mezcla-3.2-1b-q5_k_m.gguf -p "The meaning to life and the universe is"
55
  ```
56
 
57
  ### Server:
58
  ```bash
59
+ llama-server --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q5_K_M-GGUF --hf-file la_mejor_mezcla-3.2-1b-q5_k_m.gguf -c 2048
60
  ```
61
 
62
+ Note: You can also use this checkpoint directly through the [usage steps](https://github.com/ggerganov/llama.cpp?tab=readme-ov-file#usage) listed in the Llama.cpp repo as well.
63
 
64
+ Step 1: Clone llama.cpp from GitHub.
65
  ```
66
  git clone https://github.com/ggerganov/llama.cpp
67
  ```
68
 
69
+ Step 2: Move into the llama.cpp folder and build it with `LLAMA_CURL=1` flag along with other hardware-specific flags (for ex: LLAMA_CUDA=1 for Nvidia GPUs on Linux).
70
  ```
71
  cd llama.cpp && LLAMA_CURL=1 make
72
  ```
73
 
74
+ Step 3: Run inference through the main binary.
75
+ ```
76
+ ./llama-cli --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q5_K_M-GGUF --hf-file la_mejor_mezcla-3.2-1b-q5_k_m.gguf -p "The meaning to life and the universe is"
77
  ```
78
+ or
79
  ```
80
+ ./llama-server --hf-repo Novaciano/La_Mejor_Mezcla-3.2-1B-Q5_K_M-GGUF --hf-file la_mejor_mezcla-3.2-1b-q5_k_m.gguf -c 2048
81
  ```