--- language: - en - es tags: - pytorch - causal-lm - pythia - llama-cpp - rp - roleplay - juegos de rol - nsfw license: apache-2.0 datasets: - the_pile - UnfilteredAI/NSFW-2 base_model: EleutherAI/pythia-1b metrics: - bertscore pipeline_tag: text-generation library_name: adapter-transformers --- # Pythia 1b Unfiltered NSFW 📲 Gracias por mostrar interes en este modelo cuantizado del todopoderoso Novaciano que es capaz de correr en una papa 🥔 de 3Gb de RAM.
Py
**✳️ CARACTERÍSTICAS PRINCIPALES** **Capacidades de Roleplay:** Este modelo se destaca en escenarios de interpretación de roles. Puede asumir personalidades, desarrollar tramas y mantener interacciones dinámicas, ideal para juegos narrativos y simulaciones. **Pequeñito:** Es 1 billon de parámetros en 500Mb. **✴️ POSIBLES UTILIDADES** **Narrativa y Escritura Creativa:** Perfecto para construir universos ficticios, diseñar personajes complejos y desarrollar historias elaboradas. **Apoyo en Investigación y Redacción Académica:** Genera borradores, resúmenes y análisis para documentos académicos. **Juegos de Rol e Interpretación Escénica:** Ideal para personalizar experiencias de roleplay, desde simulaciones históricas hasta campañas de fantasía. **Asistencia en Traducción y Localización:** Traduce con precisión y adapta textos al contexto cultural del idioma objetivo. **Simulación de Escenarios:** Crea entornos hipotéticos o alternativos para entrenamiento o experimentación en diversos campos. **❗ CONSIDERACIONES IMPORTANTES** ⚠️ Este modelo no tiene restricciones significativas en cuanto a los temas que puede abordar, lo que lo convierte en una herramienta sin censura apta para usuarios que buscan explorar ideas o narrativas fuera de los límites tradicionales. Sin embargo, su uso responsable recae en el usuario, por lo que no me hago cargo del mal uso que pueda darle. 📟 Blast Processing integrado. Es casi como DOOM, salvo tests de embarazo es ideal para correrlo en entornos de bajos recursos como celulares / smartphones, tablets o computadoras patatas siempre y cuando cuente, como mínimo, con 3Gb de RAM. ## Datos de inferencia ```bash Context Size: A elección, cuanto mas mejor. Max Output: A elección, es la cantidad de texto. Temp: 0.1 | Rep. Pen: 1.1 | Top. P: 1 Top. K: 0 | Top. A: 0.96 | Typ: 0.6 TFS: 1 | Min-P: 0 | Pr. Pen: 0 | Smooth F: 0 Seed: -1 | Rp. Range: 1024 | Rp. Slope: 0.7 ``` ## Usarlo online desde el Google Colab de Koboldcpp No hay mucho misterio, simplemente dirijase [AQUÍ](https://colab.research.google.com/github/LostRuins/koboldcpp/blob/concedo/colab.ipynb#scrollTo=uJS9i_Dltv8Y), copie y pegue el link de este modelo en 'Models' y pulse sobre el simbolo 'Play' No sea ansioso, espere que cargue y le dará un link donde koboldcpp estará corriendo. Si se pausa poner 'Play' de nuevo. ## Usarlo en Android con koboldcpp via Termux 🇬🇧 You can read the english version of my guide [HERE](https://www.reddit.com/r/KoboldAI/comments/14uxmsn/guide_how_install_koboldcpp_in_android_via_termux/) 1 - Instalar Termux (Descargarlo desde [AQUÍ](https://f-droid.org/repo/com.termux_1020.apk), la versión de PlayStore está desactualizada). 2 - Ejecute Termux, se le abrirá la consola de comandos. 3 - Instale las dependencias necesarias copiando y pegando los siguientes comandos. Si no hace esto, no funcionará: ```bash apt-get update apt-get update pkg clang wget git cmake pkg install python ``` 4 - Escriba el comando: ```bash $ termux-change-repo ``` 5 - Seleccione *"Main Repository"*. 6 - Luego seleccione *"Mirror by BFSU"*. 7 - Seleccione *"Aceptar"*. 8 - Reinicie Termux. 10 - Descarga Koboldcpp con este comando: ```bash wget https://github.com/LostRuins/koboldcpp/archive/refs/tags/v1.80.zip ``` **Nota:** *Es la actualización más reciente hasta la fecha. Con el tiempo aparecerán versiones más nuevas. Cuando esto suceda, vaya a la siguiente página:* https://github.com/LostRuins/koboldcpp/releases *...y seleccione la versión, copie el enlace del .zip y péguelo después del comando 'wget' como se detalla anteriormente.* **Alternativa:** *Si a usted no le importa una posible corrupción de koboldcpp al actualizar con el comando 'git pull' que le haga borrar luego la carpeta junto con los modelos descargados debido a una mala actualización, pero garantizando descargar la ultima versión, puede simplemente instalarlo con el comando:* ```bash git clone https://github.com/LostRuins/koboldcpp ``` 11 - Si la descargó, descomprima la versión descargada con este comando: ```bash unzip v1.80.zip ``` 12 - Cambie el nombre de la carpeta con este comando: ```bash mv koboldcpp-v1.80 koboldcpp ``` 13 - Dirijase a la carpeta 'koboldcpp' con este comando: ```bash cd koboldcpp ``` 14 - Compile e instale Koboldcpp con este comando: ```bash make ``` 15 - Descargue este modelo en una carpeta nueva llamada 'Modelos' que se encuentre en la carpeta raiz de Termux con el siguiente comando: ```bash wget https://huggingface.co/Novaciano/Pythia-1b-Unfiltered_NSFW-GGUF/resolve/main/Pythia-1b-Unfiltered_NSFW.gguf ``` Si no sabes crear una carpeta, ni bien ejecutes Termux escribe: ```bash mkdir Modelos ``` **Nota:** *Si desea descargar el modelo en la carpeta Koboldcpp, coloque primero el comando:* ```bash cd koboldcpp ``` ...incluso creo que Koboldcpp que trae su propia carpeta 'Modelos', podes descargarlo ahí tambien. 16 - Ejecute Koboldcpp junto con este modelo con el siguiente comando: ```bash python koboldcpp.py /data/data/com.termux/files/home/modelos/Pythia-1b-Unfiltered_NSFW.gguf 5001 --usecpu --highpriority --smartcontext --flashattention --quantkv 2 --blasbatchsize 2048 --contextsize 4096 ``` o, en caso de que haya elegido poner el modelo en la carpeta Koboldcpp: ```bash python koboldcpp.py Pythia-1b-Unfiltered_NSFW.gguf 5001 --usecpu --highpriority --smartcontext --flashattention --quantkv 2 --blasbatchsize 2048 --contextsize 4096 ``` ♿ **Verdadera inclusión:** Si sos un discapacitado sin brazos o con ELA podes descargarte un modelo Whisper [ACÁ](https://huggingface.co/koboldcpp/whisper/resolve/main/whisper-base.en-q5_1.bin?download=true) y agregarle al final de la linea de ejecución: ```bash --whispermodel /data/data/com.termux/files/home/modelos/whisper-base.en-q5_1.bin ``` **Nota:** *Podés editar el archivo .bash_history y agregarle la linea de ejecución para que quede guardada, para editarla vas a tener que habilitar la visualización de archivos ocultos. Hecho esto, cada vez que se ejecute Termux pulsas la flecha arriba y aparecerá la linea de comando de ejecución.* 17 - Ejecutado el modelo y sin cerrar la consola de Termux pon en tu navegador: http://localhost:8000 ## (Extra) Koboldcpp + SillyTavern El tutorial sobre como instalar SillyTavern en Android puede leerlo [AQUÍ](https://rentry.org/STAI-Termux) **[Local]** ...y poner la IP de la dirección local de Koboldcpp (Ejemplo: http://localhost:5001). Esto si se ha ejecutado junto con koboldcpp. Ingresar a la carpeta de SillyTavern en paralelo iniciando otra sesión en Termux y ejecutar el siguiente comando: ```bash ./start.sh --disableCsrf ``` **[OnLine]** ...o crea una cuenta en en la página Open AI / Horde y coloca la clave API. Intente tomar la clave API en los siguientes enlaces: [OpenAI](https://platform.openai.com/account/api-keys) o [Horde AI](https://horde.koboldai.net/register) **Nota:** *Para actualizar SillyTavern simplemente ingrese a su carpeta y escriba el comando:* ```bash git pull ``` ## Mis bots para Koboldcpp / SillyTavern Cuento con una buena cantidad de bots, la mayoría en castellano. Puede encontrarlos [AQUÍ](https://chub.ai/users/Novaciano). ## Usarlo con llama.cpp (Si tenés una PC decente) Instale llama.cpp a través de brew (funciona en Mac y Linux) ```bash brew install llama.cpp ``` Invoque el Servidor llama.cpp o la CLI. **CLI:** ```bash llama-cli --hf-repo Novaciano/Pythia-1b-Unfiltered_NSFW-GGUF --hf-file Pythia-1b-Unfiltered_NSFW.gguf -p "Argentina va a superar su crisis financiera cuando" ``` **SERVIDOR:** ```bash llama-server --hf-repo Novaciano/Pythia-1b-Unfiltered_NSFW-GGUF --hf-file Pythia-1b-Unfiltered_NSFW-GGUF.gguf -c 2048 ``` **Nota:** *También puede utilizar este punto de control directamente a través de los [Pasos de uso](https://github.com/ggerganov/llama.cpp?tab=readme-ov-file#usage) incluido en el repositorio Llama.cpp.* **Paso 1:** Clonar llama.cpp desde GitHub. ``` git clone https://github.com/ggerganov/llama.cpp ``` **Paso 2:** Vaya a la carpeta llama.cpp y constrúyalo con bandera `LLAMA_CURL=1` junto con otras banderas específicas del hardware (por ejemplo: LLAMA_CUDA=1 para GPUs Nvidia en Linux). ``` cd llama.cpp && LLAMA_CURL=1 make ``` **Paso 3:** Ejecutar la inferencia a través del binario principal. ``` ./llama-cli --hf-repo Novaciano/Pythia-1b-Unfiltered_NSFW-GGUF --hf-file Pythia-1b-Unfiltered_NSFW.gguf -p "Argentina va a superar su crisis financiera cuando" ``` o también con ``` ./llama-server --hf-repo Novaciano/Pythia-1b-Unfiltered_NSFW-GGUF --hf-file Pythia-1b-Unfiltered_NSFW.gguf -c 2048 ```