sambanova-llama2-100-gguf-q8

Bu model, cello78/sambanova-llama2-100 modelinin 8-bit quantized GGUF versiyonudur.

📋 Model Detayları

• Base Model: cello78/sambanova-llama2-100
• Quantization: 8-bit (Q8_0)
• Format: GGUF
• Boyut: Orijinal modelden ~%50 daha küçük
• Uyumluluk: llama.cpp, Ollama, LM Studio

🚀 Kullanım

llama-cpp-python ile:

from llama_cpp import Llama
llm = Llama( model_path="model-q8_0.gguf", n_ctx=2048, # Context length n_threads=8, # CPU thread sayısı )
Metin üret
prompt = "Merhaba, nasılsın?" output = llm(prompt, max_tokens=100, temperature=0.7) print(output['choices'][0]['text'])

### Ollama ile:

```bash
# Modeli indir
ollama pull cello78/sambanova-llama2-100-gguf-q8
Kullan
ollama run cello78/sambanova-llama2-100-gguf-q8 "Merhaba dünya!"

### LM Studio ile:

1. LM Studio'yu açın
2. "Search" kısmına `cello78/sambanova-llama2-100-gguf-q8` yazın
3. Modeli indirin ve kullanın

## ⚡ Performans

- **Hız**: Orijinal modelden ~2x daha hızlı
- **Bellek**: ~%50 daha az RAM kullanımı
- **Kalite**: Minimal kalite kaybı

## 🔧 Teknik Bilgiler

- **Quantization Method**: Q8_0 (8-bit integer quantization)
- **Conversion Tool**: llama.cpp
- **Original Precision**: FP16
- **Target Precision**: INT8

## 📄 Lisans

Bu model orijinal modelin lisansını takip eder.

## 🙏 Teşekkürler

- Orijinal model: [cello78/sambanova-llama2-100](https://huggingface.co/cello78/sambanova-llama2-100)
- Quantization: [llama.cpp](https://github.com/ggerganov/llama.cpp)