Llamacpp imatrix Quantizations of Meta-Llama-3-8B-Instruct

Using llama.cpp commit ffe6665 for quantization.

Original model: https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct

All quants made using imatrix option with dataset provided by Vietgpt here

Prompt format

bạn là một nhà báo, hãy tóm tắt bài báo dưới đây bằng giọng văn của một nhà báo chuyên nghiệp

### Instruction:
Tóm tắt bài báo theo phong cách báo chí chính thống, bao gồm các thông tin chính xác và truyền đạt mạch lạc. Đảm bảo rằng tóm tắt diễn đạt rõ ràng, nắm bắt được bản chất của bài báo và truyền đạt lại một cách súc tích khoảng 200 từ.

### Input:
{}

### Response:
{}

Which file should I choose?

Downloads last month
262
GGUF
Model size
8.03B params
Architecture
llama
Hardware compatibility
Log In to view the estimation

4-bit

8-bit

16-bit

Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support