grok-1 / RELEASE
szymonxai's picture
Upload RELEASE with huggingface_hub
62ddeeb verified
╔══════════════════════════╗
β•‘ _______ β•‘
β•‘ /\ |_ _| β•‘
β•‘ __ __ / \ | | β•‘
β•‘ \ \/ / / /\ \ | | β•‘
β•‘ > < / ____ \ _| |_ β•‘
β•‘ /_/\_\/_/ \_\_____| β•‘
β•‘ β•‘
β•‘ Understand the Universe β•‘
β•šβ•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•
╔═══════════════════╗
β•‘ xAI Grok-1 (314B) β•‘
β•šβ•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•
╔═════════════════════════════════════════╗
β•‘ 314B parameter Mixture of Experts model β•‘
β•‘ - Base model (not finetuned) β•‘
β•‘ - 8 experts (2 active) β•‘
β•‘ - 86B active parameters β•‘
β•šβ•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•β•