nsxtai/Zion-9B

Modelo Zion 1.0

• Developed by: Next AI Solutions.
• Model type: 9B transfomer LLM.

Model Description

O Zion 1.0 utiliza uma arquitetura Transformer densa e padrão:

• Utilizamos a atenção de consulta agrupada (GQA) com 8 cabeças de chave-valor, pois demonstrou aumentar a velocidade no momento da inferência, mantendo o desempenho a jusante.
• Realizamos a normalização pré-camada, pois melhora a estabilidade do treinamento, e utilizamos o RMSNorm, que é mais rápido.
• Utilizamos a função de ativação SwiGLU, pois demonstrou levar a bons resultados em tarefas a jusante.
• Utilizamos incorporações posicionais rotativas (RoPE) em todas as camadas, pois demonstraram levar a bons desempenhos, permitindo a extensão do comprimento do contexto.

Para o pré-treinamento, utilizamos quatro Mac Studio M4 128, treinando o modelo com um tamanho de lote constante de 2.800 sequências, o que corresponde a aproximadamente 12 milhões de tokens, utilizando o otimizador Adam e precisão BF16. Aqui está um resumo dos hiperparâmetros do modelo:

Comprimento da Sequência	4.096
Número de Camadas	42
Tamanho de Incorporação	4.096
Tamanho Oculto FFN	12.288
Número de Cabeças	32
Número de Cabeças KV (GQA)	8
Função de Ativação	SwiGLU
Codificações de Posição	RoPE (\Theta=10.000)
Norma da Camada	RMSNorm
Incorporações Amarradas	Não
Parâmetros de Incorporação	0,524B
Parâmetros da Cabeça LM	0,524B
Parâmetros Não Incorporantes	8,105B
Parâmetros Totais	9,154B