aixsatoshi/llm-jp-1.8bx24-combined

LLM-JP-24x1.8b-Combined

このモデルは、LLM-JPプロジェクトが公開している3つのモデル（llm-jp-3-8x1.8b、llm-jp-3-8x1.8b-instruct2、llm-jp-3-8x1.8b-instruct3）のエキスパートを組み合わせて作成した24エキスパートのMixture of Expertsモデルです。

モデルの詳細

• アーキテクチャ: Mixtral MoE
• パラメータサイズ: 24x1.8b（24エキスパート、各1.8B）
• アクティブパラメータ: 6（推論時に活性化するエキスパート数）
• コンテキスト長: 4096トークン
• ベースモデル:
  • llm-jp/llm-jp-3-8x1.8b
  • llm-jp/llm-jp-3-8x1.8b-instruct2
  • llm-jp/llm-jp-3-8x1.8b-instruct3