showeed/modernbert-ja-70m_embed_onnx

language: - ja base_model: - sbintuitions/modernbert-ja-70m

modernBERT-jaをonnxで動作させ、文章をembeddingにしたい

sbintuitions/modernbert-ja-70mのclassifier層の手前からpoolingして出力しただけのもの。 CPU環境でも日本語文章をembeddingしたい。

使用方法

以下を参考にしてください。

import onnxruntime
from transformers import AutoTokenizer

repo_id="showeed/modernbert-ja-70m_embed_onnx"
tokenizer = AutoTokenizer.from_pretrained(repo_id)
session = onnxruntime.InferenceSession("model_int8.onnx")

tokenize = tokenizer("おはようございます、今日の天気は晴れです。", return_tensors="np")
input_ids, attention_mask = tokenize["input_ids"], tokenize["attention_mask"]

print(session.run(None, {"input_ids": input_ids, "attention_mask": attention_mask})[0].shape)

sbintuitions様の作製するAIは私にとって非常に役立っております。 ありがとうございます。