hotchpotch/tmp-mb-jp-30m-reranker

あとで削除予定の、検証用のreranker

from transformers import AutoTokenizer, AutoModelForSequenceClassification
from torch.nn import Sigmoid
import torch

MODEL_NAME = "hotchpotch/tmp-mb-jp-30m-reranker"
device = "cuda" if torch.cuda.is_available() else "cpu"

tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
model = AutoModelForSequenceClassification.from_pretrained(MODEL_NAME)
model.to(device)
model.eval()

if device == "cuda":
    model.half()

query = "感動的な映画について"
passages = [
    "深いテーマを持ちながらも、観る人の心を揺さぶる名作。登場人物の心情描写が秀逸で、ラストは涙なしでは見られない。",
    "重要なメッセージ性は評価できるが、暗い話が続くので気分が落ち込んでしまった。もう少し明るい要素があればよかった。",
    "どうにもリアリティに欠ける展開が気になった。もっと深みのある人間ドラマが見たかった。",
    "アクションシーンが楽しすぎる。見ていて飽きない。ストーリーはシンプルだが、それが逆に良い。",
]
inputs = tokenizer(
    [(query, passage) for passage in passages],
    padding=True,
    truncation=True,
    max_length=8192,
    return_tensors="pt",
)
inputs = {k: v.to(device) for k, v in inputs.items()}
logits = model(**inputs).logits
activation = Sigmoid()
scores = activation(logits).squeeze().tolist()

# sort by score
sorted_indices = sorted(range(len(scores)), key=lambda i: scores[i], reverse=True)
# show sorted results
for i in sorted_indices:
    print(f"Passage: {passages[i]}")
    print(f"Score: {scores[i]}")
    print()