模型名称:thesby/Qwen2.5-VL-7B-NSFW-Caption-V3

模型简介 (Model Description)

thesby/Qwen2.5-VL-7B-NSFW-Caption-V3 是一个专为高质量图像描述(Image Captioning)而优化的多模态大模型。该模型基于强大的 Qwen/Qwen2.5-VL-7B-Instruct 进行全参数微调,旨在提供卓越的图像理解和描述生成能力。

我们在一个包含约 200 万 高质量图文对的混合数据集上对模型进行了训练,使其在多个维度上都表现出色。

主要特点 (Key Features)

  1. **超高质量的图片描述能力 (Ultra-High Quality Captions)**: 模型能够精准捕捉图像中的核心主体、环境背景、人物情绪、物体材质和光影等丰富细节,描述能力超过 gpt4.1-mini,接近于 gemini-2.5-flash。

  2. **SFW & NSFW 内容全覆盖 (Support for both SFW & NSFW Content)**: 经过特殊的数据集训练,模型能够有效识别并描述 SFW (Safe for Work) 和 NSFW (Not Safe for Work) 类型的图像内容。无论是日常生活场景还是成人向内容,都能生成恰当且信息丰富的描述,极大地拓宽了模型的适用边界。

  3. **超长文本描述能力 (Long-form Detailed Description)**: 与传统模型生成简短标题不同,本模型擅长对复杂的图像场景进行详尽入微的描绘。它可以生成包含数百个单词的详细段落,深入分析图像的叙事结构和潜在含义,尤其适合需要深度内容解读的应用场景。

如何使用 (How to Use)

使用方式和 Qwen/Qwen2.5-VL-7B-Instruct 完全相同,模型在图片最大尺寸 800*800 微调,遵从这一限制可以获得更好的效果。

from transformers import Qwen2_5_VLForConditionalGeneration, AutoTokenizer, AutoProcessor
from qwen_vl_utils import process_vision_info

# default: Load the model on the available device(s)
model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    "thesby/Qwen2.5-VL-7B-NSFW-Caption-V3", torch_dtype="auto", device_map="auto"
)


# default processer
processor = AutoProcessor.from_pretrained("thesby/Qwen2.5-VL-7B-NSFW-Caption-V3")

# The default range for the number of visual tokens per image in the model is 4-16384.
# You can set min_pixels and max_pixels according to your needs, such as a token range of 256-1280, to balance performance and cost.
# min_pixels = 256*28*28
# max_pixels = 800 * 800
# processor = AutoProcessor.from_pretrained("thesby/Qwen2.5-VL-7B-NSFW-Caption-V3", min_pixels=min_pixels, max_pixels=max_pixels)

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/demo.jpeg",
            },
            {"type": "text", "text": "请用自然流畅的中文对以下图片进行全面而详细的描述。包括所有可见元素及其属性(如颜色、大小、形状、质地),它们的空间关系,以及任何显著特征或上下文。确保用自然流畅的中文描述清晰、生动,能够捕捉图片的每一个方面,不遗漏任何重要细节。"},
        ],
    }
]

# Preparation for inference
text = processor.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)
image_inputs, video_inputs = process_vision_info(messages)
inputs = processor(
    text=[text],
    images=image_inputs,
    videos=video_inputs,
    padding=True,
    return_tensors="pt",
)
inputs = inputs.to("cuda")

# Inference: Generation of the output
generated_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids_trimmed = [
    out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
output_text = processor.batch_decode(
    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print(output_text)

用途与限制 (Uses and Limitations)

预期用途 (Intended Uses)

  • 自动化内容标注:为海量图片生成高质量的描述和标签,用于内容管理、检索和推荐系统。
  • 无障碍辅助功能:为视障用户描述图像内容,帮助他们理解视觉信息。
  • 创意内容生成:作为灵感来源,为艺术创作、故事写作、广告文案等提供基于图像的文本描述。
  • 数字内容分析:对包括SFW和NSFW在内的多种图像内容进行自动化分析和归档。

不适用范围 (Out-of-Scope)

  • 本模型不应用于生成任何有害、非法、歧视性或侵犯他人隐私的内容。
  • 模型的输出不应被视为绝对事实,更不能用于任何需要高精度和高可靠性的关键决策(如医疗诊断、法律判决等),所有重要应用都需有人工审核。
  • 用户在使用模型处理NSFW内容时,应严格遵守当地法律法规,并承担相应责任。

局限性与偏见 (Limitations and Bias)

  • **幻觉 (Hallucination)**:与所有大模型一样,本模型可能产生“幻觉”,即生成图像中不存在的细节。
  • **数据偏见 (Data Bias)**:模型的输出可能反映其训练数据中存在的社会和文化偏见(例如,在性别、种族或年龄方面的刻板印象)。
  • NSFW判断边界:对于处于SFW和NSFW边界的模糊图像,模型的判断和描述可能与人类预期不符。

训练细节 (Training Details)

训练数据 (Training Data)

本模型在一个精心构建的、约 200 万 图文对的数据集上进行了微调。该数据集经过严格的筛选和清洗,混合了:

  • 高质量的公开图文数据集。
  • 专门收集和标注的、涵盖广泛SFW和NSFW场景的私有数据集。

数据分布旨在提升模型在细节捕捉和长文本生成方面的能力,同时确保对不同类型内容的泛化性。

训练过程 (Training Procedure)

  • **基础模型 (Base Model)**:Qwen/Qwen2.5-VL-7B-Instruct
  • **微调策略 (Finetuning Strategy)**:Lora微调 (Lora Fine-tuning)
  • **框架 (Framework)**:unsloth
  • **主要超参数 (Hyperparameters)**:
    • Learning Rate: 3e-5
    • Batch Size: 8
    • Epochs: 1
    • Optimizer: AdamW
Downloads last month
2,191
Safetensors
Model size
8.29B params
Tensor type
BF16
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for thesby/Qwen2.5-VL-7B-NSFW-Caption-V3

Finetuned
(524)
this model
Finetunes
1 model
Quantizations
1 model