AXERA-TECH/OWLViT2

OWLv2 on AXERA NPU

本仓库基于 google/owlv2-base-patch16-finetuned，面向 AXERA NPU 平台完成模型移植、量化部署与精度验证。

项目重点包括：

• OWLv2 模型适配与部署落地
• 面向 AXERA 工具链的量化流程
• 板端推理联调
• 与原始框架结果的精度对齐与验证

详细使用方式请参考 HOW_TO_USE.md。

1. 原始模型仓库简介

OWLv2 是 Google 提出的开放词汇目标检测模型。与传统只能识别固定类别的检测器不同，OWLv2 可以结合文本提示词完成零样本目标检测，适合需要灵活扩展类别的场景。

google/owlv2-base-patch16-finetuned 是 Hugging Face 上发布的基础版本之一，通常用于：

• 文本条件目标检测
• 开放词汇/零样本检测
• 模型部署与效果验证

原始模型通常以“图像 + 文本查询”作为输入，输出候选框、类别匹配结果和对应置信度。

2. 本仓库说明

本仓库不是对 OWLv2 进行重新训练，而是围绕 AXERA NPU 平台打通从原始模型到端侧部署的完整链路，主要包含：

• 模型准备与格式转换
• 量化与编译
• 板端推理验证
• 精度对比与结果分析

如果需要查看完整操作步骤、环境依赖、命令示例和验证流程，请直接阅读 HOW_TO_USE.md。

3. 仓库结构

以下为本仓库核心内容示意，具体请以实际文件为准：

.
├── README.md              # 项目简介、目录说明与演示
├── HOW_TO_USE.md          # 环境准备、模型转换、量化、部署与验证说明
└── ...                    # 其余与 AXERA NPU 适配、量化和精度验证相关的脚本/资源

如果仓库中包含导出脚本、量化配置、测试样例或结果文件，通常可按以下职责理解：

• export / convert：原始模型导出与前后处理适配
• quantize / build：量化、编译与部署产物生成
• demo / samples：推理示例与可视化结果
• eval / test：精度验证与结果对比

4. 使用流程概览

完整步骤请参考 HOW_TO_USE.md。一般流程如下：

1. 准备 Python、Transformers 与 AXERA 相关环境
2. 获取或导出 OWLv2 模型
3. 按 AXERA 工具链要求完成量化与编译
4. 在 AXERA NPU 平台运行推理
5. 对比原始框架与 NPU 输出，完成精度验证

5. 演示内容

以下内容用于 README 展示，命令、日志与指标请以 HOW_TO_USE.md 和仓库实际结果为准。

5.1 文本提示词检测示意

输入图像中希望检测的目标类别：

["person", "car", "bus"]

示例输出：

[INFO] Detected: person | score=0.92 | bbox=[56, 43, 188, 420]
[INFO] Detected: car    | score=0.88 | bbox=[210, 260, 472, 418]
[INFO] Detected: bus    | score=0.81 | bbox=[489, 120, 910, 430]

5.2 AXERA NPU 部署流程示意

PyTorch / Transformers
    │
    ├── 模型导出
    │
    ├── 量化校准
    │
    ├── AXERA 编译部署
    │
    └── 板端推理与精度验证

5.3 精度验证示意

验证项	说明
框位置对齐	对比原始框架与 NPU 输出框坐标是否一致或接近
置信度对齐	关注量化前后 score 排序与数值偏移
类别匹配	检查文本提示词对应的检测类别是否正确
量化损失	评估 INT8 部署后精度下降是否在可接受范围内

5.4 性能统计

模型版本	平台	推理时间 (ms)
OWLv2 image 4cls	650N	205.8
OWLv2 text 4cls	650N	2.16
OWLv2 post 4cls	650N	34.38

6. 说明

• 本仓库聚焦于 google/owlv2-base-patch16-finetuned 在 AXERA NPU 平台上的移植与验证。
• 详细环境、命令、量化参数和板端操作步骤请查看 HOW_TO_USE.md。
• 若需补充真实演示图、日志和精度表，可直接在本 README 的演示章节中追加。

7. 参考链接

• Hugging Face 模型页：https://huggingface.co/google/owlv2-base-patch16-finetuned
• 使用说明：HOW_TO_USE.md