CLIP（Contrastive Language-Image Pre-Training）是一个在多种（图像，文本）配对上训练的神经网络。它可以用自然语言进行指导，以预测给定图像最相关的文本片段，而无需直接针对该任务进行优化，这与GPT-2和3的零样本（zero-shot）能力类似。本例程对CLIP官方开源仓库中的算法进行移植，其中CLIP的中文版本模型是对CN-CLIPViT-B/16的移植，使之能在SOPHON BM1684X,BM1688,CV186X上进行推理。
- 支持BM1688/CV186X(SoC)、BM1684X(x86 PCIe、SoC、riscv PCIe)
- 支持FP16(BM1684X/BM1688/CV186X)模型编译和推理
- 支持Python、C++例程
- 支持单batch和多batch模型推理
- 支持图片测试
Pytorch模型在编译前要导出成onnx模型，具体可参考CLIP模型导出。
本例程在scripts目录下提供了相关模型和数据集的下载脚本download.sh，您也可以自己准备模型和数据集，并参考4. 模型编译进行模型转换。
# 安装7z和zip，若已安装请跳过，非ubuntu系统视情况使用yum或其他方式安装
sudo apt install unzip
sudo apt install p7zip p7zip-full
chmod -R +x scripts/
# 下载模型，target可选输入BM1684X, BM1688, CV186X；不输入默认下载全部模型
./scripts/download.sh [target]
# 中文版CLIP，下载模型，target可选输入BM1684X, BM1688；不输入默认下载全部模型
./scripts/download_chinese_bmodel.sh [target] 下载的模型包括：
.models
├── BM1684X
│ ├── clip_image_vitb32_bm1684x_f16_1b.bmodel # encode_image部分fp16 bmodel
│ └── clip_text_vitb32_bm1684x_f16_1b.bmodel # encode_text部分fp16 bmodel
├── BM1688
│ ├── clip_image_vitb32_bm1688_f16_1b_2core.bmodel # encode_image部分fp16 bmodel，num_core=2
│ ├── clip_image_vitb32_bm1688_f16_1b.bmodel # encode_image部分fp16 bmodel
│ ├── clip_text_vitb32_bm1688_f16_1b_2core.bmodel # encode_text部分fp16 bmodel，num_core=2
│ └── clip_text_vitb32_bm1688_f16_1b.bmodel # encode_text部分fp16 bmodel
├── CV186X
│ ├── clip_image_vitb32_cv186x_f16_1b.bmodel # encode_image部分fp16 bmodel，num_core=2
│ └── clip_text_vitb32_cv186x_f16_1b.bmodel # encode_text部分fp16 bmodel，num_core=2
├── onnx
│ ├── clip_image_vitb32.onnx # encode_image部分onnx模型
│ └── clip_text_vitb32.onnx # encode_text部分onnx模型
└── text_projection_512_512.npy # 导出encode_text onnx模型时保存的text_projection数据，在bmodel推理时使用
导出的模型需要编译成BModel才能在SOPHON TPU上运行，如果使用下载好的BModel可跳过本节。
模型编译前需要安装TPU-MLIR，具体可参考TPU-MLIR环境搭建。安装好后需在TPU-MLIR环境中进入例程目录。使用TPU-MLIR将onnx模型编译为BModel，具体方法可参考《TPU-MLIR快速入门手册》的“3. 编译ONNX模型”(请从算能官网相应版本的SDK中获取)。
- 生成FP16 BModel
本例程在scripts目录下提供了TPU-MLIR编译FP16 BModel的脚本，请注意修改gen_fp16bmodel_mlir.sh中的onnx模型路径、生成模型目录和输入大小shapes等参数，并在执行时指定BModel运行的目标平台（支持BM1684X/BM1688/CV186X），如：
./scripts/gen_fp16bmodel_mlir.sh bm1684x #bm1688/cv186x
# 中文版CLIP
./scripts/gen_chinese_fp16bmodel_mlir.sh bm1684x #bm1688执行上述命令会在models/BM1684X/下生成CLIP_fp16_1b.bmodel文件，即转换好的FP16 BModel。
使用bmrt_test测试模型的理论性能：
# 请根据实际情况修改要测试的bmodel路径和devid参数
bmrt_test --bmodel models/BM1684X/clip_image_vitb32_bm1684x_f16_1b.bmodel测试结果中的calculate time就是模型推理的时间，多batch size模型应当除以相应的batch size才是每张图片的理论推理时间。
测试各个模型的理论推理时间，结果如下：
| 测试clip_image_vitb32模型 | calculate time(ms) |
|---|---|
| BM1684X/clip_image_vitb32_bm1684x_f16_1b.bmodel | 6.70 |
| BM1688/clip_image_vitb32_bm1688_f16_1b.bmodel | 13.67 |
| BM1688/clip_image_vitb32_bm1688_f16_1b_2core.bmodel | 18.82 |
| CV186X/clip_image_vitb32_cv186x_f16_1b.bmodel | 25.79 |
| 测试clip_text_vitb32模型 | calculate time(ms) |
|---|---|
| BM1684X/clip_text_vitb32_bm1684x_f16_1b.bmodel | 4.92 |
| BM1688/clip_text_vitb32_bm1688_f16_1b.bmodel | 13.71 |
| BM1688/clip_text_vitb32_bm1688_f16_1b_2core.bmodel | 14.08 |
| CV186X/clip_text_vitb32_cv186x_f16_1b.bmodel | 17.61 |
测试说明：
- 性能测试结果具有一定的波动性；
calculate time已折算为平均每张图片的推理时间；- SoC和PCIe的测试结果基本一致。
测试图片/datasets/CLIP.png，测试模型为clip_image_vitb32_<target>f16_1b.bmodel，clip_text_vitb32<target>_f16_1b.bmodel
测试结果如下，测试结果有一定波动性，取稳定后的性能数据（时间单位为ms）：
| 测试平台 | 测试程序 | Preprocess Time | Image Encoding Time | Text Encoding Time |
|---|---|---|---|---|
| SE7-32 | zeroshot_predict.py | 12.17 | 9.63 | 18.90 |
| SE9-16 | zeroshot_predict.py | 16.92 | 25.04 | 49.61 |
| SE9-8 | zeroshot_predict.py | 17.09 | 30.59 | 59.56 |
| SRM1-20 | zeroshot_predict.py | 17.07 | 11.46 | 39.29 |
测试说明：
- 性能测试结果具有一定的波动性，实测结果与该表结果有误差属正常现象，建议取稳定后的性能数据、并多次测试取平均值。
- 初次启动程序，程序解码、推理时间较长，再次运行程序时间正常，为正常现象，原因是文件还没有缓存到cache中。
- SE7-32的主控处理器为8核[email protected]，SE9-16为8核[email protected]，SE9-8为6核[email protected]，PCIe上的性能由于处理器的不同可能存在较大差异。