From 6a92a55d0625c4cebf143966f159981eef8977cc Mon Sep 17 00:00:00 2001 From: Chi-Kai Date: Sun, 20 Oct 2024 18:03:33 +0800 Subject: [PATCH] vault backup: 2024-10-20 18:03:33 --- ...\207\273\350\256\272\346\226\207\351\230\205\350\257\273.md" | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git "a/content/post/\346\250\241\345\236\213\345\220\216\351\227\250\346\224\273\345\207\273\350\256\272\346\226\207\351\230\205\350\257\273.md" "b/content/post/\346\250\241\345\236\213\345\220\216\351\227\250\346\224\273\345\207\273\350\256\272\346\226\207\351\230\205\350\257\273.md" index 09da3b4..d47fc78 100644 --- "a/content/post/\346\250\241\345\236\213\345\220\216\351\227\250\346\224\273\345\207\273\350\256\272\346\226\207\351\230\205\350\257\273.md" +++ "b/content/post/\346\250\241\345\236\213\345\220\216\351\227\250\346\224\273\345\207\273\350\256\272\346\226\207\351\230\205\350\257\273.md" @@ -30,7 +30,7 @@ BadMerging 进一步引入了**on-task和off-task**后门攻击的概念。on-ta 所有现有的模型合并工作都是在类似 **CLIP** 的预训练模型上进行的 **CLIP** 是一个联合的图像和文本嵌入模型，通过 4 亿个图像和文本对以自监督的方式进行训练。这意味着它将文本和图像映射到同一个嵌入空间中。例如，一张狗的图片和句子“一张狗的图片”将具有非常相似的嵌入，并在向量空间中彼此接近。 **CLIP**模型通过计算文本和图像向量之间的余弦相似度来生成预测。这种模型特别适用于零样本学习任务，即模型不需要看到新的图像或文本的训练示例就能进行预测 - +微调CLIP得到下游模型: ### 模型合并