From 263e5e05cc727e789d1def0523a31c34fe3cb16c Mon Sep 17 00:00:00 2001 From: Chi-Kai Date: Sun, 20 Oct 2024 18:16:31 +0800 Subject: [PATCH] vault backup: 2024-10-20 18:16:31 --- ...07\273\350\256\272\346\226\207\351\230\205\350\257\273.md" | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git "a/content/post/\346\250\241\345\236\213\345\220\216\351\227\250\346\224\273\345\207\273\350\256\272\346\226\207\351\230\205\350\257\273.md" "b/content/post/\346\250\241\345\236\213\345\220\216\351\227\250\346\224\273\345\207\273\350\256\272\346\226\207\351\230\205\350\257\273.md" index d47fc78..ad56ff2 100644 --- "a/content/post/\346\250\241\345\236\213\345\220\216\351\227\250\346\224\273\345\207\273\350\256\272\346\226\207\351\230\205\350\257\273.md" +++ "b/content/post/\346\250\241\345\236\213\345\220\216\351\227\250\346\224\273\345\207\273\350\256\272\346\226\207\351\230\205\350\257\273.md" @@ -31,9 +31,9 @@ BadMerging 进一步引入了**on-task和off-task**后门攻击的概念。on-ta **CLIP** 是一个联合的图像和文本嵌入模型，通过 4 亿个图像和文本对以自监督的方式进行训练。这意味着它将文本和图像映射到同一个嵌入空间中。例如，一张狗的图片和句子“一张狗的图片”将具有非常相似的嵌入，并在向量空间中彼此接近。 **CLIP**模型通过计算文本和图像向量之间的余弦相似度来生成预测。这种模型特别适用于零样本学习任务，即模型不需要看到新的图像或文本的训练示例就能进行预测 微调CLIP得到下游模型: -### 模型合并 - +### 模型合并 +$$\theta = \theta _{pre} + \lambda {\textstyle \sum_{i=1}^{n}} \theta _{i}$$ ## 方案设计 ![[Pasted image 20241018105016.png]] BadMerging攻击框架包含两个主要部分：攻击机制设计和特征插值损失函数。