CLIP
CLIP是什么？
CLIP 是一种理解文字与图像之间关联的 AI 模型，它在大多数 AI 图像生成器的后台被用来把你的文本提示词翻译成生成模型可以遵循的指令。
一图看懂
- 别称
- Contrastive Language–Image pre-trainingCLIP encoderVision-language model
- 主要用途
- 图像生成中的文本提示词编码语义图像搜索图文相似度评分引导扩散模型零样本图像分类
- 常用工具
- Stable diffusionDALL-eMidjourneyCLIP interrogatorOpenCLIP
- 相关术语
- Diffusion modelText encoderLatent spaceEmbeddingPrompt engineering
准备好开始创作了吗？
执导场景、设计角色、完成整部影片
一站式 AI 创作平台，定价简单透明，无速度节流，搭配无限 Canvas，让创作发挥到极致。
对比与差异
Compared with related concepts
CLIP 与 T5 文本编码器：两者都用于为图像生成编码文本提示词，但 CLIP 在图像-文本对上联合训练，使其具备很强的视觉-语义理解，而 T5 是纯语言模型，能编码更丰富的语言结构。较新的生成模型，如使用 Flux 架构的模型，常将两类编码器结合，以兼得各自的优势。
可以这样理解…
可以把 CLIP 想成一个既懂图像语言又懂文字语言的通用翻译者。当你在 AI 图像生成器中输入提示词时，CLIP 读取你的文字并将其转换为生成器能在视觉上理解的形式：就像把一幅画的文字描述翻译成画家真正能下笔的视觉概念。
实用提示
由于 CLIP 支撑着大多数文本提示词的编码，用具体语言描述视觉特质、光照、构图和风格的提示词，会比抽象的情感或概念语言被更可靠地解读。CLIP 对视觉描述的理解比对情绪或隐喻的理解更为直接。
类型与变体
OpenAI 的原始 CLIP 模型之后出现了众多变体和后继者。OpenCLIP 是 CLIP 的开源复现与扩展，在不同数据集上训练。SigLIP 由 Google 开发，改进了 CLIP 的训练方法以实现更好的图文对齐。CLIP ViT 变体在所用视觉 Transformer 骨干的规模上有所不同，影响能力和计算成本。许多图像生成模型使用 CLIP 的微调或扩展版本作为其文本编码器，各自在理解特定类型的提示词语言上有略微不同的优势。
准备好在 Morphic 里做第一个场景了吗？
试用 Morphic常见使用场景
在大多数基于扩散的图像和视频生成流水线中，CLIP 被用作文本编码器，把书面提示词翻译成引导生成的数值表征。它为图库和创意工具中的语义图像搜索提供支持。CLIP Interrogator 工具反向使用该模型，用自然语言描述一张图像包含的内容。它还用于对生成图像的自动化评估，衡量输出与给定提示词的匹配程度。
准备好开始创作了吗？
执导场景、设计角色、完成整部影片
一站式 AI 创作平台，定价简单透明，无速度节流，搭配无限 Canvas，让创作发挥到极致。
常见问题（FAQ）
CLIP 代表对比式语言–图像预训练（Contrastive Language–Image Pre-training）。它是 OpenAI 开发的一种模型，通过在大量图像-文本对上训练，学习连接图像与文本。
在图像生成流水线中，CLIP 的文本编码器把你的书面提示词转换为一个数值表征（嵌入），在图像生成过程中引导扩散模型。模型用这一表征把它产出的内容朝着匹配你的描述的方向引导。
是的，CLIP 由 OpenAI 开发，并在 2021 年的一篇研究论文中提出。此后研究社区开发了 OpenCLIP 等开源版本和后继者。
CLIP 分数是一项指标，通过在 CLIP 的共享嵌入空间中计算图像与文本的相似度，衡量生成图像与给定文本提示词的匹配程度。CLIP 分数越高，表示提示词对齐越好。
大多数基于扩散的图像生成器使用 CLIP 或类似的视觉-语言模型作为其文本编码器。一些较新的模型使用 T5 等替代方案，或组合多个编码器以获得更丰富的提示词理解，但 CLIP 仍是使用最广泛的基础。
CLIP Interrogator 是一个反向使用 CLIP 模型的工具：它不是把文本转换为视觉概念，而是分析一张图像并生成最匹配它的文本描述。这对于发现能复现某种特定视觉风格的提示词很有用。
