OpenAI 发现 CLIP 中的多模态神经元

OpenAI 发现 CLIP 中存在对同一概念以字面、符号或概念形式呈现时都会响应的多模态神经元。这一现象可能解释 CLIP 对概念的特殊视觉呈现仍能准确分类的原因，也是理解 CLIP 及类似模型习得的关联和偏差的重要一步。