主页 › 范文 › 艺术学 › 本文

多模态模型与数字艺术史的方法论变革

摘要

文章重新审视Johanna Drucker提出的'是否存在数字艺术史'之问,通过分析基于Transformer的多模态视觉模型(如CLIP)的认知与方法论意义,论证数字艺术史新范式的诞生。研究揭示:1)大规模视觉模型通过编码非摄影图像(绘画/数字艺术),首次实现非透视、非具象视觉逻辑的自动化提取;2)模型训练数据与艺术史研究语料形成认知纠缠,需建立'模型批判'新方法。两个案例佐证此变革:CLIP-MAP工具量化巴黎城市意象的空间分布,揭示模型内化的旅游凝视;2D-CLIP工具解析芝加哥艺术学院藏品的'naked/nude'概念谱系,暴露性别化视觉意识形态。文章主张数字艺术史必须融合媒体研究与文学计算的方法,将模型本身纳入批判对象。

1. 数字艺术史的范式之问

Johanna Drucker十年前提出核心问题:艺术史的"数字化"(资源电子化)与"数字性"(方法论革新)存在本质区别。传统数字艺术史受限于"图像内容识别困境"——文本有明确词汇单元,而图像缺乏离散符号层级(段落/句子/词)。早期像素分析方法(如Lev Manovich风格空间)仅能捕捉颜色/亮度等表层特征,无法解析语义。卷积神经网络虽提升物体识别能力,但其依赖ImageNet等刚性本体论,将艺术简化为"椅子""狗"等标签化对象,陷入GOFAI(传统符号AI)的认识论局限。

2. 多模态基础模型的变革性

2.1 超越物体识别的视觉编码

CLIP等模型突破三大局限:
1. 跨模态嵌入:通过4亿+图像-文本对训练,将视觉与语言映射到统一语义空间,实现"暴力-节奏-70年代社区"等抽象概念的图像检索
2. 非具象逻辑捕捉:训练集LAION-5B包含大量绘画/设计等非摄影图像,使模型能处理非透视构图(如《宫娥》的元图像逻辑)
3. 零样本推理:无需特定训练即可分类未见过类别,如MoMA藏品的"节奏"检索返回乐谱/声波图/韵律图形等多元视觉化

2.2 认知纠缠的方法论挑战

模型应用必然伴随对其内在视觉意识形态的批判。以《宫娥》为例:传统CV仅识别画架/人脸等物体,而CLIP能关联毕加索变体画与杜瓦诺摄影——这些作品共享构图逻辑但无直接视觉相似性。这种"深度描述"能力揭示模型已内化西方视觉典律,但同时要求研究者追问:CLIP的巴黎=旅游明信片?

3. 案例:模型批判驱动的艺术史分析

3.1 CLIP-MAP:城市意象的空间政治

通过10,000张巴黎街景的CLIP相似度热力图分析发现:模型对"巴黎性"的认知高度集中在地标(凯旋门)与奥斯曼式林荫道,郊区相似度骤降。极端案例中:
- 激光枪战馆内景被判定为"反乌托邦"
- 市郊街景同时标注"洛杉矶"与"纽约"
此映射实为双重批判:既揭示城市文化地理的符号化,又暴露模型训练依赖的游客凝视与国家意识形态。

3.2 2D-CLIP:裸体艺术的视觉谱系

将芝加哥艺术学院1,000件作品投射到"naked/nude"概念轴显示:
1. 性别化编码:女性裸体(如Lefebvre《宫女》)集中于"nude"象限,暗示静态被观看性;男性雕塑(如赫拉克勒斯)则被判为"naked"
2. 媒介偏见:摄影(如Stieglitz摄O'Keeffe躯干)同时高居"naked/nude"顶点,反映CV对摄影媒介的优先性
3. 概念纠缠:Tintoretto《塔克文与卢克蕾提亚》的暴力场景打破Kenneth Clark的"nude=平衡理想"理论,验证Lynda Nead"裸体永远已在表征中"的批判

4. 数字艺术史的新方法论

研究主张三重范式转移:
1. 拒绝工具中立性:使用CLIP研究图像集必须同步研究CLIP的视觉逻辑,如案例中模型强化了殖民视角(宫女)与男性凝视(裸体)
2. 跨学科融合:需整合媒体研究(批判AI视觉意识形态)与计算文学(自然语言提示工程),建立"批判性机器视觉"框架
3. 重释艺术史本质:艺术史长期处理视觉-语言中介(如图像学),而多模态模型新增代码中介层,恰能发挥学科优势解析此三角关系

当Stable Diffusion宣称"压缩人类视觉信息",数字艺术史的使命正是解构这种技术宏大叙事,通过模型批判揭示被编码的权力结构。

相关论文