文章提出了一种基于草图引导的景观动态图合成框架Sketch2Cinemagraph，通过结合结构草图和运动草图实现动态元素的精确控制。该框架采用潜在扩散模型生成风格化景观图像，并引入潜在运动扩散模型（LMDM）预测流体运动场。实验表明，相比传统文本或箭头提示方法，该框架能生成更具表现力和连续性的流体运动，支持多区域独立控制。定量评估显示，生成结果在PSNR（21.40）、MS-SSIM（0.84）等指标上优于基线方法，用户调研中90%参与者认为其运动质量更优。
动态图作为一种融合静态摄影与动态视频的媒体形式，其创作通常需要专业的图像编辑技能。文章提出的Sketch2Cinemagraph框架通过草图交互降低了创作门槛，允许用户通过结构草图定义景观布局，并通过运动草图控制流体元素的方向和强度。该方法突破了传统文本或箭头提示的线性运动限制，实现了复杂流体动态的直观表达。
采用ControlNet结合DreamBooth微调策略，从结构草图和文本提示生成成对的风格化与写实景观图像。实验表明，微调后的模型在保持结构一致性的同时，显著提升了写实流体元素的生成质量。
创新性地提出潜在运动扩散模型（LMDM），通过运动草图、文本提示和写实图像三重条件预测流体运动场。模型引入图像交叉注意力机制，将CLIP图像特征与文本嵌入空间对齐，确保运动场与景观内容的语义一致性。
基于Grounded SAM模型自动提取流体区域掩膜，通过欧拉积分和对称溅射算法生成循环帧序列。掩膜机制有效避免了静态区域的扭曲变形，如图13所示。
与文本引导（T2C）和箭头提示（CAL）方法相比，草图控制能处理更复杂的非线性流体运动。在"蜿蜒河流"等场景中，该方法生成的动态图展现出更自然的流动连续性（图8）。
在PSNR（21.40 vs 16.86）、MS-SSIM（0.84 vs 0.81）等指标上显著优于基线方法。用户调研显示，90%参与者认为草图控制能产生更优质的流体运动效果（表3）。
框架可扩展至真实照片动画化（图15），成功保留波纹细节和光线反射等物理特性，验证了方法的泛化能力。
Sketch2Cinemagraph为动态图创作提供了直观的草图交互范式，未来可探索三维场景扩展和实时生成优化。当前局限包括对写实流体模拟的不足，以及扩散模型可能生成无关物体的问题。