AI LAB / NUKE / COMFYUI
AI 影视后期实验室
这里不会做成产品货架,而是记录 Nuke学习社正在观察、验证和整理的 AI 后期方向:Nuke AIR 机器学习节点、ComfyUI 节点工作流、AI 修复、Roto/Matte 辅助、参考图落回镜头以及未来可能工具化的流程。
RESEARCH MAP
当前观察与实验方向
围绕“能不能真正回到镜头交付”来筛选 AI 流程。关注镜头级训练、垃圾遮罩、Beauty 修复、Deblur 等可回到 Nuke 的机器学习流程。
整理可复用的图生图、局部重绘、ControlNet、视频节点和工作流 JSON 管理方式。
测试 AI 生成局部补帧后如何回到 Nuke 做跟踪、颗粒、边缘和色彩匹配。
把 AI 分割作为预遮罩,再用 Nuke 节点完成边缘、半透明和运动模糊精修。
研究风格参考、材质参考和概念图如何变成可合成、可分层的镜头资产。
探索把 ComfyUI 任务提交、版本记录和结果回填做成更顺手的 Nuke 工作流工具。
PIPELINE ROADMAP
从资料观察到 Nuke 落地
跟踪国外 AI 后期流程、Nuke AIR 节点和 ComfyUI 生态变化。
用小镜头测试输入、Mask、模型、参数、返回 Nuke 后的合成质量。
把稳定部分沉淀为可复用工作流、节点说明和项目笔记。
成熟后再考虑做成 Nuke 面板、自动回填或批量处理工具。
EXPERIMENT FEED
AI 实验与观察列表
2026 AI 影视后期雷达:从生成演示转向可回流的生产素材
2026 年的 AI 影视后期重点已经从单纯“生成一段视频”转向更可控的工作流:Nuke 17 的 BigCat 与 Gaussian Splats、ComfyUI 的多模态节点生态、Luma / Runway / Veo / Kling / Seedance / Hailuo 等视频模型,以及 FLUX 图像编辑和 C2PA 内容凭据。本站会按“能否回到镜头交付”来筛选,而不是只追模型演示。
Luma Ray3.2:HDR / EXR 输出让 AI 视频更接近合成管线
Luma 发布 Ray3.2,重点放在多关键帧控制、表演保持、视频修改、最高 20 秒 1080p 输出,以及 16-bit HDR / EXR / ACES2065-1 等更接近专业后期的输出能力。对 Nuke 合成来说,这类信息比单纯“画面像不像”更重要,因为它关系到能否进入调色、合成和 VFX 检查链路。
Runway Aleph 2.0:已有视频的定向修改比纯生成更接近后期需求
Runway Aleph 2.0 与 Edit Studio 把重点放在对已有视频做局部、定向、可控的修改:最长 30 秒 1080p、保留未指定区域、局部编辑和多镜头处理。它对后期的意义不是替代 Nuke,而是提供一种 V2V 候选素材生成方式,后续仍要回到合成软件精修。
Nuke 17.0:BigCat、Gaussian Splats 与新 3D 系统观察
Foundry Nuke 17.0 把 BigCat、Gaussian Splats、新 USD 3D 系统、ACES 2.0、HDR MOV 元数据和性能更新列为重点。对 AI 前沿实验栏目来说,BigCat 是 CopyCat 之外更偏大数据集泛化训练的节点,Gaussian Splats 则关系到扫描资产、新型 3D 表达和 matte painting 如何回到合成。
ComfyUI + Wan2.7:多模态视频节点进入可视化工作流
ComfyUI 官方文档把 Wan2.7 描述为阿里最新视频生成模型,通过 Partner Nodes 接入 ComfyUI,支持文本、图像、音频和视频输入,以及多种任务类型。对 Nuke 后期来说,重点是它能否作为节点化 AI 调度层,而不是单独模型演示。
LTX-2.3 / ComfyUI:开源视频与同步音频工作流观察
LTX-2 / LTX-2.3 在 ComfyUI 生态中持续出现,用于文本到视频、图像到视频以及带同步音频的工作流。相比闭源平台,它更适合作为可研究、可本地化、可参数化的实验方向,但质量、速度和依赖管理仍需要按项目实测。
Kling 3.0 / Omni:参考视频、原生音频与多镜头一致性观察
Kling 3.0 系列强调多模态指令解析、参考视频、人物视觉特征与声音特征提取、原生音频和多场景一致性。对影视后期来说,它适合观察镜头预演、角色参考、短广告分镜和声音画面同步,但仍要处理授权、肖像和 IP 风险。
ByteDance Seedance 2.0:文本、图像、音频、视频四模态生成观察
ByteDance Seed 官方发布 Seedance 2.0,强调统一的多模态音视频联合生成架构,支持文本、图像、音频和视频四类输入。它代表 2026 年视频模型的重要趋势:不再只是文字生成视频,而是把参考素材、声音和编辑能力纳入同一个生成系统。
MiniMax Hailuo 2.3:复杂动作、微表情和动态稳定性观察
MiniMax Hailuo 2.3 在官方发布中强调动态表现、物理动作、风格化和角色微表情的改进。它适合纳入 AI 视频模型观察清单,用于动作参考、短镜头预演和复杂运动测试,但版权与训练争议、输出授权和角色相似性仍需要谨慎处理。
OpenAI GPT-5.6 Sol:大模型代理能力对后期工具的影响
OpenAI 预览 GPT-5.6 Sol,重点放在更强的长任务、编码、科学与安全评测能力,并引入 max 推理强度和 ultra 多子代理模式。本站把它归入后期管线工具观察:更适合辅助脚本、节点工具、文档检索和流程自动化,不直接等同于镜头最终画面生成。
OpenAI Sora 2:视频生成能力与产品状态核对
OpenAI 官方资料将 Sora 2 描述为视频与音频生成模型,并强调更准确的物理、写实度、同步音频、可控性和风格范围;但 OpenAI 帮助中心同时说明 Sora web/app 已于 2026 年 4 月 26 日停止,Sora 2 视频 API 将于 2026 年 9 月 24 日停止。因此本站记录时必须同时写能力和可用性状态。
Google Veo 3.1 / Imagen 4:生成媒体模型对镜头参考的价值
Google DeepMind 官方页面把 Veo 3.1 定位为视频生成模型,强调文本到视频、图像到视频、文本到音频+视频和真实物理;Imagen 4 则强调更清晰的图像、速度和文字渲染改进。两者都适合做镜头参考与前期探索,但仍需要回到 Nuke 做最终画面检查。
Runway Gen-4.5:运动质量与可控视频生成观察
Runway 官方资料把 Gen-4.5 描述为视频生成模型的新一代版本,强调动态动作生成、时间一致性、可控性和多种生成模式。对 Nuke学习社来说,它的价值在于测试镜头运动参考、风格一致性和实拍/VFX 旁路素材,而不是绕过最终合成流程。
Adobe Firefly 2026:生成视频、Color Mode 与 Frame.io 流程更新
Adobe 2026 年继续把 AI 视频能力放进 Firefly、Premiere 和 Frame.io 相关流程中,包括新的 AI 视频工具、Premiere Color Mode 和 Frame.io Drive。它说明 AI 正在进入专业后期软件的具体工作环节:生成、剪辑、调色、素材管理和协作,而不只是独立网页工具。
Adobe Firefly + Premiere Pro:生成式延展进入专业剪辑流程
Adobe 官方宣布 Premiere Pro 中由 Firefly Video Model 驱动的 Generative Extend 已正式可用,并支持 4K 与竖屏视频,同时发布 Media Intelligence、Caption Translation 和 Premiere Color Management 等更新。它说明 AI 正在进入专业后期软件的具体编辑任务,而不只是独立生成平台。
Black Forest Labs FLUX.2:图像生成、局部编辑与 clean plate 观察
Black Forest Labs 官方资料将 FLUX.2 放在图像生成与视觉智能方向,强调高质量、速度、可控性、身份一致性、产品/物体放置、光照适配和精确控制。对 Nuke 后期来说,重点不是“生图”,而是 clean plate、局部修复、画面扩展、概念图和 matte painting 辅助。
FLUX Erase / Outpainting:物体移除与画面扩展的 clean plate 候选流程
FLUX Erase 强调通过二值 Mask 移除物体、阴影、反射和遗漏痕迹,并重建背景;FLUX Outpainting 则用于扩展画面边界。对 Nuke 后期来说,它们很适合成为 clean plate 候选生成工具,但最终仍要回到 Nuke 做跟踪、边缘、颗粒和色彩匹配。
AI Roto / Depth / Matte:预遮罩、深度图和 Cattery 模型回到 Nuke
AI 分割、深度估计、光流、降噪、upscale 和风格迁移等模型可以作为 Nuke 的预处理素材来源。Foundry Cattery 提供能在 Nuke 中运行的第三方机器学习模型,适合把 AI Roto / Depth / Matte 作为第一版辅助结果,再由合成师做边缘、透明、运动模糊和色彩精修。
C2PA / Content Credentials:AI 素材进入商业后期必须补上的交付记录
AI 后期流程不能只看画面效果,还要记录素材来源、模型、prompt、生成日期、人工修改、授权和内容凭据。C2PA / Content Credentials 正在成为内容来源与编辑历史的重要标准;SAG-AFTRA 和 MPA 等机构也持续强调演员数字替身、肖像、声音和版权保护。

