用AI拍短片竟然这么难！创作者的踩坑实录
AI短片制作暗藏重重挑战，音频、角色一致性与版权问题层出不穷。
我原以为用AI做一部短片会轻松得多。剧本已经写好，脑海里也有完整的画面感和艺术风格，似乎只要把这些想法交给AI就能顺利完成。但真正动手后才发现，过程比想象复杂得多，几乎每一步都暗藏麻烦。
最先撞上的墙是音频问题。大多数AI视频模型无法生成声音，Veo3虽然能做音频，却几乎不给你任何掌控的余地。角色台词经常偏离剧本，情绪和语气也难以拿捏，更糟糕的是，同一个角色在不同视频片段里的声音往往不一致。
我曾尝试给它输入这样一个提示：
Mr. GSD像职业摔跤手一样慢慢地、愤怒地喊话：凌晨五点，你还在梦里做着可怜的梦，而我已经在健身房刷新个人纪录。镜头从他侧身环绕，但他始终直视前方，不看向镜头。场景是清晨的屋顶健身房，背景里有哑铃、健身器材和一台笔记本电脑。他是肌肉线条分明、表情凌厉的科技硬汉，穿着印着“Get Shit Done”字样的压缩运动衣，戴着运动手表和健身追踪器，背上挂着能放能量棒和秒表的战术腰带，色调是黑、荧光绿和银色，充满科技感和强烈气场。
当它运作正常时，短短八秒的视频确实让人惊艳。但如果想拼出一个更长的故事，让角色从头到尾保持统一，Veo3的音频就完全靠不住。我转而用ElevenLabs单独生成声音，可这立刻带来了第二个难题：音视频对不上嘴型。
我试过用剪辑软件一点点手动同步，但十秒钟的片段就要耗掉几个小时，效果依然差强人意。于是我又去折腾AI对口型工具，sync.so、vozo.ai、RunwayML都试了，结果还是不理想。也许是Veo3生成的视频里有某种隐藏瑕疵，让对口型的算法失灵。
接着是角色一致性的问题。我希望同一个人物在不同场景、不同镜头中都保持统一，但这非常难，得靠大量试错。后来我发现，用同一张参考图去引导Veo3会稳定些，把所有提示词都存到Google文档方便反复调用，场景和道具尽量简化，也能减少失控的可能。
真正麻烦的，是整个工作流极其分散。我需要在六个工具之间来回切换：先在Google文档写剧本，再用MacBook录下自己的台词；上传到ElevenLabs，克隆出角色声音；用Stable Diffusion生成角色参考图，反复调整并保存提示词；然后把图传到Veo，通过Flow生成视频，还得祈祷系统别把我的角色误认成公众人物，否则就会拒绝渲染；最后把这些视频一段段拼接到iMovie里，再加配音、字幕，才能凑出一个完整片段。整个过程像拼一个永远缺角的拼图。
而且Veo的安全限制也让人抓狂。比如我想让Mr. GSD在举重训练时，一边用笔记本电脑托架打字，一边猛地把杠铃砸下，伴随夸张的喘息声。无论怎么写提示词，它都拒绝生成那个杠铃掉落的瞬间。或许是因为系统对“暴力或伤害”有严格限制，也可能只是巧合，但结果就是——我只能妥协。
还有意外的商标问题。Veo3有时会无意间把品牌元素塞进画面里，比如我只是想让角色拿着麦克风，它却给我生成了一个完美的WWE麦克风。可我并不想冒版权风险！或许可以通过改提示词避免，但这又让流程更复杂。
一路摸索下来，我也总结了些零碎的经验。比如视频里尽量别出现需要保持一致的文字；对话生成最好用音频克隆，而不是让ElevenLabs读纯文本，才能更好地保留语气和语调。但音频的原始录制必须足够清晰，而且要有一点表演力，否则克隆出来的声音会继承所有缺陷。
至于最终效果，说实话，并不算好看。不过也没关系，先放出一个粗糙的版本吧，总得先让作品落地。我拍的短片讲的是一家苦苦支撑的职业摔跤公司，Mr. GSD是他们的头牌选手。我已经有好几个独立场景准备好了，只要能解决对口型的问题，就能继续推进，甚至拼成完整剧集。
