photo opening digital person
Gaga AI 是 Sand.ai 团队做的音画同步视频生成模型,主打的事情很具体:让一张静态照片开口说话,并且口型对得上。
用法是上传一张人物图片或一段音频,模型自动驱动角色生成口型匹配、表情自然的高清视频,不需要写复杂提示词。除了对口型,它还支持图生视频与文生视频的音画同出、图片超分、音色复刻和多语种数字人。
这类模型的难点一直在细节:口型和辅音的对齐、说话时的头部微动、以及静止太久带来的假人感。Gaga 在这几项上的表现属于当前第一梯队,尤其是短句场景。适合做真人短剧、数字人播报、短视频 IP 和多语言口播素材。
官网提供免费试用,也开放 API 平台。要注意的是,用真人肖像生成说话视频涉及肖像权,商用前需要拿到本人授权。
用它做 AI 短剧的话,剧本和分镜可以先去 TVLab 找:那里有海外热播短剧的剧情拆解、短剧套路节奏表和拆好分镜的灵感卡,复制过来就能当提示词用。