媒体指南
用一张照片做口型说话视频
把一张人像照片和一段台词音频做成会说话的短视频
在 TokenLab 上做这件事有两个模型可用:字节的 omnihuman-1-5 和 Pruna AI 的 p-video-avatar。两者都接收一张人物照片加一条音频,输出这段音频对应的口型视频。除此之外的用法——接口地址、异步任务、轮询——和其它视频请求完全一样,建议先看视频生成,再回到本页看人像口播专有的部分。
下面是实际能照着做的顺序:先做语音,再准备干净的人像,然后按 5–10 秒出片段,最后拼接。
在控制台里做
不想自己写请求时,媒体工作台用表单做同一件事。打开下面两个链接之一,链接会直接带上口播视频的工作流和对应模型:
- 用
p-video-avatar做口播视频:720p 每秒 0.025 美元,1080p 每秒 0.045 美元 - 用
omnihuman-1-5做口播视频:每秒 0.13247 美元
点输入框旁的回形针选一张人像照片(JPG、PNG 或 WebP,不超过 10 MB),音频填公网 HTTPS 地址,和接口里的 audio_url 是同一件事。然后提交:任务就在这一页上跑,生成好的视频出现在同一页的 Media 里。如果还没登录,会先跳到登录页,登录后回到这个工作台,链接里的参数保留。
媒体页默认停在文生图(text-to-image),那一页没有上传照片的入口——所以上面给的是两个带参数的链接,而不是直接打开媒体页。
第一步:逐句生成台词音频
先做音频,因为这两个模型都是由音频驱动的:语音决定节奏,口型跟着音频走。按句调用 POST /v1/audio/speech,一句一个文件。分句生成有两个好处:某一句念错了可以单独重做,不用把整条视频重跑;每段口型片段也能自然控制在较短的时长内。
curl -X POST "https://api.tokenlab.sh/v1/audio/speech" \
-H "Authorization: Bearer sk-your-api-key" \
-H "Content-Type: application/json" \
-d '{
"model": "grok-tts",
"voice": "eve",
"input": "欢迎加入团队。下周一上午九点开始第一周。"
}' \
--output line-01.mp3定模型和音色之前,先用 GET /v1/models?recommended_for=tts 查当前可用的语音模型。生成好的音频要放在公网 HTTPS 地址上,并且在视频任务创建成功之前一直可访问。
第二步:把照片裁成单人脸
人像决定视频里的身份。请用单人、正对镜头、分辨率尽可能高的照片,把其他人和杂乱的背景裁掉。裁切过的脸和低分辨率的脸会限制身份还原度,这正是 OmniHuman-1.5 模型详情里对参考图片写明的限制。P-Video-Avatar 同理:固定机位最稳,大幅摇镜不适合口播画面。这张照片会成为视频的第一帧,所以它的取景和画幅会一直带到整段片段里。
image_url 填公网 HTTPS 地址;如果没有地方托管图片,也可以使用支持的 data URL。
第三步:逐句生成视频片段
调用 POST /v1/videos/generations,operation 填 "image-to-video"。这两个模型都要求 image_url 和 audio_url 同时必填,只给其中一个会被拒绝——模型需要一张脸和一条声音一起才能动起来。
{
"model": "omnihuman-1-5",
"operation": "image-to-video",
"image_url": "https://example.com/portrait.jpg",
"audio_url": "https://example.com/line-01.mp3"
}第二条轨道,或者更在意每秒价格时,把 model 换成另一个:
| 模型 | 价格 |
|---|---|
omnihuman-1-5 | 每秒 0.13247 美元 |
p-video-avatar | 每秒 0.025–0.045 美元,按分辨率档(720p 或 1080p) |
需要人物在较长表演里始终保持可辨认时,用 omnihuman-1-5;要低成本产出多条短版本时,用 p-video-avatar。它按分辨率计费,所以先用 720p 试,留下要用的版本再用 1080p 重出。
两个模型都是异步的。响应里会给出任务 ID,通常还有 poll_url;拿这个 ID 轮询 GET /v1/tasks/{id},直到视频生成完成。
curl "https://api.tokenlab.sh/v1/tasks/{id}" \
-H "Authorization: Bearer sk-your-api-key"第四步:按 5–10 秒一段生成,再剪辑拼接
每段控制在 5–10 秒,然后在剪辑软件里接起来。一次调用生成很长的片段,画面会逐渐走样:P-Video-Avatar 自己的说明就是片段越短一致性越好;短片段还有一个好处,某一句不理想时只重做这一段。各段之间保持同一张人像和同一套音色参数,拼接处才不会看出来。
字幕放在后期叠加。这两个模型输出的是说话的人像画面,不带字幕轨;剪辑拼接完成后再在软件里烧进或挂上字幕。
一次调用只驱动一个脸
一次 image-to-video 调用只驱动一个脸。如果台词是两个人对话,就按说话人分场:每个说话人用自己的人像和音频各自生成一场,再在剪辑里拼成对话。不要指望一次请求塞两张人像就能出对话——每次请求只带一张图(image_url 只接收一个值)和一条音频。
放量之前先算清试用额度
0.25 美元的试用额度不够一条 25 秒的视频:按每秒 0.13247 美元算,omnihuman-1-5 大约是 3.31 美元;p-video-avatar 按分辨率档在 0.625 到 1.125 美元之间。先跑一条 5 秒的试验镜头——omnihuman-1-5 约 0.66 美元,p-video-avatar 约 0.125 到 0.225 美元——确认身份、口型和音画对齐都对了,再生成剩下的台词。试验镜头也能提前暴露照片裁切是否够用,避免整批生成完才发现。