
有人给车库门装了一张会说话的嘴:来客开口,它就用暴躁老海盗的口吻回话;听到“请”,态度又会软下来。
这是 NVIDIA 的 Rick Grandy 分享的万圣节项目 MonsterHouse。北京时间 10 月 31 日发布了搭建介绍,重点是让房子听懂来客、接话,并让投影出来的嘴跟着声音动。
它的工作过程是:
① 先把来客的话转成文字。
② AI 按设定好的海盗性格接话。
③ 合成对应声音,再驱动嘴部动画。
作者给它设计了 7 种情绪,还准备了 5000 多条对话做微调。“谢谢”会触发更温和的告别,互动会随你说的话变化。
这套演示在本地工作站上运行,使用两张专业显卡。目前整套 MonsterHouse 工程还没有打包开放;想研究语音互动,可以先看 GitHub 上 NVIDIA 的 Nemotron Voice Agent 和 Audio2Face-3D 项目。
点击我的简介主页获取详细项目地址。
KEEP EXPLORING
项目与原始链接
阅读作者原文
↗项目展示与搭建说明
语音助手项目
↗底层语音助手工程
声音驱动面部动画
↗Audio2Face-3D