Comments (6)
这个是通过读取音频振幅大小实现口型同步,所以只要能够读取到音频文件就可以口型同步。音频文件的路径目前只能在XXX.model3.json中读取,点击模型设置页面的更新模型或者保存可以重新读取音频路径。实现实时口型同步的话,要把聊天模块改掉,大概步骤是应用向某个服务端发起请求,服务端代替处理例如chatgpt的聊天消息,并通过tts生成音频文件,然后把文本和音频信息返回给应用。目前的思路是服务端需要自己架设,应用只提供接口,服务端返回的消息按特定格式包含文本和音频。我之后再弄一个更新吧。
from live2dmascot.
这个服务器端其实我已经写好了,思路和你是一样的 https://github.com/Paraworks/vits_with_chatgpt-gpt3 应该可以直接结合你的工程,唯一需要做出的改动应该就是把ogg格式改回wav并且换上44100采样率
from live2dmascot.
ogg转wav可以使用ffmpeg: ffmpeg -i "输入音频" -ac 1 "输出音频"
我这边客户端也要改一下,接收音频文件和文本,然后播放,但是什么时候改完不好说><。
from live2dmascot.
把api改成对音频文件的直接修改跑了一下实时聊天,确实没我想象地那样会出错。只不过没有gui还是有点丑陋,客户端修改好后桌宠就真成cyberwaifu了
from live2dmascot.
改完了,但只是稍微测试了一下,看看有没有问题吧,现在只能改config.json,还没写GUI,到时候大改一下设置页面,先这样吧。CyberWaifu是信仰啊哈哈😋,感谢科技。
from live2dmascot.
可以,我已经改好了,就是服务器响应时间非常久(),不过在本地用gpu就没事了
from live2dmascot.
Related Issues (18)
- Missing DLL file required for x64 HOT 1
- 自定义语音处理的启用未保存在配置文件中 HOT 2
- 点击"更新模型"按钮后模型的透明效果出现问题 HOT 2
- 未来还会更新x64的vs工程吗?x64一直无法编译成功。 HOT 3
- 关于模型显示完整问题。 HOT 3
- 为什么背景不是透明的呢? HOT 2
- 请问版本兼容性是那些? HOT 17
- 自定义聊天服务器问题 HOT 3
- 高分辨率下页面变形了 HOT 3
- 提示动作文件不存在 HOT 2
- 自动播放得文本无法关闭 HOT 2
- 软件正常运行几次之后就会无法打开,重新下载解压才能继续用 HOT 2
- 使用的疑问 HOT 23
- 【求助】关于语音返回 HOT 2
- 功能需求 HOT 4
- 【求助】关于Resources中的声音来源 HOT 2
- 聊天板功能需求 HOT 1
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from live2dmascot.