kozukaccd / sheep-talk Goto Github PK

配信時に、各配信者の環境下で実行した文字起こしツールの結果を相互に利用できるようにしたいとのこと。
もともと裏で動いているサーバー経由でsocket.ioで通信させてcontrollerとplayerで文字データのやり取りをしているので、中間サーバー立ててあげてそこで文字データをやりとりするようにすれば実装コストはそんなに高くない気がするのでやってもいいかも。

要件

• player上で複数配信者のフキダシを表示できるようにすること
• 同じ合言葉(max英数字10桁)を決めた者同士で相互に音声認識結果の情報を供出できること。
• 中途分析結果の送出も相互に行う。
• 中間socket.ioサーバーを立てて、そこ経由でデータのやりとりをする

ここ参考になりそう
https://developer.chrome.com/blog/media-devices/

All this functionality is exposed by the MediaDevices object, which is returned by navigator.mediaDevices.
MediaDevices has two methods, both implemented in Chrome 47 on desktop and Android: enumerateDevices() and getUserMedia().

https://www.npmjs.com/package/voice-activity-detection

実際にやってみた