中文 定位:一篇做流式数字人音视频生成的论文 TaoMate-HD,目标是新文本不断到来时,画面和语音都能又稳又清晰。 流式数字人要在新文本持续输入的同时输出细节丰富的视频并连贯地说话,但高分辨率去噪计算成本高,文本更新还容易造成语音重复或中断。TaoMate-HD 采用自回归的音视频生成框架,并引入渐进式分辨率的思路,试图在生成质量、计算开销与语音连续性之间取得平衡,让数字人能长时间稳定地边说边播。 适用人群:从事数字人、音视频生成研究的科研人员、做虚拟主播与实时交互数字人产品的团队。
日本語 位置づけ:ストリーミング型デジタルヒューマンの音声・動画生成を扱う論文 TaoMate-HD で、新しいテキストが次々届く状況でも映像と音声を安定かつ高精細に保つことを目指します。 ストリーミング型デジタルヒューマンは、新しいテキストが入力され続ける中で、細部まで描かれた映像を出力しながら途切れなく話し続ける必要があります。しかし高解像度のノイズ除去は計算コストが高く、テキストの更新によって音声の繰り返しや中断も起きがちです。TaoMate-HD は自己回帰型の音声・動画生成フレームワークを採用し、段階的解像度(progressive-resolution)の発想を導入することで、生成品質・計算コスト・音声の連続性のバランスを取り、デジタルヒューマンが長時間安定して話し続けられるようにします。 対象ユーザー:デジタルヒューマンや音声・動画生成を研究する研究者、バーチャル配信者やリアルタイム対話型デジタルヒューマン製品を開発するチーム。
한국어 정의: 스트리밍 디지털 휴먼의 오디오-비디오 생성을 다룬 논문 TaoMate-HD로, 새 텍스트가 계속 들어오는 상황에서도 영상과 음성을 안정적이고 선명하게 유지하는 것을 목표로 합니다. 스트리밍 디지털 휴먼은 새 텍스트가 계속 입력되는 동안 디테일이 풍부한 영상을 출력하면서 끊김 없이 말을 이어가야 합니다. 그러나 고해상도 디노이징은 계산 비용이 크고, 텍스트 업데이트 때문에 음성이 반복되거나 중단되기도 쉽습니다. TaoMate-HD는 자기회귀 방식의 오디오-비디오 생성 프레임워크에 점진적 해상도(progressive-resolution) 방식을 도입해 생성 품질, 계산 비용, 음성 연속성 사이의 균형을 맞추고, 디지털 휴먼이 오랜 시간 안정적으로 말하며 방송할 수 있게 합니다. 대상 사용자: 디지털 휴먼과 오디오-비디오 생성을 연구하는 연구자, 버추얼 스트리머와 실시간 상호작용 디지털 휴먼 제품을 개발하는 팀.
English What it is: TaoMate-HD, a paper on streaming digital-human audio-video generation, aiming to keep both picture and speech stable and detailed as new text keeps arriving. A streaming digital human must output detailed video and keep speaking while new text streams in, but high-resolution denoising is computationally costly, and text updates can cause speech to repeat or break off. TaoMate-HD uses an autoregressive audio-video generation framework with a progressive-resolution approach, balancing generation quality, compute cost, and speech continuity so the digital human can keep talking steadily over long stretches. Who it's for: Researchers in digital humans and audio-video generation, and teams building virtual streamers or real-time interactive digital-human products.