AIリップシンク
スタジオクオリティのリップシンクを実現。当社のAIリップシンク動画生成エンジンは、アップロードされた音声を、選択したデジタルアバターの口元の動きに完璧に同期させます。
下顎再描画4ステップ物理アライメントパイプライン
低レイヤの下顎アライメントと世界的描画。音声を解析し、下半顔メッシュ上でリアルタイムに高精度な変形と再描画を実行します。
音声スペクトル抽出
外部音声を読み込んでノイズを除去し、F0およびF1-F4フォルマント成分を抽出。発話の揺らぎを検出し、ミリ秒単位で確率曲線を出力します。
下半顔グリッドアンカー
MTCNNネットワークにより、口角、リップライン、歯、輪郭など計68ポイントの顔面ランドマークを特定。物理骨格モデルの変形ベースを作成します。
モーション潜在空間阻间
高次元のアクション空間内で非線形補間を実行。唇の開閉率や歯の見え方、顎の移動量を滑らかに推論し、様々な音韻変化を再現します。
シームレス局所再描画
TSRN（超解像ネットワーク）と画像修復グリッドを用いて口元のみを部分描画。双方向光流ブレンドで元の映像とシームレスに結合します。
超リアルな顎追跡
声調と音高の変化に基づいて顔の皮膚の張力や喉の収縮をシミュレートし、表面的なマスクのような違和感を排除します。
多言語音響アライメント
音声の物理的な周波数を直接分析して推論するため、言語や話し手のアクセントに関係なく、音素を正確に映像フレームに同期させます。
リップシンクワークベンチ主要コントロール (Workbench Real Controls)
ワークベンチでは、ビデオトリミングや境界の羽化などの物理微調整オプションを設定可能です：
マルチ音声入力と同期 (Multi-source Audio)
MP3/WAVファイルのアップロード、またはクローンしたTTSボ适应アセットの連携に対応。素早く動画の顔ランドマークとアライメントします。
アスペクト比と境界調整 (Aspect Ratio)
16:9横型、9:16縦型、1:1スクエアをサポート。トリミングと境界のブレンド（フェザー）を自動で行い、映像のつなぎ目を馴染ませます。
动的なクリップ時間 (Dynamic Duration)
2秒のクイック解説から12秒の音声説明まで、幅広い长さに適応。製品デモ、チュートリアル、SNS広告などに最適です。
ドラフト＆高画質モード (Hi-Fi Mode)
高速ドラフト と 標準高画質モード をワンクリック切り替え。高画質モードでは、歯や輪郭の境界線のゆがみを自動補正します。
AIリップシンク 3大中核技術の特徴
音画のミスマッチによる違和感を解消。Cuevo AIは局所再描画と音響時系列補間を駆使し、口元とアフレコ音声を完璧に同期させます。
顔面特徴点抽出とポジショニング
RetinaFaceネットワークに基づいて顔面をスキャン。唇の境界、ライン、顎など計68ポイントの生理特徴關鍵点をアライメントし、骨格変形フレームワークを構築します。
時系列の口元再描画
入力された音声の音素をミリ秒単位で解析。潜在空間内で非線形補間を実行し、歯の質感、双唇の開閉、下あごの移動量などを高精度で局所的にシミュレート・再描画します。
音画同期と光流結合
マルチレベル光流ネットワークと超解像処理により、再描画した口元の動画アセットを元の映像にシームレスに結合。唇周辺のフリッカーやノイズを完全に除去し、自然なアフレコを実現します。
あらゆる音声に口元を同期させる方法
ポートレートと音声トラックをドロップするだけで、Cuevo がフレーム単位で口の形をピクセル精度で整合させます。
- Upload portrait templatePNG, JPG recommended1
ポートレートをアップロード
正面向きのクリアなポートレート写真を追加。キャンバスは顔のクロップに最適なアスペクト比を自動検出します。
- Driving AudioImport WAV or MP3 audio file2
音声トラックをアップロード
ポートレートに口パクさせたい WAV または MP3 をドロップ。モノラルとステレオのどちらも対応。
- ASPECT RATIO SELECTORLandscape 16:9Portrait 9:163
キャンバスを調整
アスペクト比、解像度、フレームレートを配信先プラットフォームに合わせて選択 —— 縦型は SNS、16:9 は解説動画向け。
- QUALITY SLIDER (INFERENCE STEPS)15 StepsFPS CONFIG30 FPS4
品質を微調整
推論ステップのスライダーで速度と画質のバランスを取り、最終クリップ時間を設定。
- Done5
同期動画を生成
Generate をクリック。ジョブ完了後、プレビューパネルから直接リップシンク済み MP4 をダウンロード。