オーディオから動画
録音された音声はありますか？それをアップロードするだけで、Audio to Video AIが完璧にリップシンクしたアバター動画を生成し、ナレーションと映像をシームレスに同期させます。
マルチディメンション音響スペクトル抽出パイプライン
低レイヤの音響処理ゲートウェイ。手動アノテーション不要で、高調波や基本周波数を自動抽出しタイムラインにマッピングします。
基本周波数（F0）と倍音分析
Librosaスペクトログラムアルゴリズムを使用して、高精度なF0と多次共振峰の諧波を分離。ミリ秒単位でイントネーション、感情強度、発言速度の揺らぎを顔面筋肉収縮パラメータに変換します。
ジェスチャー＆上半身のモーションマッピング
短時間過渡エネルギーとポーズから感情の変化を特定。ポーズ分类器が8種類の演説ジェスチャーと連動し、ロボットのような不自然な動きを解消します。
アクションとジェスチャースタイルの選択
CTC音素アライメントネットワークでフレーム単位の音声・画像を同期。3D顔面トポロジーメッシュ（68個の制御点）にマッピングし、リアルな顎の再描画を行います。
3D顔メッシュ再構築
詳細な周波数エンベロープを抽出して顔の幾何学構造を再構築し、自然なまばたきや微妙な頬の筋肉の動きをレンダリングします。
8つのプリセットジェスチャー
あごに触れる、落ち着いて説明する、メガネを調整するなど、8つの自然なプレゼンターのポーズを搭載し、不自然でロボットのような動きを排除します。
音声駆動ワークベンチ主要コントロール (Workbench Real Controls)
ワークベンチでは、音ビデオ同期の詳細設定が可能です。人物ベース画像と音声をアップロードし、次のパラメータを微調整することでレンダリングを制御します：
アスペクト比自动調整 (Aspect Ratio)
16:9横画面、9:16縦画面、1:1スクエアをサポート。アップロード後、顔認識により自動でセンタリングと最適なトリミングを実行します。
推論ステップ数の微調整 (Inference Steps)
20〜50ステップの推論ステップ数をサポート。ドラフトなら10秒以内で生成し、高ステップ数ならノイズ低減を重ねて精細な輪郭を描き出します。
音声エンジン切り替え (Voice Engines)
Mimo独自クローン音声やMiniMax合成エンジンと連携。「テキスト ➔ 仮想音声 ➔ 映像合成」のフルフローをワンストップで実行可能です。
高精度レンダリングモード (Hi-Fi Render)
「高速」または「高精度」モードを選択可能。高精度モードでは、GPUクラスターで顔まわりのエッジやノイズを画素レベルでクリアにします。
音声とジェスチャーの動的連動デモ
デモ音声を再生して、話者の音量、ピッチ、感情の起伏に基づいて、Cuevo AIが3Dアバターの身振り手振りや表情をどのように動的に自動調整するか体験してください。
落ち着いて説明
• 头部は比較的安定し、正確なリップシンクに集中。ニュースや説明ビデオに適しています。
微笑みと首の傾げ
• 穏やかな笑顔とわずかな首の傾げを伴い、表情をより豊かにします。Vlogなどに最適です。
強調ジェスチャー
• 音声の強弱に合わせてリズムよく頭部や上半身を動かし、プレゼンやスピーチに適しています。
両手を広げて説明
• 手のひらを外側に向ける説明ジェスチャーで、表現力と説得力を向上させます。
音声から動画を生成する方法
任意のナレーションをアニメーション化されたポートレートに —— Cuevo は口の動きをアライメントし、音声波形から駆動される自然なボディランゲージを追加します。
- Audio UploaderMP3, WAVSelect audio track1
駆動音声をアップロード
クリップ全体のタイミング、口の形、ペースを定める WAV または MP3 を追加。
- Upload portrait photo2
ポートレート写真をアップロード
正面向きのクリアなポートレートを追加。キャンバスは最適なアスペクト比を自動検出。
- GESTURE PRESETSProfessional PresentationCheerful Expression3
ジェスチャープリセットを選ぶ
上に重ねるボディランゲージを選択 —— 落ち着いた説明、微笑みヘッドティルト、強調、開いた手のひらなど。
- FPS CAP30 FPSRESOLUTION1080p FHD4
出力を調整
アスペクト比、解像度、フレームレート、推論ステップ、クリップ時間を設定し、速度と品質のバランスを。
- 00:125
生成してダウンロード
Generate Video をクリック —— ジョブ完了後、レンダリングされた MP4 をプレビュー＆ダウンロード可能。