Repo-lab
AIツール

FireRedAudio とは？ASR・TTS・音声編集を一つのモデルで実現する9B音声LLM

⭐ 1,406 stars GitHub →

音声AIを開発しようとすると「ASR用モデル」「TTS用モデル」「音声編集ツール」とそれぞれ別々に用意しなければならない——そんな複雑さに悩んでいるMLエンジニアに注目のオープンソースプロジェクトが登場しました。

FireRedAudioは、ASR（自動音声認識）・音声理解・ゼロショットTTS・Instruct TTS・音声編集を9Bパラメータの単一LLMで実現する汎用音声言語モデルです。GitHubで1,406スターを獲得しており、2026年8月にコードとモデルが公開されました。ArXiv論文も同時に公開されています。

FireRedAudio の設計思想 — 理解と生成の分離

従来の統合音声モデルは、理解（ASR）と生成（TTS）の両方を同じ表現空間で扱おうとするため、どちらかの品質が犠牲になりがちでした。FireRedAudioはこの問題を解決するために**Decoupled Continuous Representations（分離型連続表現）**という独自設計を採用しています。

Forge Abstraction Layer に相当するFALの役割

モデルの中核には共有9B LLMバックボーンがあり、その上に2つのパスウェイが組み合わさっています：

パスウェイ 役割 対象タスク
Audio Encoder 理解用連続表現 ASR・音声理解・テンポラルグラウンディング
RedAE 生成用連続表現 TTS・音声編集・音声クローニング

このアーキテクチャにより、理解と生成の表現が干渉せず、単一モデルで高品質な両方の能力を実現しています。公開されているUnified Audio-Language Modelの中で、この設計を採用した初の実装とされています（README記載）。

FireRedAudio の主な機能

ASR（自動音声認識）

一般的な音声認識から最大1時間の長時間録音まで対応します。精密なタイムスタンプ付きで内容を理解し、時間軸とコンテンツの双方向検索が可能です。

# 基本的なASR推論
uv run python inference.py \
  --task asr \
  --audio path/to/audio.wav

ゼロショットTTS（音声クローニング）

参照音声クリップを渡すだけで、その話者の声質を再現した音声合成が可能です。Seed-TTS-Evalベンチマークでは優位な結果を示しています。

uv run python inference.py \
  --task tts \
  --ref_audio path/to/reference.wav \
  --text "合成したいテキスト"

Instruct TTS（話し方を自然言語で指定）

声質だけでなく、「ゆっくり・感情的に・低音で」などの話し方の指示を自然言語テキストで指定して音声を生成できます。InstructTTSEvalベンチマークでもQwen3-TTSを上回る結果です。

音声編集（セマンティック・アコースティック）

録音音声の特定箇所を自然言語で指示して編集できます。発言内容の修正（Semantic）だけでなく、話し方・トーンの変更（Acoustic）も対応しています。

  • 削除（Deletion）: 指定箇所を削除してつなぎ直す
  • 挿入（Insertion）: 指定箇所に新しい音声を挿入
  • 置換（Substitution）: 指定箇所を別のテキスト・スタイルに置き換え

長時間音声の理解と構造化

最大1時間の録音を精密なタイムスタンプ付きで処理し、以下のことができます：

  • タイムスタンプ付き要約・目次生成
  • 「○分○秒の発言を探して」という時間軸検索
  • 音声証拠の時系列推論

インストール方法 — FireRedAudio セットアップガイド

システム要件

要件 詳細
OS Linux / macOS（Windows は未確認）
Python 3.10
GPU CUDA対応GPU必須（推論・causal-conv1d / flash-attn コンパイルに必要）
ストレージ モデルファイル約18GB
追加ツール ffmpeg（音声デコードに必要）

セットアップ手順

# 1. リポジトリをクローン
git clone https://github.com/FireRedTeam/FireRedAudio.git
cd FireRedAudio

# 2. uvをインストール（Pythonパッケージ管理ツール）
# macOS / Linux
curl -LsSf https://astral.sh/uv/install.sh | sh

# 3. 依存関係のインストール（Pythonとライブラリを自動セットアップ）
uv sync

# 4. ffmpegのインストール（Ubuntu例）
sudo apt install ffmpeg

# 5. 推論を実行（初回はHugging FaceからモデルをDL）
uv run python inference.py --task tts --text "テスト" --ref_audio sample.wav

Gradio ウェブデモで手軽に試す

コードを書かずにブラウザから機能を試したい場合はGradioデモを使用します：

# Gradio デモ起動
uv run python app.py
# → http://localhost:7860 でアクセス

ゼロショットTTS・Instruct TTS・音声編集・ASR・音声理解を1画面で試せます。HuggingFace Spacesにも公開デモがあります（RobinsAIWorld/fireredaudio-tts-demo）。

Qwen2.5-Omni・Ming-UniAudioとの違い・なぜ今FireRedAudioなのか

FireRedAudioと類似した統合音声モデルにはQwen2.5-Omni（Alibaba）、Ming-UniAudio、MiMo-Audioなどがあります。

比較軸 Qwen2.5-Omni Ming-UniAudio-16B FireRedAudio
パラメータ数 7B 16B（疎） 9B
理解・生成の分離 なし（共有表現） なし ✅ 分離型（初公開）
最大音声長 非公開 非公開 1時間対応
音声編集 非対応 対応 ✅ 対応（Semantic + Acoustic）
ライセンス Apache 2.0 Apache 2.0 ✅ Apache 2.0
ゼロショットTTS 対応 対応 ✅ 対応（Instruct TTS含む）

FireRedAudioの最大の差別化点は理解と生成の表現を分離しながら単一LLMバックボーンで動かす設計です。この設計により両タスクの品質低下を防いでいます。また、最大1時間の長時間音声対応は実務での会議録音・ポッドキャスト処理に直接使えるレベルです。

こんな人に向いている

FireRedAudioが特に力を発揮するのは次のようなシナリオです：

  • 音声AIプロダクトを開発するMLエンジニア: ASR・TTS・編集を個別モデルで組み合わせる代わりに、単一モデルで音声パイプラインを完結させたい方。PyTorchエコシステムとuv/HuggingFaceで即座に組み込めます。
  • 音声コンテンツ制作者・ポッドキャスター: 録音した音声の特定の発言を後から修正したい（言い間違い・噛んだ部分の修正）方。音声編集機能で元の声質を保ったまま内容を差し替えできます。
  • 音声研究者・学生: Decoupled Continuous Representationsの実装を実際のコードで学びたい方。Apache 2.0ライセンスで商用プロジェクトへの応用も可能です。
  • 企業の音声アシスタント開発チーム: 多言語（中国語・英語）対応のASR・TTSを単一モデルで管理したい企業のMLチーム。

使う前に知っておきたいこと

システム要件と制約

  • CUDA GPU が必須: CPU推論は非対応です。causal-conv1dとflash-attnのコンパイルにCUDA toolkitが必要です。
  • モデルサイズ約18GB: ダウンロードとGPUメモリの確保が必要です。
  • Python 3.10固定: .python-versionファイルで固定されているため、uvを使うと自動管理されます。

ライセンスと商用利用

Apache 2.0ライセンスで商用利用・改変・再配布が可能です。ただし著作権表示の同梱が必要です。

倫理的注意事項（README記載）

READMEに明示的なUsage Disclaimerが含まれています。音声クローニング機能は悪用のリスクがあるため、次の用途への使用は禁止されています：

  • 本人の同意なしに第三者の音声をクローニングすること
  • 詐欺・誤情報の生成への使用
  • その他の違法・有害な目的

既知の制限・ロードマップ

  • 学習・ファインチューニングコードは現時点で未公開（Issueで問い合わせあり、対応中）
  • vLLM/sGLangでの推論高速化は未対応（Issue対応中）
  • 日本語の音声生成・認識の品質は公式には保証されていない（zh・enが主なターゲット）

ベンチマーク結果

MMAU・MMSU（音声理解）、Seed-TTS-Eval（TTS）、InstructTTSEval（Instruct TTS）、Ming-Freeform-Audio-Edit（音声編集）の各ベンチマークで競合モデルと同等以上の結果を示しています（README参照）。

まとめ：FireRedAudioで音声AIパイプラインをシンプルに

FireRedAudioは「ASRはWhisper、TTSはE2 TTS、音声編集は別ツール」という分散した音声AIパイプラインを、1,406スターを集めた実力モデルで統合できるプロジェクトです。

Decoupled Continuous Representationsという独自設計が理解と生成の品質を同時に高いレベルで維持しており、実務投入を検討している音声AIエンジニアに特におすすめです。

GitHubリポジトリ: FireRedTeam/FireRedAudio
論文: arXiv:2608.24168
HuggingFace: FireRedTeam/FireRedAudio

関連ツール・おすすめサービス

  • Perplexity AI — 音声AI・最新論文の調査に使えるAI検索エンジン

この技術を学ぶ

音声AI・LLMに興味を持った方には、Udemyのオンラインコースもおすすめです。

毎日更新のGitHubツール情報

LINEで受け取って最新情報をキャッチアップしよう

友達追加する（無料）

関連記事

この記事が役に立ったらシェアしてください