JoyAI-Video-Edit とは？自然言語でリアルタイム動画編集できるオープンソースAI

京東（JD.com）のAI研究チームが開発した、自然言語命令でリアルタイム動画編集を実現するオープンソースシステムです。16Bパラメータの拡散モデルが動画フレームを順次処理し、720p・30FPSのストリーミング編集を可能にします。Apache 2.0ライセンスで公開されており、HuggingFaceでデモを試すこともできます。

GitHubで急上昇中の jd-opensource/JoyAI-Video-Edit をご紹介します。スター数 1,753★ を獲得し、AI分野で注目されているツールです。

JoyAI-Video-Edit とは？

JoyAI-Video-Editは、京東（JD.com）オープンソースチームが2026年8月に公開したリアルタイム動画編集システムです。従来のAI動画編集が動画全体をバッチ処理するのに対し、JoyAI-Video-Editはカメラストリームやアップロード動画を「フレームが届いた順」に処理するオートレグレッシブ拡散設計を採用。「背景をサイバーパンク風に変えて」など自然言語で指示するだけで、途中フレームを待つことなくリアルタイムでスタイル転送・被写体置換・ローカル編集が可能です。

16BパラメータのMMDiTバックボーンとMiMo-VL条件エンコーダを組み合わせ、単一GPU（B200またはRTX 5090）で720p・30FPS・エンドツーエンドのスループットを達成しています。論文はarXiv（2608.03974）で公開されており、学術的な裏付けを持つプロダクション指向のシステムです。

こんな人におすすめ:

エンジニア向け: MLエンジニア・AI研究者がローカル環境でストリーミング動画編集パイプラインを構築・実験するのに最適。conda環境構築からCUDAカーネルビルドまでの手順が整備されている。
非エンジニア向け: プログラミング知識が必要なため、エンジニア専用ツールです

主な機能・特徴

リアルタイム編集エンジン

自然言語命令でフレーム到着順にリアルタイム編集（未来フレーム不要）
スタイル転送・被写体追加/削除/置換・背景変更など多様な編集を1モデルで処理
参照画像ガイド編集（RV2V）で特定の衣装や外見を動画に適用

高性能デプロイ最適化

720p・30FPS のエンドツーエンドスループット（NVIDIA B200 / RTX 5090 使用時）
Bounded KV-state 推論で長尺ストリームの時間的一貫性を維持
CUDA カーネル最適化による低レイテンシーフレーム処理

対応する編集タイプ

グローバル変換: スタイル全体の変換（水彩画風、アニメ風など）
ローカル編集: 特定の物体・人物のみを変更（帽子をかぶせる、サングラスを追加）
背景置換: 背景のみを変更しながら被写体を維持
RV2V（参照画像ガイド）: 参照画像から衣装や外見を動画被写体に適用

使い方・始め方

インストール手順（要：Python 3.10・CUDA対応GPU・HuggingFaceからモデルダウンロード）

ステップ1: 環境構築

# conda仮想環境を作成
conda create -n joyai-video-edit python=3.10 -y
conda activate joyai-video-edit

# 依存パッケージのインストール
pip install -r deploy/requirements.txt

その後、DEPLOYMENT.md §2 に従いCUDAカーネルライブラリ deploy/joyomni_ops をビルドします。このステップはDiTが実行時に使用するため必須です。

ステップ2: モデルのダウンロード

HuggingFace からモデルウェイトをダウンロードし、以下のディレクトリ構造に配置します。

deploy/deps/checkpoints/JoyAI-Video-Edit/
├── dit/
│   └── joyai_video_edit_dit_0811.pth
└── vae/
    ├── config.json
    └── diffusion_pytorch_model.safetensors

ステップ3: サーバー起動とアクセス

cd deploy
bash run_server.sh
# ブラウザで http://localhost:8080 にアクセス

サーバーはデフォルトで 0.0.0.0:8080 にバインドされます。リモートマシンの場合は、ポートを開放するかSSHポートフォワーディングを使用してください。

ヒント: まず HuggingFace Demo でブラウザから動作確認することを強く推奨します。ローカルセットアップ前に機能を体験できます。

活用事例

JoyAI-Video-Editは複数のユースケースで活用できます。

コンテンツ制作のリアルタイムVFX

動画クリエイター（YouTuber・Vtuber・広告映像ディレクター）が、撮影しながらリアルタイムでスタイルや衣装を変更し、従来のVFX後処理コストを大幅に削減できます。「全員をアニメキャラに変換」「背景を中世の城に差し替え」といった複雑な編集も自然言語1文で指示可能です。

インタラクティブ動画編集サービスの構築

MLエンジニアが自社動画編集サービスのバックエンドとしてJoyAI-Video-EditのAPIサーバーを組み込み、エンドユーザーにインタラクティブな編集体験を提供するシステムを構築できます。deployディレクトリには本番稼働を想定したサーバー実装が含まれています。

ファッション・広告の仮想試着システム

AI研究者やファッションテック企業の開発者が、参照画像ガイド（RV2V）機能を活用して、EC商品の衣装を動画モデルに仮想試着させるシステムを試作・研究開発できます。特定の服・アクセサリーの参照画像を与えるだけで、動画内の被写体に自然に適用されます。

RunwayML・Pika Labsとの違い・なぜ今このツールか

既存AIビデオ編集ツールとの差別化

RunwayML（Gen-4） や Pika Labs などの商用サービスは、動画をアップロードしてクラウドで処理する「バッチ処理」型が中心です。JoyAI-Video-Editの最大の差別化点はオートレグレッシブなストリーミング設計にあります。

比較項目	JoyAI-Video-Edit	RunwayML / Pika Labs
処理方式	ストリーミング（フレーム逐次）	バッチ（動画全体）
動画長の制限	なし（オープンエンド）	あり（数秒〜数分）
ローカル実行	可能（Apache 2.0）	クラウドのみ
料金	無料（自前GPU要）	サブスクリプション
応答レイテンシ	リアルタイム（30 FPS）	数十秒〜数分

なぜ今注目されているか

2026年8月の公開直後からGitHubで急速にスターを獲得しており、RTX 5090などのコンシューマーGPUへの対応追加（2026.08.24）が大きな転換点になりました。従来は研究用の超高性能GPUが必要でしたが、ゲーマー向けGPUでも動作するようになったことで、個人開発者・スタートアップへの普及が現実的になっています。

こんな人に向いている

MLエンジニア・AI研究者

自然言語駆動の動画編集パイプラインを研究・開発したい方に最適です。モデルアーキテクチャ（MMDiT + MiMo-VL + Causal VAE）の実装を直接確認でき、独自の条件エンコーダや編集モジュールを組み込む拡張研究の出発点になります。arxivに技術レポートが公開されており、再現実験から始められます。

動画編集エンジニア・テックアーティスト

映像プロダクション・ゲーム・映画VFX分野のエンジニアやテックアーティストが、インタラクティブなリアルタイム合成パイプラインのプロトタイプ構築に活用できます。従来のAfter Effectsベースのワークフローを自然言語インターフェースで拡張する実験的プロジェクトに適しています。

AIサービス開発者（スタートアップ）

動画編集SaaS・バーチャル試着・ライブ配信フィルターなどのAIスタートアップが、コアエンジンとして組み込む基盤技術として検討できます。Apache 2.0ライセンスのため商用サービスへの組み込みも問題ありません（ライセンス条文の確認は必須）。

使う前に知っておきたいこと

GPU要件（最重要）

JoyAI-Video-Editの動作には高VRAM・高性能GPUが必要です。

GPU	解像度	FPS
NVIDIA B200 / RTX PRO 6000 Blackwell	720p（720×1248）	16 FPS
NVIDIA B200	720p フルパイプライン	30 FPS
GeForce RTX 5090（32GB）	840×480	24 FPS

オープンIssueを見ると「どれだけのVRAMが必要か？」という質問が複数あり、コミュニティでも情報収集が続いています。RTX 4090（24GB）での動作報告は現時点では未確認のため、実行前にVRAM要件をDEPLOYMENT.mdで確認してください。

CUDAカーネルのビルドが必須

インストール時に deploy/joyomni_ops をビルドするステップが必須です。CMakeやCUDAツールキットのバージョン依存があるため、環境構築でエラーが出た場合はDEPLOYMENT.mdのトラブルシューティングセクションを参照してください。

ライセンスと商用利用

Apache 2.0ライセンスのため、商用利用・改変・再配布が可能です。ただし依存するMiMo-VLなどの外部モデルのライセンスを別途確認する必要があります。プロダクションへの組み込みは必ずライセンス原文を確認してから進めてください。

現時点の制限

Diffusers非対応: HuggingFace Diffusersパイプラインは未対応（TODO項目。対応予定あり）
学習パイプライン未公開: 現時点では推論・デプロイコードのみ公開（学習パイプラインは今後公開予定）
デモ再現が難しい場合あり: Issueで「デモの効果を再現できない」という報告が複数あり、GPU環境や入力動画の品質に依存する可能性がある

まとめ

JoyAI-Video-Editは「動画全体を揃えてから処理」という従来のAI編集の常識を覆す一手として注目されています。16Bパラメータのオートレグレッシブ拡散モデルがフレームをリアルタイム処理する設計は、動画AIの次世代アーキテクチャとして研究・産業双方から注目されています。

学術研究・映像制作プロトタイプ・インタラクティブなVFXツール開発に取り組むMLエンジニア・動画編集エンジニア・AIスタートアップ開発者に特におすすめです。Apache 2.0ライセンスで商用利用も可能。Diffusersサポートや完全な学習パイプラインの公開も予定されており、今後さらに使いやすくなる見込みです。

GitHub でチェックする →

この技術を学ぶ

AIに興味を持った方には、UdemyのオンラインコースもAI/機械学習の実力向上におすすめです。

AI・機械学習コース一覧 — セール時（最大90%OFF）を狙うとお得です

JoyAI-Video-Edit とは？自然言語でリアルタイム動画編集できるオープンソースAI

JoyAI-Video-Edit とは？自然言語でリアルタイム動画編集できるオープンソースAI