Sora2など、AIによる動画生成が注目を集めています。そんななか、オープンソースの画像生成AI「Stable Diffusion」でも、拡張機能を使って高品質な動画を生成できるようになっています。無料で動画生成できるというメリットがある一方で、バージョンが複数あることやインストール方法が難しいなど、さまざまなハードルがあります。
そこで今回は、Stable Diffusionの基本機能や動画生成ツールについて紹介します。
All-in-one ツールボックス｜動画/音声/画像変換、動画/音声ダウンロード、動画編集、録画、圧縮.....すべてできる！
Part1.Stable Diffusionとは
★Stable Diffusionについて
Stable Diffusionは、テキストから高品質な画像を生成できるオープンソースの拡散モデルです。ローカルPCで動かせる自由度と拡張性が大きな特徴で、学習済みモデルや追加ツールが豊富に公開されています。近年はSora2などの動画生成AIが注目されていますが、Stable Diffusionも拡張機能を組み合わせることで動画生成に対応し、個人でも低コストでクリエイティブな表現を追求できます。
Stable Diffusionには、Automatic1111版とForge版の2種類があります。Automatic1111版は最初に登場したUIツールで、Forge版はVRAMが少ない場合でも画像や動画を生成できるUIツールです。いずれのツールも性能自体はほとんど変わりません。
★Stable Diffusionの機能について
中核は「txt2img」と「img2img」と呼ばれる画像生成機能です。プロンプトから画像を生成し、既存画像のスタイル変換や修正も行えます。また、ControlNetという機能を活用することで、生成画像をコントロールできます。このほかLoRAと呼ばれるカスタムモデルを追加することで、自分好みの画像を生成することも可能です。
Stable Diffusionには拡張機能も搭載されていて、プラグインをインストールすると新しい機能を追加することができます。これから紹介する動画生成も拡張機能によって実現します。
★Stable Diffusionのインストール方法
Stable Diffusionの導入方法は2種類あります。
ローカルPCにインストール
まず、自分のパソコンで動かす方法です。Windows、macOS、Linuxといった複数のOSにインストール可能ですが、高性能なGPUが要求されるためGPUを交換できるWindowsかLinuxを選択するのが一般的です。
NvidiaのGPU用のライブラリ（CUDA）をインストールしたのち、PythonやPytorchなどプログラミング言語や機械学習用のライブラリをインストールします。インストールが完了すると、ブラウザ上からStable DiffusionのUIを立ち上げることが可能です。画像や動画を生成するためには、SD1.5 や SDXL といったモデルが必要となります。ローカルフォルダにインストールすることで、ブラウザから画像や動画を生成できます。
Google Colabを利用
高性能なGPUを購入しない場合には、Google Colab を使う方法がおすすめです。GoogleColabはクラウド上にプログラミング環境を構築できるツールであり、Python環境を構築できます。ただし、画像や動画を生成するためには、クラウドからGPUを選ぶ必要があり、有料プランに加入する必要があります。国内から選択できるプランは、「Pay As You Go」と「Colab Pro+」、「Colab Enterprise」の3種類です。
まず、Google Colabから新規で「ノートブック」を作成します。使用するGPUを選択します。続いて「コード」をクリックし、次のコードをコピー&ペーストします。すると、Stable Diffusionのインストールが開始します。
数分待つと、URLが表示されるので、ブラウザにコピー&ペーストしましょう。アクセスすると、Stable Diffusionが起動します。
Part2.Stable Diffusionで動画を生成する3つの方法
Stable Diffusionを使った動画生成の方法は3種類あります。
☆AnimateDiff：モーション付与による動画生成
AnimateDiffは、Stable Diffusionに動きを与える拡張機能で、フレームごとに微妙に異なる画像を生成して連続再生することで、自然なアニメーションを作り出します。モーションモジュールと呼ばれるAIモデルを組み合わせ、被写体の揺れやカメラの動きなどを自動的に補間するのが特徴です。テキストプロンプトで動きを指定できるため、キャラクターアニメーションや背景の動きなどを簡単に生成できます。
AnimateDiffはAutomatic1111用とForge用の2種類がありますが、最新のForgeには対応していないので注意が必要です。
☆Deforum：カメラワーク制御で複雑な動画を生成
Deforumは、Stable Diffusionの連番出力を利用して、カメラワークやズーム、回転などの動きを細かく制御できる拡張機能です。数値パラメータで視点の位置や回転角度を指定することで、3D的な映像表現を実現します。AnimateDiffと似ていますが、細かい設定が必要な分、生成される動画をカスタマイズ可能です。
DeforumもAutomatic1111用とForge用の2種類がありますが、最新のForgeには対応していません。
☆Mov2Mov：既存動画をAIで変換して生成
Mov2Movは、既存の動画を入力としてAIがフレームごとに再生成し、アニメ調やイラスト調に変換する拡張です。いわば「動画版img2img」であり、被写体の動きを保ったまま、スタイルをまったく別のものに変えることができます。たとえば実写映像を手描き風アニメに変換したり、既存のアニメを別作風にリメイクしたりことも可能です。
Mov2MovはAutomatic1111用しか実装されていないので、注意が必要です。
Part3.動画を補正するならWondershare UniConverter
Stable Diffusionは高品質な動画生成が可能な一方で、解像度を高くしたりや時間の長い動画を生成したりするには、高スペックなGPUが必要です。Google Colabを活用して動画を生成するにも、無料プランではStable Diffusionの使用は禁止されているため、有料プランにする必要があります。
Wondershare UniConverterは、AI機能を搭載したオールインワン動画ツールとして、インストール後すぐに動画の補正が行えます。「AI動画補正」機能を使えば、動画を自動で最適化し、動きや画質を向上させることが可能です。専門知識がなくてもAI動画を扱える点が魅力です。
そこで、UniConverterの動画補正機能で動画を補正する手順を紹介します。
UniConverterで動画を補正する手順
Step1. 補正したい動画の選択
UniConverterを起動し、画面右上に表示される「動画補正」タブをクリックします（①）。
「動画を追加」ボタンをクリックし、補正したい動画を選択します（②）。
Step2. 動画補正の設定
動画がUniConverterに取り込まれるので、AIモデルを選択します。今回は、「画質復元」を選択してみましょう（③）。「プレビュー」ボタンで、どのように補正されるかを見ることができます（④）。
Step3. 動画補正の実行
右側に補正された動画が表示されます（⑤）。
問題なければ、「すべてエクスポート」ボタンをクリックし、完了です（⑥）。
まとめ
Stable Diffusionは、AnimateDiff、Deforum、Mov2Movといった拡張機能を活用することで、テキストや画像から動画を生成できる強力なAIツールです。しかし、導入には専門的な設定や高性能なGPUが必要で、初心者には扱いが難しい面もあります。また、低画質かつ時間の短い動画しか生成できないのが実情です。
そこでおすすめなのが、UniConverterを活用して、生成した動画を補正する方法です。低画質の動画しか生成できない場合でも、高解像度の動画に変換することが可能です。専門知識がなくても手軽に動画を補正できるため、クリエイティブ制作を効率化したい方に最適です。
