ファンサイトに戻る

AI IMAGE NEWS

Diffusers 0.42.0でFLUX.3 Klein等に対応|使い方まとめ

海外で話題のDiffusers 0.42.0を日本語で解説。FLUX.3 Image Klein、Bria Fibo 2.0、Kandinsky 6の対応内容、Python 3.11以上が必要になった点、基本的な読み込みの流れ、つまずきやすい点を整理します。

公開:

Diffusers 0.42.0でFLUX.3 Klein等に対応|使い方まとめ

緑色の基板に電解コンデンサと金色の端子が並ぶ接写
イメージ画像(この記事の内容を示すものではありません)|写真: 「circuit board macro」 by Steve A Johnson(CC BY 2.0)/出典: https://www.flickr.com/photos/14529257@N03/4778138009

何が新しい? 何ができる?

Diffusers(ディフューザーズ)は、Hugging Faceが公開している、画像や動画などの生成モデルをPythonから扱うためのライブラリです。公式のリリースノートによると、0.42.0ではFLUX.3 Image Klein、Bria Fibo 2.0、Kandinsky 6、SANA-WM、RFD4-Proteínaという新しいモデルが加わり、あわせて新しいアダプターへの対応、ハードウェア連携、モジュラーパイプラインの拡充も行われたとされています。このリリースは10月23日付けで公開されています。

もっとも注意したいのは、リリースノートの冒頭で強調されている「Python 3.11以上が必須になった」という点です。古いPython環境のままだとアップデートできない可能性があるため、先にバージョンを確認しておくと安心です。

FLUX.3 Image Klein

公式によると、Black Forest Labsの「FLUX.3 Image Klein」は、文章からの画像生成と、1枚以上の参照画像を使った編集に対応しています。ベースのチェックポイントと、少ない工程数で生成できるステップ蒸留版(step-distilled)のどちらも、ModularPipeline(部品を組み合わせて使うパイプラインの仕組み)から使えると説明されています。

また、短い依頼文を詳細なキャプションに膨らませる「プロンプトアップサンプラー」が組み込まれており、バウンディングボックス(画像内の位置を四角で示す指定)を使ったレイアウト指示にも対応するとのことです。そのほか、単一ファイルからのtransformer読み込み、BFLのFP8rおよびNVFP4チェックポイントにも対応したと紹介されています。

Bria Fibo 2.0

元記事では、Bria Fibo 2.0は構造化されたJSON形式のキャプションから画像を生成でき、最大5枚の参照画像を使った編集にも対応するとされています。利用にはBriaFibo2Pipelineを使い、devチェックポイントと、4ステップでclassifier-free guidance(生成の方向づけを強める仕組み)なしで動くedit-turboチェックポイントが含まれるそうです。さらに、LoRAの読み込みと、テキストからの生成・画像編集それぞれのDreamBooth LoRA学習の例も用意されたと紹介されています。

Kandinsky 6とそのほか

Kandinsky 6は、文章または参照画像から、音声が同期した動画を生成するモデルとして紹介されています。Kandinsky6TI2VAPipelineで生成し、別のKandinsky6SRPipelineで動画の高解像度化(スーパーレゾリューション)を行う構成です。ProとLiteの生成用チェックポイントがあり、蒸留版向けにPiflowSchedulerも加わったとされています。

SANA-WMは、開始画像・文章・カメラの軌跡から動画を作るモデルで、カメラはWASD/IJKLの操作文字列でも指定でき、別のLTX-2リファイナーで仕上げることもできると説明されています。RFD4-Proteínaは、Baker LabとNVIDIAによる生体分子設計のモデルです。画像生成とは分野が異なるため、この記事では詳しく扱いません。

使い方の流れ(公式の説明をもとにした概要)

  1. Pythonのバージョンを確認し、3.11以上であることを確かめる
  2. Diffusersを0.42.0以降に更新する
  3. FLUX.3 Image Kleinの場合は、ModularPipeline.from_pretrained(...)でパイプラインを読み込む
  4. 続けてload_components(...)でモデルの重みを読み込む
  5. プロンプトのアップサンプリング、編集、メモリ使用量については、公式のFLUX.3ドキュメントの例を参照する

つまずきやすい点

  • Python 3.11未満の環境では、新しい版が使えない可能性があります。仮想環境を分けて試すと、既存の作業環境を壊しにくくなります(補足として、一般的な対策です)。
  • FLUX.3 Image Kleinは、従来のパイプラインとは読み込み方が異なり、from_pretrainedのあとにload_componentsが必要です。手順を飛ばさないようにしましょう。
  • Kandinsky 6の高解像度化には別のパイプラインが必要で、チェックポイントごとの設定や要件があると公式は案内しています。詳細は各モデルのドキュメントで確認してください。
  • FP8rやNVFP4のチェックポイントは、補足として、動かせるハードウェアや環境に条件がある場合が多いので、対応状況を公式で確認するのが無難です。

日本の読者への補足

補足として、日本語の文章でプロンプトを書いたときにどう解釈されるかは、モデルごとに異なります。今回の資料には日本語入力の対応状況が書かれていないため、日本語で指示する場合は、まず短い文で試し、結果を見ながら調整するのが一般的な進め方です。

また、各モデルには独自のライセンスや利用条件があります。商用利用や公開の前に、公式サイトの最新の条件を確認してください。

作例の見方

新しいモデルの作例を見るときは、「文章だけで作ったのか、参照画像を使ったのか」「蒸留版かどうか」「何ステップで生成したのか」を確認すると、条件を正しく比べられます。一般的には、少ないステップの蒸留版は速度重視、ベース版は品質や調整のしやすさ重視という見方がされます。ただし、実際の優劣は用途や設定によって変わるため、断定はできません。

他の選択肢との違い(一般的な観点)

観点 今回のDiffusers 0.42.0 一般的な他の方法
使い方 Pythonコードでパイプラインを組む 画面操作中心のツールもある
新モデルへの対応 公式リリースで追加されたモデルをまとめて利用できる ツール側の対応を待つ場合がある
自由度 読み込み・学習の例が用意され、調整しやすいとされる 手軽さを優先した作りのものが多い
必要な知識 Pythonの基本的な知識が必要 初心者向けの手順が整っているものもある

よくある質問

Diffusers 0.42.0を使うのに必要なPythonのバージョンは?

公式のリリースノートでは、Python 3.11以上が必須になったと案内されています。更新前にバージョンを確認してください。

FLUX.3 Image Kleinでは何ができますか?

公式によると、文章からの画像生成と、1枚以上の参照画像を使った編集に対応しています。短い依頼文を詳細なキャプションに変換するプロンプトアップサンプラーも組み込まれていると説明されています。

Fibo 2.0の編集では参照画像を何枚まで使えますか?

元記事では、最大5枚の参照画像を使った編集に対応するとされています。

Kandinsky 6は画像生成のモデルですか?

紹介されているのは動画生成のモデルです。文章または参照画像から、音声が同期した動画を生成できるとされ、別途、動画の高解像度化用のパイプラインも用意されています。

料金や詳しい仕様はどこで確認できますか?

この記事では料金や細かい仕様は扱っていません。最新の内容は、DiffusersとHugging Face、各モデルの公式サイトで確認してください。

この記事は、海外の公開記事・公式情報を参考に、事実と手順を日本語で自分の言葉で整理したものです。元記事の翻訳・転載ではありません。詳しくは下の元記事をご覧ください。

出典一覧

画像の出典

※料金・仕様・提供地域は変わることがあります。最新の内容は必ず各公式サイトで確認してください。