AIエージェントに、自分のPCのStable Diffusionで描いてもらった――過去の絵をピクセル差0で再現するまで

  • URLをコピーしました!
ジェネコ

ざすこのPCのStable Diffusionって、ワガハイが動かしても描けるジェネ?

ざすこ

それを確かめた1日の記録だよ。結果は、過去の絵がピクセル単位で同じに描き直せるところまでいったんだ。

画像生成AIでの作画は、ここ最近はViduなど外のサービスが中心でした。でもわたしの手元には、これまで自分で描いてきたStable Diffusionの環境と、3万枚を超える過去の作画が残っています。これを、AIエージェントのClaude Codeに動かしてもらえないか。2026年11月5日の深夜0時28分の「テストできる?」から始めて、その日の夕方には、わたし・リズ・メイの3人を描けるようになりました。

結論から言うと、自分のPCのStable Diffusion(Forge)は、AIエージェントにそのまま任せられました。起動・作画・一覧づくり・停止までをClaude Codeがやり、わたしは日本語で頼んで、最後に良し悪しを決めるだけ。過去に描いた絵は、画像の中に残っている設定からピクセル差0で描き直せました。

この記事は、その要点だけのダイジェスト版です。そのときのやり取りや失敗、図説スライドを使った詳しい解説は、制作記録館 #1 自分のPC編(無料)にまとめています。

  • しくみ:ForgeをAPI(プログラムから操作する窓口)だけで起動し、Claude Codeが小さなスクリプトで注文を出す。1枚約6秒(RTX 4090・SDXL・896×1152・28ステップ)
  • 過去作が資産になる:画像に埋め込まれた生成のレシピから、元の絵とピクセル単位で同じ絵が描けた。過去の出力34,337枚を台帳にした
  • 量産と比較:表情・ポーズ・衣装の50枚が約5分。服が緑に寄る問題は、同じシードで書き方を5通り比べて直し方を決めた
  • キャラを足す:LoRAを使っていなかったリズとメイも、過去の出力から外見の言葉を集めて描けるようにした
  • 気をつけること:APIは自分のPCの中だけで待ち受ける。外部の拡張は切る(ADetailerは使えない)。絵を商用で使えるかはモデルのライセンスで決まる

この方法のいちばんの良さは、日本語で頼むだけで済むことです。英語のプロンプトを覚えなくても「ウインクしてピースで描いて」とあれこれ注文でき、ForgeやStable Diffusionの準備もエージェントがやってくれます。仕上がりの調整や直しも「もう少し笑顔で」「服は紺に」と会話で頼めます。

日本語で頼むだけ。英語のプロンプトを覚えなくていい・環境づくりもおまかせ・直しも会話で
日本語で頼むだけ。英語のプロンプトを覚えなくていい・環境づくりもおまかせ・直しも会話で
30秒で分かる版:自分のPCのSDXLを、AIエージェントに任せる
30秒で分かる版:自分のPCのSDXLを、AIエージェントに任せる
目次

しくみ:画面を触る代わりに、AIエージェントがAPIで動かす

ふだんのわたしは、StabilityMatrixからForgeを起動して、ブラウザの画面でプロンプトを入れて描いています。今回は画面を開かず、Forgeを「APIだけ」で起動しました。Claude Codeは、起動と停止の係・注文の係という小さなスクリプトを動かすだけで、Forgeの中身やモデルには手を付けません。

人が画面を触る代わりに、AIエージェントがAPIでForgeを動かす
人が画面を触る代わりに、AIエージェントがAPIでForgeを動かす

最初はつまずきました。古い拡張機能が例外を出して、APIが立ち上がらなかったのです。あとから入れた拡張を読み込まない指定(--disable-extra-extensions)を付けたら、24秒で起動しました。そのかわり、顔を自動で描き直すADetailerなどの外部の拡張は使えません。Forgeに内蔵のHires fix・インペイント・ControlNetは使えます。

▶ 詳しくは 記録館 #1「このやり方のまとめ」と年表の0時台(起動のつまずき・最初の1枚)

過去の絵が、ピクセル差0で描き直せた

いちばん驚いたのがここです。Forgeで描いたPNGには、使ったプロンプト・シード・ステップ数・モデル名・LoRA名が文字で埋め込まれています。これを読み取って同じ条件でAPIに渡すと、元の絵と1点も違わない絵がもう一度描けました(0時42分)。過去の3万枚が、そのまま「いつでも描き直せるレシピ集」になったわけです。

元の絵(2026年9月4日にForgeで描いた1枚)
元の絵(2026年9月4日にForgeで描いた1枚)
Claude CodeがAPIで描き直した絵。元の絵とピクセル単位で一致
Claude CodeがAPIで描き直した絵。元の絵とピクセル単位で一致

そこで、過去の出力34,337枚を台帳にしました。レシピ6,641件、モデルの正本919ファイルの場所まで。わたしのLoRAを使った13,364枚を数えると、縦長57%、白背景とカメラ目線が66%、振り返りが31%(正面の27%より多い)でした。描いたあとにADetailerで手直しした約5,100枚は、手直しの部分までは戻せません。

良いことは4つ:過去作が資産・回数を気にせず比べる・頼めば一通り回る・決まりごとを忘れない
良いことは4つ:過去作が資産・回数を気にせず比べる・頼めば一通り回る・決まりごとを忘れない
ジェネコ

再現がピクセル一致した瞬間が、いちばん気持ちよかったジェネ。

▶ 詳しくは 記録館 #1「年表 第1部:深夜の立ち上げ」(LoRAの照合・台帳・描き方の傾向)

50枚のバリエーションと、緑に染まる服

次に、表情・ポーズ・衣装を50枚。外見の言葉は記録どおりに残し、最後の行だけを差し替えます。先に2枚だけ描いて味見し、50枚で約5分。メガネ・白い花飾り・緑のメッシュ・紫の目は50枚ともそろいました。気になったのは2つ。1枚のドヤ顔がキャラに合わなかったことと、服がほとんど緑に寄ったことです。

50枚のうち表情の10枚。09のドヤ顔だけ「キャラに合わない」
50枚のうち表情の10枚。09のドヤ顔だけ「キャラに合わない」

このときのわたしの感想はこうでした。「その他は服装の色味の問題以外はかなり想定通りでベリーグッドです!」。ドヤ顔は「キャラに合わない」ので、以後は使わない表情に登録しました。

衣装の10枚。巫女・サンタは狙いどおり、ほかは緑に寄った
衣装の10枚。巫女・サンタは狙いどおり、ほかは緑に寄った

服まで緑になるのは、外見に書いている「緑のメッシュ」「エメラルドのインナーカラー」が、色を書いていない服にまでしみ出すから。服6着を、同じシードで5通りの書き方で比べると、服の色をはっきり書くのがいちばん効き、区切りの印(BREAK)だけではほぼ効きませんでした。色・BREAK・ネガティブの全部入りがいちばん安定です。

服の色の直し方を同じシードで比べた(左から 元のまま/色を書く/BREAK/ネガティブ/全部入り)
服の色の直し方を同じシードで比べた(左から 元のまま/色を書く/BREAK/ネガティブ/全部入り)

▶ 詳しくは 記録館 #1「変遷:服の色を直す」「比較の全体」(6着×5通り)

リズとメイも、同じやり方で

同じやり方で、リズとメイも描けるようにしました。2人は過去にLoRAを使わず、プロンプトだけで描いていたキャラです。過去の出力からリズ1,567枚・メイ1,165枚を見つけ、外見の言葉を集めて決まった設定にしました。2人とも、元の絵をピクセル単位で再現できました(メイは拡大つきのHires fixのレシピ)。

リズとメイ:LoRAなしで、場面だけを変えて描いた作例
リズとメイ:LoRAなしで、場面だけを変えて描いた作例
こんな場面で使える(動画の始点の絵・LoRAの学習データはこれから)
こんな場面で使える(動画の始点の絵・LoRAの学習データはこれから)

▶ 詳しくは 記録館 #1「リズ&メイ」(LoRAなし・衣装や表情のLoRAを当てた作例)

試すなら:導入の7段と、気をつけること

自分の環境で試すなら、流れは7段です。StabilityMatrixを入れる → Forgeを入れる → モデルを置く(ライセンスを読んでから)→ まず人が画面で1枚描く → エージェント用の作業場を作る → APIで起動する → 過去の1枚を再現して確かめる。6段目では、待ち受けを自分のPCの中だけに絞ります。Forgeは初期設定のままだと、同じネットワークの他の機器からも呼べる状態でした。

導入は7段。最後に過去の1枚を再現
導入は7段。最後に過去の1枚を再現

もう1つ大事なのが、描いた絵を商用で使えるかどうか。ForgeやStabilityMatrixのような道具のライセンスは、描いた絵には原則として及びません。決めるのは、使ったモデル(Checkpoint)のライセンスです。SDXL 1.0 baseやIllustrious-XL v2.0は商用可、NoobAI-XLは生成物も含めて商用化を禁止しています。今回のモデルはIllustrious系のマージモデルで、販売に使う前には確認が要ります(法的助言ではありません)。

モデルごとの商用の早見表
モデルごとの商用の早見表
守ることは4つ:著作権・商用利用・倫理・セキュリティ
守ることは4つ:著作権・商用利用・倫理・セキュリティ

▶ 詳しくは 記録館 #1「このやり方のまとめ」(ライセンスの早見表・ほかの道との比べ方・注意点)

詳しい解説と制作の記録は、制作記録館へ(無料)

この記事は要点だけです。図説スライドを使った詳しい解説と、そのときのやり取り(深夜のつまずき、わたしのダメ出し、比べて直した記録も含めて)は、制作記録館で読めます。

制作記録館 #1 自分のPC編
制作記録館 #1 自分のPC編

続きの 制作記録館 #2 クラウドGPU編 では、GPUの無いAI(Muse)から、借りたGPUで同じレシピの絵を描きました。要点は GPUの無いMuseでも、SDXLが使えた にまとめています。ほかの記録館は 記録館アーカイブ へ。

まとめ:過去の作画は、設定つきの見本帳だった

任せるのは「準備・作画・並べる・記録」まで。良し悪しを決めるのは人です。手元のGPUは速くて生成ごとの料金がかかりませんが、GPU付きのPCが要ります。GPUが無いときや、出先のスマホから頼みたいときは、借りたGPUをMuseに使わせる方法(記録館 #2)があります。

3万枚の過去の絵が、そのまま描き直せるレシピ集になったのは大きな発見でした。次は、自分のキャラのLoRAづくりまでエージェントに任せられるかを試したいと思っています。

ジェネコ

次はLoRAの学習まで、ワガハイに任せてみるジェネ?

ざすこ

うん、データセットの用意からタグ付けまでお願いしたいな!

出典・免責事項

本記事は、2026年11月5日のわたしの検証記録に基づいています。秒数はわたしの環境(Windows 11・RTX 4090)での実測です。モデル・LoRAのライセンスと生成物の権利は、使う前にご自身で確認してください。本記事は法的助言ではありません。

広告・書籍のご案内

ざすこが実習パートを執筆!画像・動画生成AI スタートガイドの詳細をAmazonで見る
よかったらシェアしてください!
  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

zasuko 生成AI解説系 Vtuver

個人で Youtubeで生成系AIツールの解説動画を投稿しています。
創作活動をする方向けに私の学んだツールの活用方法などについて発信しつつ自主製作での、イラスト、動画、漫画、最終的にはゲーム開発などのコンテンツ制作を目指しています✨🌱✨

コメント

コメントする

目次