コピー機LoRA作成の挑戦!
Table of Contents:
- Introduction
- The Process of Creating Copy Machine Rollers
- Obtaining the Necessary Information and Materials
- Installing Python and Git
- Setting Up the Copy Machine Rollers
- Creating a New Folder
- Opening Command Prompt
- Cloning the Repository
- Changing Directories
- Running the Batch File
- Installing the Copy Machine Rollers
- Answering Questions During the Installation Process
- Creating the Base Image for the Copy Machine Rollers
- Generating Line Art from the Base Image
- Merging the Line Art with the Copy Machine Roller Model
- Training the Line Art Image with the Merged Model
- Adjusting the Intensity of the Copy Machine Roller
- Testing the Copy Machine Rollers
- Fine-tuning the Copy Machine Rollers
- Conclusion
Article:
皆さんこんにちは、アイズイン、ワンダーランドのアリスです。本日は、コピー機ローラ法という特殊な方法で、ローラを作っていこうと思います。情報は、様々な調整系のローラを作成されている、突きすわなさんという方がノートで紹介されていた記事を参考にしています。久しぶりのローラ作成になりますので、荒野SSのバージョンの状況などを見たいと思います。バージョンアップによる不具合があるといけないので今回は新たに違うところにもう一つの荒野SSをインストールしようと思います。Pythonとgitは、インストールされている前提で話を進めていきます。即インストールしちゃいましょう。Cドライブ直下に新しいフォルダを作って、そのディレクトリからアドレスバーにcmdと入力しコマンドプロンプトを開きます。ホームページにコマンドが書いてありますのでまず、きっとクローンから始まるコマンドを貼り付けてエンターを押します。ページのリンクは概要欄に載せておきます。次にCD光やSSのコマンドでディレクトリを変更します。CDはチェンジディレクトリですね。その後コンマバックスラッシュセットアップドットバッジのコマンドでバッチファイルを起動させます。コマンドプロンプトを閉じてからセットアップバッジのバッチファイルをダブルクリックしても良いですよ。そうするとこうやSSセットアップメニューが別のコマンドプロンプトで開きます。1番のインストール後やSSGUIを選択しますので1を入力してエンター。トーチにを選択してエンターを押すとインストールが始まります。インストールにはしばらく時間がかかり私のパソコンでは6分ほどかかりました。環境によっては10分以上かかる場合もあると思います。次に順番に質問に答えていきます。昔はカーソルキーが使えませんでしたが今は番号キーでもカーソルキーでも使えます。リスマシンカAWSの質問はディスマシンを選択してエンターを押します。ノーディストリビューティッドトレーニングを選択してエンターを押します。次の質問は脳を選択します。エンターを押します。その次の質問も脳を選択します。ペンターを押します。その次の質問も脳を選択します。エンターを押します。次の質問はオールを選択してエンターです。次の質問はお使いのGPUが3000シリーズ以降であればBF16を選択してください。それ以前であればFP16を選択してください。これで質問が終わりましたので、こう入力してエンターを押します。そうするとこうやguiが起動します。コマンドプロンプトにURLが出てきますのでそのURLをコントロールを押しながらクリックするとWEBUIが起動します。コントロールとクリックで起動しない場合はそのURLをコピーしてインターネットブラウザのディレクトリに貼り付けてUIを起動してみてください。現在のバージョンはバージョン21.8.9です2023年9月14日時点での情報です。それではまず、本日はコピー機ローラ作成を初めて行うということで、元になる画像を用意していきます。今回、練習用として作成するのは、白黒の線画を作成するためのローラです。目指すのは黒の塗りがない、完全な線画です。まず学習素材とする画像を作成していきたいと思います。手順ですが、まず何らかのカラーの画像を1枚生成します。普通にプロンプト入力して画像を生成すれば、カラーですね。そしてそれと全く同じ絵の線画を用意します。最初にカラーの画像でお好きなモデルを使って化学変換のローラを作成します。そのローラを使うと、シード値を変えても同じ画像しか生成しないくらいの化学変換ですね。全く同じ画像を生成するのでコピー機ローラと呼ばれているのですね。次にその化学変換と学習に使ったモデルをマージさせます。そのマージモデルを使って線画にした画像を学習させます。ローラは元々チェックポイントとの差分を学習するものですので、あらかじめ化学変換をモデルにマージしておくことで少ない画像でもはっきりとした差分を抽出することができるというのが概念のようです。今回は一つの絵から完全なる線画を抽出するというプロセスがちょっと難しいので方向性を変えてまず、完全なる線画を作成してその線画にカラーをつけた画像を作りたいと思います。生成する順番が逆になるのですね。そうですね、カラーと線画の2枚を生成するのは同じですが、線画から生成していきましょう。言葉ではわかりにくいので実際に作業を始めていきます。まず完全な線画の作成方法ですが、イメージツーイメージを使って行ってきます。プロンプトにモノクロームやスケッチを記入すれば良いのではないのですか?線画を作る時にテキストトゥーイメージを使う方法もあります。ただモノクロームやスケッチやラインアートというプロンプトを入れて画像を生成すると白黒の画像が出ますが、髪の毛を黒く塗ってしまったり特定の部分にグレーの色をつけてしまったり、背景に不要なものを書き込んでしまったりということが起きます。完全に白い背景で人物だけの線画を抽出するのはテキストトゥーイメージのプロンプトだけでは難しいと考えます。一度スケッチやモノクロームを採用して作成した画像を見てみましょう。こちらが画像ですがやはり白黒で色をつけてくる傾向がありますね、完全な白黒の画像を作成するためには他の方法を使う必要があります。そこでイメージツーイメージを使って無駄な色を削除し、完全なる白黒の塗り抜けた線画を作成してみたいと思います。プロンプトや設定などは同じで良いので今、画像を作成していたテキストトゥイメージの、情報プロンプトなどをイメージという名前のイメージに送ります。そしてイメージツーイメージの画像置き場に、完全な真っ白なキャンバス画像をトラックアンドドロップします。画像サイズは今回作成する512×512の大きさです。真っ白な画像はペイントソフトやキャンバスというサイトで簡単に作ることができますよ。そしてデノイズストレングスを調節することで、背景が真っ白な線画を描いていこうと思います。今回は画像の真ん中に上半身の女性を描きたいので、コントロールネットのオープンポーズに画像を入れて姿勢を固定して画像を生成していきたいと思います。姿勢を固定しないと結構画面の端っこに人物を生成しがちですね。ではテノイジングストレングス別の画像を見ていきましょう。こちらがデノイジングストレングス0.9の画像です。ほぼ白黒になりましたがまだ少し髪の毛の塗りこみがありますので、もう少しデノイジングストレングスを弱めてみます。こちらがデノイジングストレングス0.8です。さらに白黒の状態が強くなりましたが、もう少し色が入っているところをなくしていきたいと思います。これがデノイジングストレングス0.7になります。かなり線画に近づきましたが、まだ一部リボンの塗り込みがあります。もう少しデノイジングストレングスを下げてみましょう。これがデノイジングストレングス0.65です。ほぼ線画になりました。一部線が弱すぎるものがありますが、線がはっきりしている左上の画像を使っていきたいと思います。この画像が最終的に学習する画像になります。この線画の描き方やその他のイメージツールの面白い使い方を、この動画で紹介していますのでぜひご覧ください。リンクは概要欄に載せておきます。ではその画像をコントロールネットに読み込んでカラーをつけていきたいと思います。コントロールネットの画像置き場に画像を入れます。ここはテキストツーイイメージのコントロールネットの画像置き場です。イネイブルにチェックを入れてコントロールタイプからLINEアートを選択します。トリプロセッサーはもともと線画ですので、白黒を反転させるだけのインバートを選択します。そして、プリプロセッサーを行うと白黒が反転した画像が得られます。この状態でプロンプトを記入して画像を生成していきます。プロンプトからモノクロームやスケッチを外して何枚か画像を生成していきましょう。