fix typos, update readme

This commit is contained in:
ykume
2023-08-19 18:54:31 +09:00
parent fef7eb73ad
commit 5a86bbc0a0
2 changed files with 5 additions and 6 deletions

View File

@@ -4,7 +4,7 @@
ConrtolNet-LLLite は、[ConrtolNet](https://github.com/lllyasviel/ControlNet) の軽量版です。LoRA Like Lite という意味で、LoRAに似た構造の軽量なControlNetです。現在はSDXLにのみ対応しています。 ConrtolNet-LLLite は、[ConrtolNet](https://github.com/lllyasviel/ControlNet) の軽量版です。LoRA Like Lite という意味で、LoRAに似た構造の軽量なControlNetです。現在はSDXLにのみ対応しています。
## モデル構造 ## モデル構造
制御用画像以下conditioning imageを潜在空間に写像するconditioning image embeddingと、U-Netの各モジュールに付与されるLoRA的な構造を持つモジュールを組み合わせたモデルです。詳しくはソースコードを参照してください。 制御用画像以下conditioning imageを潜在空間に写像するconditioning image embeddingと、U-Netの各モジュールに付与されるLoRAにちょっと似た構造を持つモジュールを組み合わせたモデルです。詳しくはソースコードを参照してください。
## モデルの学習 ## モデルの学習
@@ -19,11 +19,10 @@ conditioning_data_dir = "path/to/conditioning/image/dir"
``` ```
### 学習 ### 学習
`sdxl_train_lora_control_net.py` を実行してください。`--cond_emb_dim` でconditioning image embeddingの次元数を指定できます。`--network_dim` でLoRA的モジュールのrankを指定できます。その他のオプションは`sdxl_train_network.py`に準じます。 `sdxl_train_control_net_lllite.py` を実行してください。`--cond_emb_dim` でconditioning image embeddingの次元数を指定できます。`--network_dim` でLoRA的モジュールのrankを指定できます。その他のオプションは`sdxl_train_network.py`に準じますが、`--network_module`の指定は不要です
### 推論 ### 推論
`sdxl_gen_img_lora_ctrl_test.py` を実行してください。`--control_net_models` でLLLiteのモデルファイルを指定できます。次元数はモデルファイルから自動取得します。 `sdxl_gen_img.py` を実行してください。`--control_net_lllite_models` でLLLiteのモデルファイルを指定できます。次元数はモデルファイルから自動取得します。
`--guide_image_path`で推論に用いるconditioning imageを指定してください。なおpreprocessは行われないため、たとえばCannyならCanny処理を行った画像を指定してください背景黒に白線`--control_net_preps`, `--control_net_weights`, `--control_net_ratios` には未対応です。 `--guide_image_path`で推論に用いるconditioning imageを指定してください。なおpreprocessは行われないため、たとえばCannyならCanny処理を行った画像を指定してください背景黒に白線`--control_net_preps`, `--control_net_weights`, `--control_net_ratios` には未対応です。
その他のオプションは`sdxl_gen_img.py`に準じます。

View File

@@ -325,7 +325,7 @@ def train(args):
accelerator.print(f"\nsaving checkpoint: {ckpt_file}") accelerator.print(f"\nsaving checkpoint: {ckpt_file}")
sai_metadata = train_util.get_sai_model_spec(None, args, True, True, False) sai_metadata = train_util.get_sai_model_spec(None, args, True, True, False)
sai_metadata["modelspec.architecture"] = sai_model_spec.ARCH_SD_XL_V1_BASE + "/control-net-llite" sai_metadata["modelspec.architecture"] = sai_model_spec.ARCH_SD_XL_V1_BASE + "/control-net-lllite"
unwrapped_nw.save_weights(ckpt_file, save_dtype, sai_metadata) unwrapped_nw.save_weights(ckpt_file, save_dtype, sai_metadata)
if args.huggingface_repo_id is not None: if args.huggingface_repo_id is not None: