AIGC全能王

webui进阶

1. Inpaint anything自定义创建蒙版

Inpaint Anything 是一个机遇浏览器界面的扩展程序,它利用 Segment Anything 的输出来执行稳定的扩散内填充(inpainting),最常用的是它的蒙版创建功能

Inpaint anything 安装:通过启动器”安装新扩展”来安装该插件


2. IP-Adapter 风格迁移

IP-Adapter是由腾讯AI工作室发布的一个ControlNet模型,可以通过Stable Diffusion的Webui使用。这个功能可以识别参考图的艺术风格和内容,然后生成相似的作品,并且还可以搭配其他控制器使用

图像风格迁移:IP-Adapter能够精准的识别参考图的风格特征,并生成与参考图风格相似的图像
增强图像提示:与传统的将图像特征和文本特征简单拼接的方法相比,IP-Adapter通过其适配模块,强化了参考图的提示作用,使得生成的图像与参考图像更好的对齐
多参考图接入:IP-Adapter能够一次读取多张参考图,提供更丰富的生成结果

ip-adapter_sd15 : 1.5模型适合偏向参考图的基础上,做一些细微的变化
ip-adapter-plus_sd15(最接近原始参考图) : plus模型更适合偏向参考图的需求
ip-adapter_sd15_light(更适合文本提示) :light模型更适合偏向提示词的需求


3.IP-Adapter 人脸嵌入模型

ip-adapter-faceid_sd15(缺少脸部结构支持) : ip-adapter-faceid_sd15_lora
ip-adapter-faceid-plus_sd15(Clip图像嵌入用于人脸结构) : ip-adatper-faceid-plus_sd15_lora
ip-adapter-faceid-plusv2_sd15(可调整clip嵌入权重,仅限comfyui) : ip-adapter-faceid-plusv2_sd15_lora
ip-adapter-faceid-portrait-v11_sd15(肖像模型,不需要lora) :lora模型可以提高脸部一致性,lora权重在0.5-1之间


4. Easyphoto 一键生成证件照

训练(train):上传5-20张半身照或头肩照,脸部比例不要过小。(推荐8-20张,分辨率在1024内)
resolution: 512指的是1.5base模型的训练分辨率,XLbase模型需调整为1024
validation & save steps(验证和保存模型):每隔多少步验证和保存一次模型(默认即可)
max steps per photos:每张照片训练多少次,推荐每张照片训练100-200次
max train steps(最大训练步数):最大训练步数 = 照片数 * max steps per photos
train batch size(训练并行数量):每次学习的图片数量

注意:
Validation(验证):建议去掉,容易报错
Enable RL(强化学习):开启后训练细节增强,但时间翻倍,需要显存16G及以上显卡使用
Train Skin Retouching:开启美颜磨皮效果

Easyphoto文生图:结合场景模型直接出图并换脸
Text2Photo Control Way:
Control with inner template 使用场景模型来控制

Easyphoto模型生视频
结合场景模型直接生视频(Easyphoto主要优势不在视频,所以视频相对较弱)


5. Reactor 快捷换脸

Reactor: 全新的换脸插件,升级版 Roop,可以实现多人换脸
1.安装插件前期准备,安装 Visual Studio 2022
2.安装时勾选一下环境,python开发,使用C++的左面开发
3.安装Reactor插件,在启动器版本管理的“安装新扩展”安装Reactor插件
4.安装模型:inswapper_128.onnx ,放置路径:models\insightface,若无该文件夹,可手动创建

注意:Reactor插件和Roop插件只能安装其一,不能共存,Reactor是Roop插件的升级版本


6. Instant Id换脸插件

Controlnet Instant ID: 仅通过一张图片进行完美换脸,是目前最强的脸部迁移模型(仅支持SDXL模型)
提示词引导系数:推荐设置为2-5之间
Instant ID预处理器:新增instant_id_face_embedding和instant_id_face_keypoints
Instant ID模型:ip-adapter_instant_id_sdxl和control_instant_id_sdxl
Instant ID模型放置位置:extensions/sd-webui-controlnet\models
Instant ID依赖文件放置位置:extensions\sd-webui-controlnet\annotator\downloads\insightface\models\antelopev2(没有可新建文件夹)


7. AI艺术二维码制作

1.原始二维码解码:草料二维码 https://cli.im/deqf/other
2.简化二维码:安装sd-webui-qrcode-toolkit插件
3.Controlnet制作艺术二维码:
control_v1p_sd15_qrcode_monster和control_v1p_sd15_brightness
放置位置:extensions\sd-webui-contrilnet\models
注意:不用搭配预处理器,只需要选择controlnet模型即可


8.cutoff提示词反污染

cutoff插件安装
cutoff : 帮助用户分割提示词,减少不同元素之间的相互影响,特别是在涉及多种颜色和细节时,避免颜色和细节的污染。

cutoff使用步骤:
1.启用cutoff插件
2.在Target tokens输入框中,输入需要区分的颜色或元素词,用逗号隔开
3.调整权重
4.运行生成图像,观察效果


9.多区域分块控制+精准lora

Regional Prompter插件安装
Regional Prompter:允许用户在图像的不同区域指定不同的提示词,从而实现更精确的区域控制,通过这个插件,用户可以轻松的为图像的特定区域添加或调整细节

Columns(行)二维分割
1;1,2,1,1;2,1,1
解析:行比例 1,1,2
解析:每行的列比例:2,1,1 和 1,1
注意:
二维分割用Coloumns(行)分割模式
二维分割用Rows(列)难理解
二维分割用Random(随机)会报错

Regional Prompter提示词
提示词分三类:
Base prompt(基础提示词)
Common prompt(常见提示词)
区域提示词(每个区域提示词)
每种提示词的写法:
常见提示词 XXXXXX(提示词) ADDCOMM
基础提示词 XXXXXX(提示词) ADDBASE
分区提示词 XXXXXX(提示词) ADDROW
也可以直接用BREAK 代替 ADDCOMM,ADDBASE,ADDROW
每种提示词的内容:
常见提示词 即公共提示词,指每个区域都需要用到的相同词语;如:最好的质量,详细
基础提示词 场景,风格(可不选择);如:室内空间,教堂,室外,海边
分区提示词 指每个区域所呈现的画面提示词;如:区域1为黄色头发,区域2为白衬衫