AI绘画超强功能ControlNet使用教程

简介

这款工具很好的解决了文生图大模型的关键问题,单纯的关键词的控制方式无法满足对细节控制的需要。controlnet改善了图生图效果,并能实现线稿转全彩图,比如可以指定生成人体姿势,通过手部关键点还能优化手部的生成。

关于

以下模型全部基于Stable Diffusion WebUI的V1.5版本官方模型+ControlNet模型融合而成。
官方下载链接https://huggingface.co/lllyasviel/ControlNet/tree/main/models

模型名称 模型描述
control_sd15_canny.pth 适用于给线稿上色,或将图片转化为线搞后重新上色,比较适合人物。
control_sd15_depth.pth 创造具有景深的中间图,建筑人物皆可使用。
Stability的模型64×64深度,ControlNet模型可生成512×512深度图。
control_sd15_hed.pth 提取的图像目标边界将保留更多细节,此模型适合重新着色和风格化。
control_sd15_mlsd.pth 该模型基本不能识别人物的,但非常适合建筑生成,根据底图或自行手绘的线稿去生成中间图,然后再生成图片。
control_sd15_normal.pth 根据底图生成类似法线贴图的中间图,并用此中间图生成建模效果图。
此方法适用于人物建模和建筑建模,但更适合人物建模。
control_sd15_openpose.pth 根据图片生成动作骨骼中间图,然后生成图片,使用真人图片是最合适的,因为模型库使用的真人素材。
control_sd15_scribble.pth 使用人类涂鸦控制SD。该模型使用边界边缘进行训练,具有非常强大的数据增强功能,以模拟类似于人类绘制的边界线。
control_sd15_seg.pth 使用语义分割来控制SD,协议是ADE20k。
现在您需要输入图像,然后一个名为Uniformer的模型将为您检测分割。

安装

 

教程

(一) 线稿上色 

1.第一个环节,我们先来试试canny模型,常用的场景有,给线稿上色和换颜色。

2.我们先随便找一张线稿

32fe0bf99f165820

线稿来源:lidandan026-站酷

3.把线稿导入controlnet图片框,并设置相关参数。

(1)生成图的区域,分辨率比例和线稿比例一致。Prompt区域,我写的是,girl,amine(女生,漫画)。

(2)基础模型要用漫画模型,比如anything,7th,AOM3等。(3)Controlnet区域参数设置

勾选Enable,来启用Contolnet,

因为喂的图是白底线稿,就需要启用invert input color反色

(显存4G或者4G以下的,还可以把low VRAM勾选一下,这个是低显存专用模式,我5g显存,没勾,问题不大。大家也可以试试勾和不勾的效果。以好的效果为准。)

预处理器,线稿无需选,留空。模型选择canny。

Resize model用默认的scale to fit即可。(如果显存特别小的,或者mac电脑,也可以试试勾选just resize模式。)

Canvas width height 则和线稿比例一致即可。

d2b5ca33bd180617

设置好之后,可以点击生成按钮了。

看看效果。

d2b5ca33bd180634

还挺好玩的。

一不小心就生成很多张图片了,哈哈。

(二)漫画换色

弄完线稿,我们来尝试一下图生图好了。

先试一下动漫类。

d2b5ca33bd180709

(原图:网图,来源https://wallup.net/nitroplus-super-sonico-pink-hair-profile-anime-girls-anime/)

d2b5ca33bd150930

 

输出图

 

d2b5ca33bd151027

 

 

看得出来,动漫的效果,还是挺哇塞的。

那么我的设置是怎样的呢?

Prompt写了主要的几个特征,girl,earphone, coffee(女孩,耳机,咖啡)。

采样器选了dpm+sde karras

尺寸比例参照输入图。因为我显存比较小,所以这里尺寸我设小了一点。

 

d2b5ca33bd151049

 

再看controlnet区域

Enable必选。

预处理器和模型都选择canny。画布canvas参照原图。

记得点一下preview,这样原图右侧会出现预处理图像,如果丢失太多细节就换一个预处理器。

注意,预处理器和模型最好选择同一类,比如,都是canny,都是depth,都是openpose之类,否则引导效果会大打折扣。

 

d2b5ca33bd151100

 

以上部分来自https://www.bilibili.com/read/cv22416234?from=articleDetail%20%E5%87%BA%E5%A4%84%EF%BC%9Abilibili

 

 

 

© 版权声明
THE END
喜欢就支持一下吧
点赞11 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片

    暂无评论内容