使用MultiDiffusion 与 Tiled VAE提升AI绘图的分辨率

前言

   以下程序来源于Github作者，页面https://github.com/pkuliyi2015/multidiffusion-upscaler-for-automatic1111

有效的增加了因显存不足导致无法增加分辨率的画图问题。

该存储库包含两个启用超大图像生成的脚本。

• MultiDiffusion 来自现有工作。请参考他们的论文和 GitHub 页面MultiDiffusion
• Tiled VAE是我独创的算法，在显存方面非常强大
• 为 Tiled VAE 添加了快速模式，可将速度提高 5 倍并消除对额外 RAM 的需求。
• 现在您可以使用 16GB GPU 处理 8K 图像，编码/解码过程将在 25 秒左右。对于 4k 图像，该过程几乎立即完成。
• 如果遇到 VAE NaN 或黑色图像输出：
• 使用 OpenAI 提供的 840000 个 VAE 权重。这通常可以解决问题。
• 在启动时使用 –no-half-vae 也是有效的。

安装

  找到程序目录stable-diffusion-webui，找到scripts文件夹进入。

 右键选择打开 Git Bash  Here

执行命令： git clone https://github.com/pkuliyi2015/multidiffusion-upscaler-for-automatic1111.git

本站也提供下载链接：一键包下载

下载完成之后，会出现文件夹：

multidiffusion-upscaler-for-automatic1111

打开文件夹，复制里面的两个Python文件到scripts。

之后让我们重启Web-ui，可以在首页下方看到安装的插件已经自动启动。

使用方法

  直接选择开启Tiled VAE就可以，默认就已经非常好的能够降低显存占用，可以直接打开高清修复和超高的画质。这里把1536可以设置大点比如2048。可以提高上限

这里我们直接使用高清重绘2K分辨率。来测试下实际性能。

成品图片如下：

可以看到正常生成并不会出现报错和黑图。其他的方法可以自行尝试测试，再次感谢作者的开源。

结尾

 本次插架可以很好的解决，因显存问题导致不能制作的图片可以进行绘图，可以有效的缓解显存的压力，建议只需要开启Tiled VAE功能即可，已经满足需求和绘图。有补充的会继续修改文章，欢迎留言