Stable Diffusion模型再升级!新版亮点全面盘点!

Stable Diffusion 1年前 (2023) 站长
1,696 0

Stable Diffusion模型再升级!新版亮点全面盘点!

大家好,这里是和你们聊设计的花生~

之前为大家对比了 6 款在线 AI 绘画软件在不同主题上的图像生成效果,最终是 Midjourney 的整体表现最好,而 Stability AI 官方模型 Stable Diffusion v2.1 则表现不尽如人意。最近 Stability AI 又推出了一个新模型 Stable Diffusion XL,参数是 SD v2.1 的 2.5 倍,那这个新模型的图像生成效果如何呢?今天就继续来测试一下。

Stable Diffusion XL 简介

DreamStudio – SD XL:梦幻工作室 (dreamstudio.ai) (新用户有 200 点免费生成额度)
Clipdrop – SD XL:ClipDrop – Stable Diffusion (目前免费生成)

此次 Stable Diffusion XL 一共更新在两个平台上,一是 Stability AI 官方 AI 绘画软件 DreamStudio,另一个则是之前被 Stability AI 收购的 AI 图像处理平台 Clipdrop。二者的区别在于 DreamStudio 上有很多的可调节参数,比如画面比例、图像数量等,Clipdrop 是统一的 1:1 的画面比例,一次生成 4 张,单张图像放大后可达到 1024*1024px。

Stable Diffusion模型再升级!新版亮点全面盘点!

据 Stability AI 官网介绍,SD XL 模型支持用更短的提示创建描述性图像,并在可以在图像中生成文字,模型增强了图像的构图和脸部生成能力,使画面更加逼真和美观。

Stable Diffusion模型再升级!新版亮点全面盘点!

SD XL 生成的图像

生成准确的文字和画手一样,一直是 AI 绘画中的难题,直到 Controlnet 插件出现 ,我们才能在 SD WebUI 中通过轮廓检测功能固定文字外形,从而生成精准的文字内容,而此次 SD XL 模型可以生成文字无疑是又是 AI 绘画的一大进步。我分别在 Midjourney 和 SD XL 中用文本提示词进行测试,结果是 SD XL 的文字生成效果的确比 Midjourney 好。

Stable Diffusion模型再升级!新版亮点全面盘点!

接着继续用和之前一样的主题进行图像生成测试。首先是人像,可以看出 SD XL 比 v2.1 的效果要好很多,构图正确,人物面部没有扭曲变形,整体质感也好很多,质量看起来并不比 Midjourney 差,说明 XL 模型在照片真实性上有进行专门的优化 。

Stable Diffusion模型再升级!新版亮点全面盘点!

然后是动漫风,XL 生成的图像在画面整体质量有明显提升,应该是对数据集进行了优化,但是有一个非常大的缺点就是五官和四肢不正常,在生成的 2 批 8 张图像中,每一张都有五官四肢不正常的情况,图像可用率极低。

Stable Diffusion模型再升级!新版亮点全面盘点!

而在 3D 风格上 XL 模型还是有比较明显的进步的,无论是人物精细度还是画面整体美感都比之前的 v2.1 要好,不过和动漫风一样存在四肢不正常的情况,下面是我从生成的 4 张图像中挑出的双手看起来比较正常的一张,感觉 XL 模型在这一块的训练没做好。

Stable Diffusion模型再升级!新版亮点全面盘点!

最后再看一下矢量扁平插画和概念场景的表现 ,同样都有非常明显的美感提升,不过也能看出 SD XL 在文本提示的理解上还有缺陷,在扁平插画的测试中它忽略了“白色背景”这一关键词;而由于 SD XL 目前还是测试版,画面尺寸不能做到 16:9,这也让图像的表现性受限。

Stable Diffusion模型再升级!新版亮点全面盘点!

通过上面的图像生成测试可以看出,Stable Diffusion 的 XL 模型 比 V2.1 在质量上有了明显进步,特别是在人像质量上,虽还不能达到 midjourney V5 的水平,但是在目前的 AI 绘画工具总也算表现比较好的;新增的文字生成功能也是比较独特的,除了接入 Controlnet 的 SD WebUI,其他 AI 绘画工具目前都还没有生成准确文字内容的能力。

同时 Stable Diffusion XL 的缺点也是比较明显的,即人物的四肢不正常,这点在动漫和 3D 风格中尤为突出;模型对提示文本的理解能力也有缺陷,会漏掉一些关键词语,期待 Stability AI 在后续的更新中能进一步优化现在这些问题。

版权声明:站长 发表于 2023年 4月 19日 pm8:28。
转载请注明:Stable Diffusion模型再升级!新版亮点全面盘点! | AI123

相关文章

暂无评论

暂无评论...