【自荐】Joyfusion,一款本地运行的AI绘画App, 掏出手机即可开始创作

产品背景

去年AI绘画彻底火了。DALL·E 2,Midjourney,Stable diffusion等绘画服务映入眼帘。Stable diffusion是一个开源的项目。iPhone有着不错的手机芯片和算力,如果手机可以本地运行stable diffusion将会一件很酷的事情。最终开发者们把基于Python的代码移植到Swift平台。苹果开源了基于CoreML框架的ml-stable-diffusion项目。道路被被铺平了天。Joyfusion是基于CoreML和ml-stable-diffusion的,App本体尺寸不到10MB,支持iPhone,iPadOS,macOS。

设备要求

  • iPhone 14 已测试
  • iPhone 14 Plus 理论支持
  • iPhone 14 Pro 理论支持
  • iPhone 14 Pro Max 理论支持
  • iPhone 12 Pro 理论支持
  • iPhone 12 Pro Max 理论支持
  • iPhone 13 Pro 理论支持
  • iPhone 13 Pro Max 理论支持

产品链接(App Store)

A功能特性

  • 通过文字描述生成图片
  • 通过图片和描述生成图片
  • 生成历史作品库
  • 支持多个Stable diffusion模型(v1.4,v1.5,v2.1,v.small)
  • 支持多个采样器
  • 批量生成图片
  • 支持iPhone, iPadOS,macOS
    使用指南

Joyfusion可以通过绘画的方式将任何奇思妙想呈现出来。使用Joyfusion需要在本地手机上下载一个AI模型,每个模型大小不超过5GB,每个模型都具有其独特的特点。当然,您也可以将所有模型都下载到手机上。此外,一个重要的概念是Prompt,也就是提示(例如:“a cute cat with smile face”)。AI将根据提示开始进行创作。目前版本的Prompt只支持英文,但您可以使用中文进行描述,然后翻译成英文输入。稍等片刻,即可生成所需的图片。最后,需要补充说明的是,本地运行AI需要手机具备一定的性能要求。我们建议您使用较新的手机型号来运行此应用程序。

产品图片




如何绘制高质量的图片?
openart promptbook: Stable Diffusion Prompt Book | OpenArt
AI绘画分享网站: https://lexica.art/

意见反馈

2 个赞

牛啊,手机都能跑了,希望高通也给点力,让安卓机也能跑。就不用天天白嫖colab了。

1 个赞

安卓stable diffusion也快来了

1 个赞

可惜限定iOS16.2,还很好奇

暂时无法向下兼容和apple的ml-stable-diffusion项目设置有关
iPadOS, iOS: 16.2。

太可惜了

不支持下载其他模型吗?

手机跑的话速度怎么样啊?512*512 32次迭代大约多少时间?

模型版本和调度器还有手机机型不同会有些差异

暂时不支持自定义模型

可以给一个参考值吗?

Joyfusion版本1.4; iPhone 14 ,20 Steps 大概在一分钟。

请问这是在分辨率多少的情况下?

模型有办法从其它地方导入么?app 下载太痛苦了

还有兑换码有赠送吗?我们来搞个抽奖呀

目前模型是托管在hugging face的,文件目录在沙箱 或许把文件目录迁移到文件可以解决下载痛苦的问题(将来可以考虑咱不知道:joy:);可以赠送少量兑换码,免费用户和付费用户差别不太大。除非重度使用绘画功能。 :stuck_out_tongue_winking_eye:

我在 12 上测试,次次闪退啊:see_no_evil:

模型选的哪个;iPhone12 我们没有测试理论上应该支持

5个就好,私信。2.1 base

OK 私信

iPhone 14,2.1 base 模型效果如图