陈曦
·
冯雨桐
·
陈梦婷
·
王一阳
·
张世龙
·
刘宇
·
沈玉君
·
赵恒双
香港大学 |阿里巴巴集团 |蚂蚁集团
|
- [2024.06.12]发布推理代码，本地gradio demo，在线demo。
- [Todo]发布我们的基准。
安装方式conda：
conda env create -f environment.yaml conda activate mimicbrush
或者pip：
#Python==3.8.5
pip install -r requirements.txt下载 SD-1.5 和 SD-1.5-inpainting 检查点：
- 你可以从 HuggingFace stable-diffusion-v1-5和stable-diffusion-inpainting下载它们
- 但是，上面的 repo 包含许多不会使用的模型，我们在cleansd上提供了一个干净的版本
下载 MimicBrush 检查点以及 VAE、CLIP 编码器和深度模型
- 在 ModelScope xichen/MimicBrush上下载权重
- 该模型很大，因为它包含两个 U-Nets。
您可以使用以下代码从 modelscope 下载它们
from modelscope.hub.snapshot_download import snapshot_download as ms_snapshot_downloadsd_dir = ms_snapshot_download('xichen/cleansd', cache_dir='./modelscope') print('=== Pretrained SD weights downloaded ===') model_dir = ms_snapshot_download('xichen/MimicBrush', cache_dir='./modelscope') print('=== MimicBrush weights downloaded ===')
sd_dir = ms_snapshot_download('xichen/cleansd', cache_dir='./modelscope') print('=== Pretrained SD weights downloaded ===') model_dir = ms_snapshot_download('xichen/MimicBrush', cache_dir='./modelscope') print('=== MimicBrush weights downloaded ===')" tabindex="0" role="button">
或来自 Huggingface
from huggingface_hub import snapshot_download snapshot_download(repo_id="xichenhku/cleansd", local_dir="./cleansd") print('=== Pretrained SD weights downloaded ===') snapshot_download(repo_id="xichenhku/MimicBrush", local_dir="./MimicBrush") print('=== MimicBrush weights downloaded ===')
首先修改./configs/inference.yaml设置模型权重的路径，然后运行脚本：
python run_gradio3_demo.py
gradio 演示看起来像下面显示的 UI。
*如果您想要像第三种情况那样进行管道纹理转移，请不要忘记点击“保持原始形状”。
简要教程：
- 上传/选择要编辑的源图像。
- 在源图像上绘制要编辑的区域。
- 上传/选择参考图像。
- 跑步。
|
-
在 Google Drive 下载我们的评估基准：
- 网址：[待发布]
-
设置每个数据集和检查点的路径
./config/inference.yaml： -
使用以下方式运行推理
python run_inference_benchmark.py
该项目是在IP-Adapter和MagicAnimate的代码库上开发的 。我们感谢这项伟大的工作！
如果您发现该代码库对您的研究有用，请使用以下条目。
@article{chen2024mimicbrush, title={Zero-shot Image Editing with Reference Imitation}, author={Chen, Xi and Feng, Yutong and Chen, Mengting and Wang, Yiyang, and Zhang, Shilong and Yu, Liu and Shen, Yujun and Zhao, Hengshuang}, journal={arXiv preprint arXiv:2406.07547}, year={2024} }
React
Typescript
Django
Laravel
Facebook
Microsoft
Google
Alibaba
D3
Tencent