Step1x Edit Docker

       

 

🔥🔥🔥 新闻！！

• 2025年11月26日：👋 我们释放 步骤1X-编辑-v1p2 （称为 理由-S 本文）提出了一种在KRIS Bench和GEdit Bench上性能更好的本地推理编辑模型。可以找到技术报告 这里.

Models

GEdit-Bench

Kris-Bench

G_SC⬆️ G_PQ⬆️ G_O⬆️ FK⬆️ CK⬆️ PK⬆️ Overall⬆️

Flux-Kontext-dev 7.16 7.37 6.51 53.28 50.36 42.53 49.54

Qwen-Image-Edit-2509 8.00 7.86 7.56 61.47 56.79 47.07 56.15

Step1X-Edit v1.1 7.66 7.35 6.97 53.05 54.34 44.66 51.59

Step1x-edit-v1p2-preview 8.14 7.55 7.42 60.49 58.81 41.77 52.51

Step1x-edit-v1p2 (base) 7.77 7.65 7.24 58.23 60.55 46.21 56.33

Step1x-edit-v1p2 (thinking) 8.02 7.64 7.36 59.79 62.76 49.78 58.64

Step1x-edit-v1p2 (thinking + reflection) 8.18 7.85 7.58 62.44 65.72 50.42 60.93

• 2025年9月8日：👋 我们释放 步骤1x-edit-v1p2-review，具有推理编辑能力和更好性能的新版Step1X Edit（报告即将发布），其特点是：

- 原生推理编辑模型：将指令推理与反射校正相结合，更准确地处理复杂的编辑。KRIS工作台上的性能：

- 提高了图像编辑质量和更好的指令跟踪性能。GEdit工作台上的性能：

• 2025年7月9日：👋 我们更新了step1x编辑模型，并将其发布为 步骤1x-edit-v1p1 （扩散器版本见 这里)，特色：

- 添加了对文本到图像（T2I）生成任务的支持 - 提高了图像编辑质量和更好的指令跟踪性能。 GEdit Bench EN（全套）的定量评估。G_SC、G_PQ和G_O是指GPT-4.1评估的指标，而Q_SC、Q_PQ和Q_O是指Qwen2.5-VL-72B评估的指标。为了促进可重复性，我们发布了 中间结果 我们的模型评估。

• 2025年6月17日：👋 添加了对Teacache和并行推理的支持。

• 2025年5月22日：👋 Step1X Edit现在支持Lora在单个24GB GPU上进行微调！一款为动漫角色修手的Lora也已经发布。 下载Lora

• 2025年4月27日：🎉 在社区的支持下，我们更新了Step1X-Edit-FP8的推理代码和模型权重。 美美妆/Step1X-Edit-FP8 & rkfg/Step1X-编辑-FP8.

• 2025年4月26日：🎉 Step1X编辑现已上线——您可以在在线演示中直接尝试编辑图像！ 在线演示

• 2025年4月25日：👋 我们发布了Step1X Edit的评估代码和基准数据。 下载GEdit工作台

• 2025年4月25日：👋 我们发布了Step1X Edit的推理代码和模型权重。 魔搭 & 抱抱脸 模型。

• 2025年4月25日：👋 我们已经将我们的技术报告开源。 阅读

📖 引言

我们介绍了一种最先进的图像编辑模型， 步骤1X编辑，旨在提供与GPT-4o和Gemini2 Flash等闭源模型相当的性能。 更具体地说，我们采用多模态LLM来处理参考图像和用户的编辑指令。已提取潜在嵌入并将其与扩散图像解码器集成以获得目标图像。为了训练模型，我们构建了一个数据生成管道来生成高质量的数据集。 为了进行评估，我们开发了GEdit Bench，这是一种植根于现实世界用户指令的新型基准。GEdit Bench上的实验结果表明，Step1X Edit的性能远远优于现有的开源基线，接近领先的专有模型的性能，从而为图像编辑领域做出了重大贡献。 更多详情请参阅我们的 技术报告.

Step1X-Edit: a unified image editing model performs impressively on various genuine user instructions.

⚡️ 快速开始

1. 确保你的 transformers==4.55.0 （我们在这个版本上进行了测试）
2. 安装 diffusers 根据您要使用的型号版本在本地打包

步骤1X-Edit-v1p2（v1.2）

安装 diffusers 从以下命令打包：

git clone -b step1xedit_v1p2 https://github.com/Peyton-Chen/diffusers.git
cd diffusers
pip install -e .

下面是一个使用 Step1X-Edit-v1p2 用于编辑图像的模型：

import torch
from diffusers import Step1XEditPipelineV1P2
from diffusers.utils import load_image
pipe = Step1XEditPipelineV1P2.from_pretrained("stepfun-ai/Step1X-Edit-v1p2", torch_dtype=torch.bfloat16)
pipe.to("cuda")
print("=== processing image ===")
image = load_image("examples/0000.jpg").convert("RGB")
prompt = "add a ruby pendant on the girl's neck."
enable_thinking_mode=True
enable_reflection_mode=True
pipe_output = pipe(
    image=image,
    prompt=prompt,
    num_inference_steps=50,
    true_cfg_scale=6,
    generator=torch.Generator().manual_seed(42),
    enable_thinking_mode=enable_thinking_mode,
    enable_reflection_mode=enable_reflection_mode,
)
if enable_thinking_mode:
    print("Reformat Prompt:", pipe_output.reformat_prompt)
for image_idx in range(len(pipe_output.images)):
    pipe_output.images[image_idx].save(f"0001-{image_idx}.jpg", lossless=True)
    if enable_reflection_mode:
        print(pipe_output.think_info[image_idx])
        print(pipe_output.best_info[image_idx])
pipe_output.final_images[0].save(f"0001-final.jpg", lossless=True)

结果如下：

Step1X-Edit-v1p2-review（v1.2-review）

安装 diffusers 从以下命令打包：

git clone -b dev/MergeV1-2 https://github.com/Peyton-Chen/diffusers.git
cd diffusers
pip install -e .

下面是一个使用 Step1X-Edit-v1p2-preview 用于编辑图像的模型：

import torch
from diffusers import Step1XEditPipelineV1P2
from diffusers.utils import load_image
pipe = Step1XEditPipelineV1P2.from_pretrained("stepfun-ai/Step1X-Edit-v1p2-preview", torch_dtype=torch.bfloat16)
pipe.to("cuda")
print("=== processing image ===")
image = load_image("examples/0000.jpg").convert("RGB")
prompt = "add a ruby ​​pendant on the girl's neck."
enable_thinking_mode=True
enable_reflection_mode=True
pipe_output = pipe(
    image=image,
    prompt=prompt,
    num_inference_steps=28,
    true_cfg_scale=4,
    generator=torch.Generator().manual_seed(42),
    enable_thinking_mode=enable_thinking_mode,
    enable_reflection_mode=enable_reflection_mode,
)
if enable_thinking_mode:
    print("Reformat Prompt:", pipe_output.reformat_prompt)
for image_idx in range(len(pipe_output.images)):
    pipe_output.images[image_idx].save(f"0001-{image_idx}.jpg", lossless=True)
    if enable_reflection_mode:
        print(pipe_output.think_info[image_idx])

步骤1X-Edit-v1p1（v1.1）

安装 diffusers 从以下命令打包：

git clone -b step1xedit https://github.com/Peyton-Chen/diffusers.git
cd diffusers
pip install -e .

下面是一个使用 Step1X-Edit-v1p1 用于编辑图像的模型：

import torch
from diffusers import Step1XEditPipeline
from diffusers.utils import load_image

pipe = Step1XEditPipeline.from_pretrained("stepfun-ai/Step1X-Edit-v1p1-diffusers", torch_dtype=torch.bfloat16)
pipe.to("cuda")

print("=== processing image ===")
image = load_image("examples/0000.jpg").convert("RGB")
prompt = "给这个女生的脖子上戴一个带有红宝石的吊坠。"
image = pipe(
    image=image,
    prompt=prompt,
    num_inference_steps=28,
    size_level=1024,
    guidance_scale=6.0,
    generator=torch.Generator().manual_seed(42),
).images[0]
image.save("0000.jpg")

结果如下：

🌟 高级用法

我们使用原版 步骤1X编辑 以模型为例，演示模型的一些高级用途。模型的其他版本可能具有不同的推理过程。

A1.要求

我们使用torch==2.3.1和torch==2.5.1以及cuda-12.1来测试我们的模型。 安装要求：

pip install -r requirements.txt

安装 flash-attn，在这里，我们提供了一个脚本来帮助找到适合您系统的预构建车轮。

python scripts/get_flash_attn.py

该脚本将生成一个车轮名称，如下所示 flash_attn-2.7.2.post1+cu12torch2.5cxx11abiFALSE-cp310-cp310-linux_x86_64.whl，可以在 flash attn的发布页面.

然后，您可以下载相应的预构建车轮，并按照中的说明进行安装 flash-attn.

A2.减少GPU内存使用

您可以使用以下脚本编辑GPU内存使用率降低的图像。

bash scripts/run_examples.sh

默认脚本运行具有非量化权重的推理代码。如果你想节省GPU内存的使用，你可以1）设置 --quantized 脚本中的标志，它将量化fp8的权重，或2）设置 --offload 在脚本中标记将一些模块卸载到CPU。

下表显示了使用不同配置运行Step1X Edit模型（批大小=1，带cfg）的GPU内存使用情况和速度：

• 该模型在H800 GPU上进行了测试。
• 我们建议使用80GB内存的GPU，以获得更好的生成质量和效率。

A3.多GPU推理

对于多GPU推理，可以使用以下脚本：

bash scripts/run_examples_parallel.sh

您可以更改GPU的数量(GPU)，xDiT的配置(--ulysses_degree 或 --ring_degree 或 --cfg_degree)，以及是否启用TeaCache加速(--teacache)在脚本中。 下表显示了Step1X Edit模型上几种有效方法的加速情况。

• 该模型在分辨率为1024的H800系列GPU上进行了测试。
• TeaCache的默认阈值0.2在效率和性能之间提供了良好的平衡。
• xDiT在使用4个GPU时同时使用CFG并行性和Ring Attention，但在使用2个GPU时仅使用CFG平行性。

此默认脚本在示例输入上运行推理代码。结果如下：

A4.微调

劳拉训练脚本

以下是训练期间的GPU内存成本，lora排名为64，batchsize为1：

脚本 ./scripts/finetuning.sh 显示了如何微调Step1X编辑模型。使用我们的默认策略，可以在单个24GB GPU上以1024分辨率微调Step1X Edit。我们的微调脚本改编自 kohya ss/sd脚本.

bash ./scripts/finetuning.sh

自定义数据集按以下方式组织 ./library/data_configs/step1x_edit.toml在这里 metadata_file 包含所有训练样本，包括源图像的绝对路径、目标图像和指令的绝对路径。

这 metadata_file 应该是一个包含dict的json文件，如下所示：

{
  : {
    'ref_image_path': 
    'caption': 
  }, 
  ...
}

与Lora的推理

要与Lora进行推理，只需添加 --lora 当使用 inference.py例如：

python inference.py --input_dir ./examples \
    --model_path /data/work_dir/step1x-edit/ \
    --json_path ./examples/prompt_cn.json \
    --output_dir ./output_cn \
    --seed 1234 --size_level 1024 \
    --lora 20250521_001-lora256-alpha128-fix-hand-per-epoch/step1x-edit_test.safetensors

以下是我们的示例 预训练的洛拉举重，其设计用于修复动漫角色损坏的手。

要重现上述情况，您可以运行以下脚本：

bash scripts/run_examples_fix_hand.sh

📊 基准

我们释放 GEdit工作台 作为一种新的基准，基于现实世界的使用而开发，以支持更真实和全面的评估。该基准经过精心策划，以反映实际的用户编辑需求和广泛的编辑场景，能够对图像编辑模型进行更真实和全面的评估。 评估过程和相关代码可以在 GEdit工作台/EVAL.md基准测试的部分结果如下：

🧩 社区贡献

如果您在项目中开发/使用Step1X Edit，欢迎告诉我们🎉.

• Step1X Edit的详细介绍博客： Step1X-Edit执行流程 通过 李文居0
• FP8型号重量： 美美妆/Step1X-Edit-FP8 通过 美眉看; rkfg/Step1X-编辑-FP8 通过 rkfg

📚 引用

如果您发现Step1X Edit系列对您的研究或应用有帮助，请考虑⭐ 在知识库中担任主角并引用我们的论文。

@article{yin2025reasonedit,
  title={ReasonEdit: Towards Reasoning-Enhanced Image Editing Models}, 
  author={Fukun Yin, Shiyu Liu, Yucheng Han, Zhibo Wang, Peng Xing, Rui Wang, Wei Cheng, Yingming Wang, Aojie Li, Zixin Yin, Pengtao Chen, Xiangyu Zhang, Daxin Jiang, Xianfang Zeng, Gang Yu},
  journal={arXiv preprint arXiv:2511.22625},
  year={2025}
}

@article{wu2025kris,
  title={KRIS-Bench: Benchmarking Next-Level Intelligent Image Editing Models},
  author={Wu, Yongliang and Li, Zonghui and Hu, Xinting and Ye, Xinyu and Zeng, Xianfang and Yu, Gang and Zhu, Wenbo and Schiele, Bernt and Yang, Ming-Hsuan and Yang, Xu},
  journal={arXiv preprint arXiv:2505.16707},
  year={2025}
}

@article{liu2025step1x-edit,
  title={Step1X-Edit: A Practical Framework for General Image Editing}, 
  author={Shiyu Liu and Yucheng Han and Peng Xing and Fukun Yin and Rui Wang and Wei Cheng and Jiaqi Liao and Yingming Wang and Honghao Fu and Chunrui Han and Guopeng Li and Yuang Peng and Quan Sun and Jingwei Wu and Yan Cai and Zheng Ge and Ranchen Ming and Lei Xia and Xianfang Zeng and Yibo Zhu and Binxing Jiao and Xiangyu Zhang and Gang Yu and Daxin Jiang},
  journal={arXiv preprint arXiv:2504.17761},
  year={2025}
}

致谢

免责声明

此图像编辑模型产生的结果完全由用户输入和操作决定。开发团队和这个开源项目不对其使用产生的任何结果或后果负责。

许可证

Step1X Edit根据Apache许可证2.0获得许可。您可以在相应的github和HuggingFace存储库中找到许可证文件。