图像生成模子云开体育，也用上想维链（CoT）了！
来自港华文、北大和上海 AI Lab 的酌量团队，将 CoT 与生成模子结合到了通盘。
践诺着力标明，他们的这种模范能灵验提高自归来图像生成的质料，甚而高出扩散模子。
此外，作家还提议了两种畸形针对该任务的新式奖励模子——后劲评估奖励模子（Potential Assessment Reward Model，PARM）过火增强版块PARM++。
其中 PARM++ 引入了反想机制（Reflection Mechanism），进一步优化了图像生成质料。
酌量团队不雅察到，自归来图像生成与 LLM/LMM 具有近似的推理架构，即：
闹翻化的 Token 示意：不管是讲话如故图像数据，自归来模子都将其量化为闹翻 Token，并通过安宁瞻望的花样进行生成。
安宁解码（Step-by-Step Decoding）：近似于 CoT 在数知识题上的安宁推理，自归来图像生成也不错安宁生成中间图像，并在生成经过中进行考据与优化。
于是，类比用 CoT 推融会决数学题的有打算，酌量团队联想了用 CoT 推理进行文生图的新模范。
具体来说，作家以"文生图"为任务场景，并使用了 Show-o 来算作 baseline 模子，酌量主要分为测试时考据（Test-time Verification）、径直偏好优化（DPO）对都以及二者的结合 3 个部分。
测试时考据
最初，论文探索若何使用奖励模子来进行测试时考据，收场了着力奖励模子（ORM）和经过奖励模子（PRM）有打算。
在两者的基础上，作家又提议了两种全新的针关于图像生成任务的后劲评估奖励模子（PARM）和 PARM++。
针对着力奖励模子，论文提议了零样本和微调 2 种有打算，均使用 Best-of-N 的花样进行考据，即进行屡次完竣旅途的生成，并从中聘请出质料最高的最终图片。
零样本 ORM 基于 LLaVA-OneVision 的 7B 版块，通过底下的 prompt 来激勉其算作文生图质料评估的能力：
同期作家也构建了大限度的图文奖励数据来得回微调 ORM，数据体式如下图所示：
而关于经过奖励模子，作家使用了近似 ORM 的有打算，相似尝试了零样本和微调两种花样，并对每个才气进行 Best-of-N 的有打算，即安宁聘请出质料最高的中间阶段的生成图片。
然而，作家发现这种 PRM 无法对图像生成有权贵的升迁。
通过可视化，作家发现：PRM 在早期生成阶段由于图像依稀而难以评估，而在后期生成阶段不同旅途的图片趋于相似，导致辞别能力受限。
为了同期结合 ORM 的简约和灵验性，以及 PRM 细粒度逐一才气考据的想想，作家提议了 PARM。
PARM 通过以下三步升迁图像生成质料：
明晰度判断（Clarity Judgment）：识别哪些中间才气的图像如故填塞明晰，可用于后续评估。
后劲性评估（Potential Assessment）：分析现时才气是否有后劲生成高质料的最终图像。
最好聘请（Best-of-N ’ Selection）：在高后劲旅途中聘请最好的最终图像。
在 PARM 的基础上，作家进一步提议了 PARM++，使模子巧合在生成造作时进行自我修正。
具体来说，基于 PARM 选出的最终图片，作家最初使用 PARM++ 评估生成图片是否恰当文本样子。
若图片不恰当条目，会条目 RM 提供介意的造作样子，并把柄该样子，条目生成模子进行自我修正（Self-correction），即模子接受响应，并参考造作信息再行生顺利率。
着力标明，PARM++ 进一步将 GenEval 得益升迁了 10%，生顺利率在物体数目、热枕、空间关系等方面愈加准确。
径直偏好优化对都
作家进一步了引入 DPO 偏好对都，即使用大限度名次数据检会模子，使其生顺利率更恰当东说念主类偏好。
酌量团队构建了 288K 条图文名次数据用于检会。
具体来说，检会经过是选择最大似然优化，退换模子输出，使其更偏向东说念主类偏好。
同期，论文也进一步使用迭代 DPO，在模子优化后再行生成新数据进行再次检会。
着力标明，初度 DPO 检会使模子在 GenEval 性能升迁 9%，而迭代 DPO 的升迁比例不错达到 12%，高出微调 ORM。
测试时考据与 DPO 结合
在前述两种模范的基础上，作家探索了将测试时考据与 DPO 对都相结合的计谋，以收场端到端的优化。
在 DPO 检会的模子基础上，作家进一步诓骗测试时考据进行筛选，使生成图像质料更高，文本一致性更强。
践诺着力标明，结合 DPO 和测试时考据后，模子在 GenEval 标的上的举座升迁达 27%，高出了单独使用 DPO 或测试时考据的有打算。
举座上看，比较于现存的扩散模子和自归来模子，使用 CoT 推理灵验升迁了文本生成图像任务质料。
论文地址：
https://arxiv.org/abs/2501.13926
花样地址：
https://github.com/ZiyuGuo99/Image-Generation-CoT
— 完 —
投稿请责任日发邮件到：
ai@qbitai.com
标题注明【投稿】，告诉咱们：
你是谁，从哪来，投稿骨子
附上论文 / 花样主页勾引，以及相干花样哦
咱们会（尽量）实时文书你
一键体恤 � � 点亮星标
科技前沿发扬逐日见
一键三连「点赞」「转发」「严防心」
迎接在驳斥区留住你的成见！云开体育