商汤绘画大模型 RAPHAEL 出手即大作,击败 Stable Diffusion XL

商汤大模型团队提出的文生图大模型 RAPHAEL,可以生成具有高度艺术风格或许拍摄风格的图片,速度极快。RAPHAEL 经过 Space-MoE、Time-MoE 和 Edge-supervised learning 三个组件完成。

Space-MoE 找出了文本中每一个 token 在图片中对应的区域,用不同的 expert 来处理不同的区域,最终交融;Time-MoE 使得模型可以在不同的 timestep 上挑选不同的 expert,构成一系列的 diffusion path,用于绘画不同类别的名词、动词或形容词;Edge-supervised learning 模块运用物体的概括纹路来监督 attention 模块的学习。

RAPHAEL在 FID 指标上打败了 Stable Diffusion 和 DALL-E2,一起在图文匹配度和生成质量上超过了其他模型。

来历:

站长之家

返回资讯列表