CogView翻译站点

FineControlNet是一个基于Pytorch的官方实现,用于生成可通过空间对齐的文本控制输入(如2D人体姿势)和实例特定的文本描述来控制图像实例的形状和纹理的图像。它可以使用从简单的线条画作为空间输入,到复杂的人体姿势。FineControlNet确保了实例和环境之间自然的交互和视觉协调,同时获得了Stable Diffusion的质量和泛化能力,但具有更多的控制能力。

Canva 的 AI 图像生成器应用程序让你随时拥有完美的图像——即使它还不存在。使用"文本到图像"功能,您只需输入文字,就能生成用于创意项目(如演示文稿或社交媒体帖子)的图像。选择不同的图像风格,如水彩、电影、霓虹灯等。您还可以使用 Canva 的其他 AI 生成器应用程序,如 DALL·E 和 Imagen。无论您是内容创作者、企业家还是艺术家,都可以使用这些工具高效创建独特的图像和品牌素材。Canva 提供免费和付费订阅,付费版可以每月生成更多图像。

Unified-IO 2是一个统一的多模态生成模型,能够理解和生成图像、文本、音频和动作。它使用单个编码器-解码器Transformer模型,将不同模式(图像、文本、音频、动作等)的输入和输出都表示为一个共享的语义空间进行处理。该模型从头开始在大规模的多模态预训练语料上进行训练,使用了多模态的去噪目标进行优化。为了学会广泛的技能,该模型还在120个现有数据集上进行微调,这些数据集包含提示和数据增强。Unified-IO 2在GRIT基准测试中达到了最先进的性能,在30多个基准测试中都取得了强劲的结果,包括图像生成和理解、文本理解、视频和音频理解以及机器人操作。

PixArt-Sigma是一个基于PyTorch的模型定义、预训练权重和推理/采样代码的集合，用于探索4K文本到图像生成的弱到强训练扩散变换器。它支持从低分辨率到高分辨率的图像生成，提供了多种功能和优势，如快速体验、用户友好的代码库和多种模型选择。

内容创作者经常希望使用个人主题创建个性化图片，超越传统的文本到图像模型的能力。此外，他们可能希望生成的图片包含特定的位置、风格、氛围等。现有的个性化方法可能会在个性化能力和与复杂文本提示的对齐之间做出妥协。这种权衡可能会阻碍用户提示和主题的忠实性。我们提出了一种新的方法，专注于单个提示的个性化方法，以解决这个问题。我们将这种方法称为提示对齐个性化。尽管这种方法可能看起来有限，但我们的方法在改进文本对齐方面表现出色，可以创建具有复杂和复杂提示的图像，这对于当前技术来说可能是一个挑战。具体而言，我们的方法使用额外的得分蒸馏采样项，使个性化模型与目标提示保持对齐。我们在多次拍摄和单次拍摄设置中展示了我们方法的多功能性，并进一步展示了它可以组合多个主题或从艺术作品等参考图像中获取灵感。我们定量和定性地与现有基线和最先进的技术进行比较。

Controlling Text-to-Image Diffusion研究了如何有效引导或控制强大的文本到图像生成模型进行各种下游任务。提出了正交微调(OFT)方法,可以保持模型的生成能力。OFT可以保持神经元之间的超球面能量不变,防止模型坍塌。作者考虑了两种重要的微调任务:主体驱动生成和可控生成。结果表明,OFT方法在生成质量和收敛速度上优于现有方法。