您的位置:首页 > 新闻 >

MIT与英伟达合作研发AI模型工具可更快且以更少计算资源生成逼真图像

2025-03-27 19:22:49 来源:盖世汽车阅读量:9600   

据外媒报道,在此背景下,美国麻省理工学院与英伟达公司(NVIDIA)的研究人员研发了一种新方法,成功将上述两种方法的优势结合起来。此种混合图像生成工具采用自回归模型,快速捕捉整体画面,然后运用小型扩散模型,对图像进行细节优化。该款工具名为HART(hybrid autoregressive transformer,混合自回归转换器的缩写),能够生成与当前最先进的扩散模型所生成的图像,质量相当甚至更优的图像,同时速度提升了九倍。

AI工具生成逼真图像

HART生成图像的过程所消耗的计算资源较典型扩散模型更少,因而使其能够在商用笔记本电脑或智能手机上本地运行。用户只需在HART界面输入自然语言提示,即可生成图像。HART可能具有广泛的应用前景,例如帮助研究人员训练机器人,以完成复杂的真实世界任务;协助设计师为视频游戏打造更具吸引力的场景。

两全其美

Stable Diffusion和DALL-E等流行的扩散模型能够生成高度细节化的图像。此类模型通过迭代过程生成图像,在此过程中,此类模型会对每个像素预测一定量的随机噪声,然后减去噪声,之后预测过程与“去噪”过程会被重复多次,直至生成一张完全无噪声的新图像。

由于扩散模型在每一步均需对图像中的所有像素执行去噪操作,并且该过程可能包括30步或更多步骤,因此整体过程可能会比较缓慢且计算成本高昂。但是,因为该模型有多次机会修正之前出错的细节,因此生成的图像质量会很高。

自回归模型在文本预测任务中得到了广泛应用,并且可通过依次预测图像块生成图像。尽管该模型无法回溯以修正错误,但是此种顺序预测过程比扩散模型速度快得多。

此类模型采用称作标记的表现形式来进行预测。自回归模型采用自动编码器将原始图像像素压缩为离散标记,并基于此类预测标记重建图像。尽管此种方法提升了模型的速度,但是压缩过程中发生的信息丢失可能会导致模型在生成新图像时出现错误。

借助HART,研究人员研发了一种混合方法,运用自回归模型来预测压缩的离散图像标记,再运营小型扩散模型来预测残差标记。其中,残差标记能够捕捉离散标记遗漏的细节信息,补偿模型丢失的信息。

由于扩散模型只能预测自回归模型完成工作后的剩余细节,因此其可在八个步骤内完成任务。相比之下,标准扩散模型通常需要30个或者更多步骤来生成完整的图像。此种额外引入的扩散模型以极低的计算量保留了自回归模型的速度优势,同时大幅提升其生成复杂图像细节的能力。

在研发HART的过程中,研究人员在高效整合扩散模型以增强自回归模型方面遇到了挑战。但是他们发现,在自回归过程的早期集成扩散模型会导致误差累积。因此,最终的设计仅在最后一步应用了扩散模型,以预测剩余标记,从而显著提升了图像生成的质量。

研究人员的方法结合了含有7亿参数的自回归转换器模型和含有3700万参数的轻量级扩散模型,能够生成与拥有20亿参数的扩散模型同等质量的图像,但是速度却快了九倍。此外,其计算量比最先进的模型少约31%。

此外,由于HART采用自回归模型来完成大量工作,因此其更易与新型统一视觉-语言生成式模型集成在一起。未来,人们或许能够与统一视觉-语言生成式模型互动,例如要求其展示组装一件家具所需的中间步骤。

展望未来,研究人员希望能够继续研究,基于HART架构打造视觉-语言模型。由于HART具有可扩展性以及多模态通用性,因此研究人员还希望将其应用于视频生成和音频预测任务。

声明:本网转发此文章,旨在为读者提供更多信息资讯,所涉内容不构成投资、消费建议。文章事实如有疑问,请与有关方核实,文章观点非本网观点,仅供读者参考。

栏目导读
北汽极狐阿尔法S获耐腐蚀性能白金等级证书

北汽极狐阿尔法S获耐腐蚀性能白金等级证书

CA-CAP(中国汽车耐腐蚀与老化性能评价规程)在海南博鳌举办,标志着我国汽车行业耐腐蚀与抗老化测评领域向前迈进一大步,

2022-02-14 19:44
从口罩到健康码,冬奥会如期举行背后的四重科技助力

从口罩到健康码,冬奥会如期举行背后的四重科技助力

北京冬奥会开幕在即,新冠病毒已经进化出传染力更强的奥密克戎新变种,加上病毒喜寒畏热的特性,叠加春运大范围的人员流动,其防

2022-01-28 08:13
好空气“随叫随到”,米家空气净化器4让健康生活更有趣

好空气“随叫随到”,米家空气净化器4让健康生活更有趣

又是一年岁末时,按照惯例,春节应是亲友团聚的欢乐时期。然而疫情的突袭,让家人的团聚变得更加珍贵,也让更多的家庭明白健康的

2022-01-26 16:31
沃尔沃方锡智:用户的困惑和需求,“沃”都在心里

沃尔沃方锡智:用户的困惑和需求,“沃”都在心里

在这个飞速发展的信息化时代,高端产品已经越来越不是“一锤子买卖”,售后服务成为了增强用户黏性、促成口碑向销量转化的关键所

2022-01-26 14:51
钦培吉:借IPO,沃尔沃迎来更大施展舞台

钦培吉:借IPO,沃尔沃迎来更大施展舞台

今年以来,沃尔沃动作频繁,受到了业界内外的广泛关注。3月,沃尔沃宣布将在2030年实现全面电动化,成为纯电豪华品牌,且所

2022-01-18 14:34