空间智能领域的全景数据稀缺问题开云体育，有解了。

影石议论院团队，推出了基于 DiT 架构的全景图像生成模子 DiT360。

通过全新的全景图像生成框架，DiT360 或者好意思满高质料的全景生成。

DiT360 提倡了一个基于 DiT 架构的搀杂西席框架，充分联接透视图像与全景图像数据，在保执真确感的同期教诲几何一致性。

况兼同期支执多项任务，并在界限一致性、图像保真度和感知质料等方面均优于现存门径。

破解真确全景数据稀缺问题

全景图像生成正在成为通向"空间智能"的要津一步，跟着天下模子和具身智能的发展，模子需要更好地"看见"并剖判通盘三维天下。

全景图像能提供一语气 360 ° 的千里浸式视线，对 AR/VR、自动驾驶、机器东谈主导航等应用都至关伏击。

但比拟平常图像，生周全景图要面临无缝衔尾、极区畸变等几何贫寒；同期，真确全景数据稀缺且质料有限，也让模子难以学到高质料的几何与纹理特征，末端模子的生成质料与泛化智商。

针对全景图像特有的几何特点，议论者主要有两种念念路。

一种是把全景图拆成多个平面视角（立方体投影），这么不错收缩极区畸变的问题，但容易在视图界限出现接缝；另一种门径则径直在球面上生周全景图（等距矩形投影），合座更连贯，但极区畸变和界限一致性的问题还是存在。

另外，由于真确全景数据稀缺，也有议论者尝试用渲染数据西席模子，但阑珊真确光照和纹理，使得生成的末端充满了"渲染感"；另有尝试摆布互联网的全景视频和图片，但这些数据噪声太多，很难支执高质料的生成。

在高质料全景数据稀缺的情况下，何如让模子学会剖判全景图像的几何特点成为要津。

为此，团队提倡了 DiT360 ——一个基于 Diffusion Transformer（DiT）架构的全景图像生成模子。

DiT360 想象了一种分层搀杂西席框架，联接有限的全景数据和大限度高质料的透视图像，让生成末端在真确感和几何一致性上都好意思满了显赫教诲。

DiT360 可在室内、室外等多种场景下生成高分辨率（2048 × 1024）的全景图像，展现出出色的细节和真确感。在界限一致性和极区畸变建模方面，比拟现存门径有彰着上风，或者生成结构一语气、几何褂讪的全景末端。

总结而言，DiT360 的主要孝敬包括：

全新的全景图像生成框架：提倡了一个基于 DiT 架构的搀杂西席框架，充分联接透视图像与全景图像数据，在保执真确感的同期教诲几何一致性。与以往主要聚焦模子结构想象的职责不同，DiT360 更强调多域数据的高效交融与协同摆布，从而好意思满更高质料的全景生成。

多档次的搀杂西席机制：在图像层面，通过对全景数据的去伪影处理与透视图像的投影指令，教诲生成末端的各样性和真确感；在特征层面，通过旋转一致性和畸变感知的几何连续，强化潜空间中的结构合感性与空间一语气性；

多任务支执：DiT360 同期支执文本指令的图像生成、inpainting 和 outpainting 等多项任务，并在界限一致性、图像保真度和感知质料等方面均优于现存门径。

多层级搀杂西席框架

DiT360 是一个面向全景图像生成的多层级搀杂西席框架，旨在同期教诲生成末端的真确感和几何一致性。

不同于以往主要关怀模子结构想象的决议，DiT360 从图像层面和特征层面两个标的启航，充分摆布透视图像与全景图像的互补特点，在有限真确数据的条款下好意思满跨域学问移动与高保真生成。

图像层级：跨域正则化与学问移动

图像层级门径的宗旨是弥补真确全景数据的不及，同期减少由极区畸变和伪影带来的西席偏差。议论团队提倡了两种互补机制——全景图像精修与透视图像指令，辞别用于教诲全景数据的结构质料和好意思满透视数据的跨域移动。

现存的真确全景数据（如 Matterport3D）受聚积开导与方式末端，极戋戋域常出现隐约、拉伸和伪影，径直用于西席会导致生成末端在极区隐约失真。

为此，议论团队提倡基于立方体空间变换的精修战略：将等距矩形投影图像映射到立方体空间，在极区对应面进行掩码和竖立操作，以去除伪影并重建细节，终末再反投影回 ERP 空间，得到细节更明晰、视觉更自然的全景图像。

这一战略显赫教诲了模子对高质料区域的学习和生成智商。

自然高质料全景数据稀缺，但互联网上有大都高分辨率、语义丰富的透视图像可手脚潜在学问源。为此，议论团队提倡投影感知正则化机制，将透视域学问移动到全景域。

通过球面投影将透视图像映射到全景空间，并引入类全景指令吃亏，使模子能从透视图像中学习真确的纹理和语义结构，从而更好地剖判和建模全景中的畸变法则，显赫教诲生成末端的细节和各样性。

特征层级：几何一致性与畸变感知

在特征层面，议论团队关怀 VAE 潜空间中的几何一致性和全局一语气性问题。

全景图像在经度方进取自然一语气（0 ° 与 360 ° 对应合并位置），并在极区存在浓烈投影畸变，仅靠图像层面的监督难以保证特征一致性。

为此，议论团队在特征层面想象了三个要津模块：轮回填充、旋转一致性吃亏与畸变感知立方体吃亏。

针对 ERP 图像在傍边界限（0 ° /360 °）的自然一语气性，传统基于卷积的轮回填充或轮且归噪等操作往往形成旯旮特征不一语气，从而在生成末端中出现接缝伪影。

为了处分这一问题，议论团队在特征空间中引入轮回填充机制：在每次卷积或瞩宗旨盘算前，将左端特征复制到右端、右端特征复制到左端，并同措施整位置编码，使模子能学习到空间位置的对应关系，好意思满特征层的一语气对皆。

这么模子能更好地剖判全景图像的环绕结构，幸免生成断裂。

在球面坐标下，全景图像的旋转应保执视觉一致。

为此，议论团队引入旋转一致性吃亏——在西席中立地旋转输入全景图像，并连续模子输出在旋转前后保执一致。

这一机制在潜空间中建树了全局旋转不变性，使模子能学习球面上各标的的等价关系，显赫教诲生成的标的鲁棒性。

由于 ERP 投影在极区存在彰着的几何拉伸，通例像素吃亏难以准确揣测真确几何舛误。

为此，议论团队引入畸变感知立方体吃亏，将模子展望末端映射到立方体空间，对每个面辞别盘算重建舛误，并加入基于视角加权的畸变抵偿项。

这么不错灵验收缩 ERP 在极区的舛误放大问题，让模子在极区也能保执褂讪的空间结构与细节发挥。

高质料的全景图像生成与泛化智商

团队将DiT360与现时全景图像生成领域的多种代表性门径进行了对比，包括 MVDiffusion、PanFusion、SMGD、PAR、WorldGen、Matrix-3D、LayerPano3D 和 HunyuanWorld 等。

这些门径险些秘籍了现阶段的主流时刻道路——从多视角拼接、自追溯生成、结构优化，到基于 Diffusion Transformer 的生成架构。

履行末端显露，DiT360 在视觉质料和几何一致性上均彰着优于现存门径，并在多形式的上取得了进步发挥。

全景图像生成

团队对 DiT360 进行了系统的定量评估，末端如表所示。

不错看到，DiT360 在险些总共量的上都取得了最好成绩，在各项评价维度上展现出褂讪而全面的上风。

不管是传统的图像质料目的（如 FID、Inception Score、BRISQUE），如故揣测视觉一致性的几何目的（如 FAED），DiT360 都显赫优于其他门径。

总体来看，这些定量末端与前述的定性分析一致—— DiT360 不仅在感知真确感和几何保真度上发挥罕见，况兼在多形式的上好意思满了全面进步，充分考证了其生成高质料全景图像的灵验性与鲁棒性。

为了进一步评估 DiT360 在东谈主类感知层面的发挥，团队组织了用户测评，比较了 DiT360 与现存门径（包括 PanFusion、Matrix-3D、HunyuanWorld）在文本对皆、界限一语气性、真确感与合座质料四个维度的各别。

测评共邀请 63 位参与者，对测试聚合不同门径生成的全景图像进行主不雅采选，选出最适合个东谈主偏好的末端。

末端显露，DiT360 在总共量的上均取得最高偏好比例，尤其在真确感和合座质料上上风彰着，辞别达到 63.8% 和 80.9%，远超其他门径。

这一末端标明，DiT360 不仅在客不雅目的上发挥出色，也更适合东谈主类对真确感和空间连贯性的主不雅领会，进一步评释了其在全景生成中的内容可用性。

消融履行

为考证各模块对合座性能的孝敬，团队基于微调后的 Flux 构建了基线模子，并顺次寂寞加入要津模块进行消融履行。

要点西席了四个中枢想象：轮回填充（Circular Padding）、畸变感知立方体吃亏（Cube Loss）、旋转一致性吃亏（Yaw Loss）以及透视图像指令（Perspective Image Guidance）。

履行发现：

轮回填充显赫教诲了图像傍边界限（0 ° /360 °）处的一致性，同期合座画面质料也彰着改善。这是因为在傍边界限分享位置编码后，模子或者学习正确的空间对应关系，从而减少断裂或接缝伪影，使 FID 与 BRISQUE 等目的显赫下落；

畸变感知立方体吃亏通过在立方体空间中引入异常几何监督，使模子能更准确地建模极区畸变，改善细节发挥并教诲 IS 与 CLIP Score 等目的；

旋转一致性吃亏强化了模子在球面坐标下的标的褂讪性，使生成末端在结构连贯性上更优，在 FAED 目的上取得显赫教诲；

透视图像指令进一步增强了局部细节与视觉各样性，减少了伪影问题，并在关怀格调与好意思学的目的（如 QA）上发挥罕见。

详细来看，这些模块在不同层面共同教诲了模子的感知真确感与几何一致性，当它们协同职责时，DiT360 达到最好合座性能，充分考证了框架想象的合感性与灵验性。

更多任务

值得一提的是，DiT360 在无需异常西席的情况下即可原生支执inpainting与outpainting任务，展现出其长入的全景生成框架与强泛化智商。

具体来说，团队领先通过反演取得输入图像的运转噪声示意，并索要参考图像的特征与主体区域掩码。

在早期去噪阶段，DiT360 接收基于时分步自适合的特征替换战略——将被守密或需膨大的区域替换为参考图像中的对应特征，同期保留原始位置编码，从而在生成初期锚定主体结构与语义。

这种机制能灵验保执生成内容在语义与空间上的一致性，使模子在补全与膨大任务中都能自然收复主体细节并防守全景结构连贯。

成绩于此，DiT360 在 inpainting 与 outpainting 场景中均能生谚语义丰富、界限平滑、内容连贯的高质料全景末端。

本议论提倡的 DiT360 展示了联接高质料透视图像与有限全景数据，以教诲全景图像真确感和几何一致性的后劲。该门径不仅在静态全景图生成中发挥罕见，也为改日多模态、跨域的三维场景生成提供了念念路。

改日，这种平面到全景的搀杂西席战略不错进一步拓展到全景视频生成、VR/AR 内容创作及动态场景模拟等任务中。

举例，将时序透视帧引入全景生成历程，有望好意思满高保真、连贯的全景视频生成；在灵通天下环境建模中，摆布平面图像弥补稀缺的全景数据，也能显赫教诲场景细节的真确感与空间一致性。

总体而言，DiT360 不仅为现时全景图像生成提供了强有劲的基线，也为改日三维场景剖判、动态全景合成与虚构天下构建开辟了新的标的。

在 DiT360 取得显赫效果的同期，影石议论院团队也对自追溯（AR）生成范式伸开了系统议论，相关效果" Conditional Panoramic Image Generation via Masked Autoregressive Modeling "已被 NeurIPS 2025 收受。

论文流畅：https://arxiv.org/abs/2510.11712

形式主页：https://fenghora.github.io/DiT360-Page/

GitHub：https://github.com/Insta360-Research-Team/DiT360

Demo：https://huggingface.co/spaces/Insta360-Research/DiT360

一键三连「点赞」「转发」「禁锢心」

接待在议论区留住你的想法！

—  完  —

� � 点亮星标 � �

科技前沿进展逐日见开云体育