中文 定位:用一个统一生成模型同时建模图像外观与深度几何的研究。Iris-Z 把「一个模型、一个生成训练任务」的思路从语言迁移到视觉:同一套骨干网络在去噪的同时理解图像及其深度。
核心能力:单个权重同时完成三项任务——生成带深度的图像、从照片估计深度、把图像绘制到给定深度上。规模足够大时,它在既有深度基准上超过了专用模型,同时保留了原骨干的通用生成能力,且没有引入专用层。作者已公开两个模型供社区使用。
适用人群:做单目深度估计、3D 与空间理解的研究者,以及关注通用视觉模型缩放规律的读者。
日本語 位置づけ:画像の見た目と深度の幾何を一つの生成モデルで同時に扱う研究。Iris-Z は「一つのモデル、一つの生成学習タスク」という言語モデルの発想を視覚に持ち込み、単一のバックボーンがノイズ除去と同時に画像とその深度を理解します。
主な機能:一つの重みで三つのタスクをこなします。深度付きの画像生成、写真からの単眼深度推定、与えられた深度への画像の描き込みです。十分な規模では既存の深度ベンチマークで専門モデルを上回りながら、元のバックボーンの汎用的な生成能力を保ち、専用レイヤーも追加していません。コミュニティ向けに二つのモデルが公開されています。
向いている人:単眼深度推定、3D・空間理解の研究者、汎用ビジュアルモデルのスケーリング則に関心のある読者。
한국어 정의: 이미지의 외형과 깊이 기하를 하나의 생성 모델로 동시에 다루는 연구입니다. Iris-Z는 "하나의 모델, 하나의 생성 학습 과제"라는 언어 모델의 발상을 시각으로 옮겨, 하나의 백본이 노이즈를 제거하면서 이미지와 깊이를 함께 이해합니다.
핵심 기능: 하나의 가중치로 세 가지 작업을 수행합니다. 깊이가 포함된 이미지 생성, 사진에서의 단안 깊이 추정, 주어진 깊이에 이미지를 그려 넣기입니다. 규모가 충분해지면 기존 깊이 벤치마크에서 전문 모델을 능가하면서도 원래 백본의 범용 생성 능력을 유지하고, 전용 레이어도 추가하지 않았습니다. 커뮤니티용으로 두 개의 모델이 공개됐습니다.
추천 대상: 단안 깊이 추정, 3D와 공간 이해 연구자, 범용 비전 모델의 스케일링 법칙에 관심 있는 독자.
English What it is: A research project that models image appearance and depth geometry with a single unified generative model. Iris-Z carries the language-model idea of "one model, one generative training task" into vision: one backbone denoises while simultaneously understanding an image and its depth.
Highlights: A single set of weights handles three tasks — generating images together with their depth, estimating depth from photographs, and painting images onto a given depth. At sufficient scale it surpasses state-of-the-art specialist models on established depth benchmarks while keeping the general generation ability of the backbone it started from, without specialized layers. Two models are released for the community.
Who it's for: Researchers in monocular depth estimation, 3D and spatial understanding, and readers interested in scaling laws for general visual models.