中文 定位:从一张拼好的乐高成品照片出发、反推每个零件位姿来复原搭建的研究。传统 3D 重建只恢复形状,BrickFlow 还要满足零件之间离散的物理连接约束,问题是组合式的、对微小位姿误差非常敏感。
核心能力:先在程序化生成的乐高搭建数据上训练集合条件 SE(3) 流模型,学习零件如何拼合的先验;再用 1% 的数据量微调,注入图像条件;推理时用解析式的连接场引导把预测拉向真正连通的搭建。搭建质量随模型规模、预训练与引导的加入而提升,模型与数据已公开供研究使用。
适用人群:做 3D 重建、机器人装配与积木式结构理解的研究者,以及乐高数字化搭建的爱好者。
日本語 位置づけ:組み上がったレゴの完成写真から、各パーツの姿勢を逆推して組み立てを復元する研究。従来の 3D 復元が形状だけを復元するのに対し、BrickFlow はパーツ間の離散的な物理的接続条件も満たす必要があり、組み合わせ的で小さな姿勢誤差にも敏感です。
主な機能:まず手続き的に生成したレゴの組み立てデータで集合条件付き SE(3) フローモデルを訓練し、パーツの組み合い方の事前分布を学習。次に 1% のデータ量で微調整し、画像条件を注入します。推論時は解析的な接続場ガイダンスで予測を実際に接続した組み立てへ引き寄せます。組み立て品質はモデル規模、事前学習、ガイダンスの導入とともに向上し、モデルとデータは研究用に公開されています。
向いている人:3D 復元、ロボットの組み立て、ブロック構造の理解に取り組む研究者、レゴのデジタル組み立てに関心のある人。
한국어 정의: 완성된 레고 사진 한 장에서 각 부품의 자세를 역으로 추론해 조립을 복원하는 연구입니다. 기존 3D 복원이 형태만 복원하는 데 비해, BrickFlow는 부품 사이의 이산적인 물리적 연결 조건까지 만족해야 해서 조합 문제에 가깝고 작은 자세 오차에도 매우 민감합니다.
핵심 기능: 먼저 절차적으로 생성한 레고 조립 데이터로 집합 조건부 SE(3) 플로 모델을 학습해 부품이 맞물리는 방식의 사전 분포를 익히고, 1%의 데이터로 미세 조정해 이미지 조건을 주입합니다. 추론 시에는 해석적인 연결장 가이던스로 예측을 실제로 연결된 조립 쪽으로 끌어당깁니다. 조립 품질은 모델 규모, 사전 학습, 가이던스 도입과 함께 향상되며, 모델과 데이터는 연구용으로 공개돼 있습니다.
추천 대상: 3D 복원, 로봇 조립, 블록 구조 이해를 연구하는 사람과 레고 디지털 조립에 관심 있는 애호가.
English What it is: A research project that reconstructs a LEGO build from a photo of the finished object by inferring the pose of every part. Unlike traditional 3D reconstruction, which only recovers shape, BrickFlow must also satisfy the discrete physical connectivity constraints between parts, making the problem combinatorial and highly sensitive to small pose errors.
Highlights: A set-conditioned SE(3) flow model is first trained on procedurally generated LEGO assemblies to learn a prior over how parts fit together, then fine-tuned with image conditioning using 1% as much data. At test time, analytic connectivity-field guidance pulls predictions toward connected assemblies. Build quality improves with model size, pretraining, and guidance, and the models and data are released for research.
Who it's for: Researchers in 3D reconstruction, robotic assembly, and block-structure understanding, plus anyone interested in digital LEGO building.