VISUAL LOCALIZATION IN A GAUSSIAN WORLD

看见同一片空间,
定准同一个位置。

人形机器人 X2 边走边看。我们在预先重建的 3D 高斯泼溅(3DGS)实景地图中,为它的每一帧前视画面解算 6 自由度位姿(位置与朝向),再渲染出同一视角——把真实观测与地图渲染叠在一起,准不准,看边缘是否连续。

同步回放视角
3 路
3DGS 实景地图
127 万高斯
前视相机原图
960×722
同步实拍回放
38 秒
机器人前视相机拍摄的真实观测画面根据估计位姿在 3DGS 地图中渲染的同视角画面真实观测3DGS 渲染
斜线左侧为相机实拍,右侧为地图渲染 · 边缘连续即定位准确
01 · SYNCHRONIZED ALIGNMENT

实拍、地图与渲染对齐,三路同步。

A 记录机器人在现场的行走;B 在 3DGS 地图中同步标出它的位姿、视锥(视野范围)与轨迹;C 把前视画面与地图渲染直接叠合。三路画面共享同一条时间轴。

X2 · 室内视觉定位回放回放 —5 fps 前视相机 · 3DGS 实景地图
A 现场实拍 · 第三视角
正在加载实拍视频…
正在加载 3DGS 实景地图…
B 3DGS 实景地图
100%
拖动旋转 · 滚轮缩放
真实 3DGS 地图 · 机器人行走动作为示意动画
C 前视观测 ↔ 3DGS 渲染
真实观测3DGS 渲染
50%高清画面 · 暂停后可放大检查
00:01.1
00:37.9
精选时刻
空格 播放 / 暂停 ←→ 逐帧步进 · 暂停自动加载原尺寸静帧
02 · PRECISION & VERIFICATION

从空间位姿,验证到像素边缘。

验证目标厘米级位置误差
验证目标< 1°旋转误差
当前支持1–4×原尺寸静帧同步放大检验

注:厘米级位置误差与 < 1° 旋转误差是系统的验证目标,并非本段演示的实测值。本页所有对齐画面均来自真实前视观测与实际位姿解算结果。

03 · HOW IT WORKS

定位准不准,
画面对齐见分晓。

与其只看抽象的坐标数字,不如把系统估计的位姿直接渲染成画面,与相机实拍叠在一起:位姿稍有偏差,墙角、灯带与玻璃边缘就会在分界线处错位。

回到定位演示 ↑
  1. 01

    观测

    前视相机以 5 fps 采集 960×722 的实拍画面。

  2. 02

    定位

    在预先构建的 3DGS 实景地图中,解算当前帧相机的 6 自由度位姿。

  3. 03

    渲染

    依据估计出的相机位姿渲染 3DGS 地图,生成“同一视角”的合成画面。

  4. 04

    对齐

    将实拍与渲染斜向拼接或半透明叠加,直观检验结构边缘是否严丝合缝。

FULL RESOLUTION · 960 × 722

放大原图,逐像素检验边缘衔接。

真实观测3DGS 渲染

正在加载 960×722 原尺寸图像…