原始 NeRF 用网络拟合静态场景的连续密度和颜色场,再对已知相机射线做可微体积渲染来训练网络。新视角生成时,换用新相机的射线,从同一个场估计像素颜色。

相机给射线,网络表示场景

显式与隐式的场景表示

已知视角训练与新视角合成

原笔记对照显式场景数据与场的隐式表示,并展示训练和新视角合成。

训练输入是一组静态场景图像及其相机内外参。每个像素用内参确定相机空间射线,用外参转到统一世界空间。对单位方向 ,取射线 ,沿它选取点 。MLP 查询的是每个样本的位置 加观察方向 。三个位置自由度和两个方向自由度合称 5D,工程代码常把 表示成三维单位向量。

密度 与方向无关,描述每单位长度对透射率的影响。颜色 随观察方向变化,能表示部分视角相关的反射。只有生成射线时使用相机位置;网络位置分支处理的是射线上各个 。

位置编码和网络的两个分支

位置编码的频带

有无位置编码的细节对照

原笔记比较位置编码的频率与有无编码时可恢复的纹理细节。

将输入的每一分量映射到一系列正弦和余弦。原始形式为

原版对位置用 10 个频带,对方向用 4 个。位置编码送入主干 MLP,中途的 skip connection 重新读入位置特征。主干预测密度和一组特征,只有颜色分支把观察方向的编码拼进来。这样可以区分固定几何与随视角改变的颜色。

网络的位置与方向分支

原文的网络结构图。方向只进入右侧颜色分支,密度从位置分支直接得到。

从连续体积渲染到离散合成

射线步进体积渲染

射线采样与体积渲染

原笔记从体积雾的射线步进过渡到 NeRF。每次网络查询预测该段的密度和颜色。

从 走到 还未被吸收的比例是 。连续形式为

样本间的距离 。若射线参数方向没有归一化,距离还要乘 。在一小段内视密度和颜色为常数,就得到

沿射线的颜色合成

前段密度大时会降低后续样本的透射权重。空区域的密度接近零,贡献也随之很小。

transmittance = 1
rgb = 0
for sample, next_sample in ray_order:
    distance = world_distance(sample, next_sample)
    sigma, color = field(sample.position, ray.direction)
    alpha = 1 - exp(-sigma * distance)
    rgb += transmittance * alpha * color
    transmittance *= 1 - alpha
rgb += transmittance * background

粗网络怎样为细网络分配采样

先把 分段,每段随机抽一个样本,用粗网络求 。将权重归一化为离散区间概率,再构造累积分布 。用均匀随机数通过逆 CDF 选区间并在区间内插值,就能把更多查询点投到可能贡献像素的位置。总权重接近零时,可加小的均匀权重保证采样可用。

粗网络给出的采样分布

原图中 的集中位置指示细网络应在哪里加密。

粗细样本的合并

细网络使用粗样本和新抽取的样本,将它们沿射线合并排序后重新计算段长和透射率。

训练把粗、细两个预测同时与照片像素比较,以 更新参数。粗网络因此能继续给出有意义的采样分布。新视角换相机射线即可渲染,成本主要受每条射线的查询数及 MLP 开销影响。遇到漂浮密度和纹理错位时,先核对相机坐标、像素中心、场景尺度和采样近远边界。

参考

来源