背景

前段时间面试被问过几次 PBR 的问题，遂写个博客梳理下，下次面试就不用再找资料了（不是x。也是对基础光照计算的一个梳理吧。

在传统的光照模型中，光会被分为环境光、漫反射和镜面反射三个部分。环境光是在没有明确光照但并非伸手不见五指的环境下，物体接收到的微弱光照的总和。漫反射是粗糙表面无规则向各个方向反射的光，而镜面反射是光滑表面向入射光沿法线对称方向反射的光。每个部分会进行单独的计算，并最终累加获得最终的光照结果。

PBR

基于物理的渲染算法（Physically Based Rendering），是当前光栅化渲染架构下广泛使用的基础渲染算法，足够支持基本材质的渲染需求。常用商业引擎如 unreal 和 unity 的默认渲染效果都是 PBR 渲染或基于此的扩展。当然不同的引擎、不同的硬件情况、不同的效果需要，PBR 的具体实现算法会有一些不同，但核心算法是相通的。这里的 PBR 使用的是 Learn OpenGL 和 Unreal Engine 中的算法和实现。

核心条件

一个 PBR 模型必须满足三个条件：基于微平面的表面模型、能量守恒和基于物理的 BRDF。我们接下来会逐一拆解这些条件。

微平面模型

微平面模型的核心就是一个非绝对光滑的平面在微观上由很多方向不同的微小镜面组成，每个微平面都会基于自身法线向不同方向反射光线。一个平面越粗糙，微平面的排列就越乱。在计算中我们使用 roughness 粗糙度来表达微表面朝向表面方向的比例。微表面的朝向和表面朝向越接近，镜面反射范围越小越锐利，漫反射影响越不明显。

能量守恒

基于能量守恒，在 PBR 的计算中我们可以，出射光的能量需要小于等于入射光的能量，反映在效果就是镜面反射越强，镜面反射影响范围、漫反射效果就越弱。在更加复杂的渲染如次表面散射（可以实现皮肤、玉、蜡等效果）中，我们会考虑光折射进入物体再射出的情况，这就需要考虑折射和反射分别的能量占比，且折射光颜色会受物体颜色影响等情况。但在简单的 PBR 材质中，我们假设折射光会被全部吸收，即只考虑反射光的情况。基于这个理论，我们可以用 漫反射比例 = 1 - 镜面反射比例 来简化一些计算。此外，金属表面没有漫反射而只有镜面反射，也需要特殊考虑。镜面反射系数将在后文中使用菲涅尔方程计算。

反射方程

反射率方程是描述光是如何被反射的。它是一种渲染方程，即具体的 PBR 效果计算就是基于这个方程进行的。这个方程主要涉及到点 $p$, 入射角 $\omega_i$，出射角 $ \omega_0 $ 和法线 $n$。一个点在指定方向的反射等于这个点收到的所有入射光在视角方向的反射光，所以我们使用入射光的角度的半球积分来计算。当然计算机是无法处理积分的。具体的计算方法会在辐射度量学相关文章中讲述。具体方程如下：

其中 L 代表的是辐射率(Radiance)，具体的计算方式和物理逻辑太长了值得单开一篇，这里就不放了，可以看辐射度量学相关文章。总而言之，这里的辐射率可以从光源或者环境光贴图获取。$n*\omega_i$ 则是光照在法线方向的分量，是 这里只讲讲 $F_r$ 即双向反射分布函数(Bidirectional Reflective Distribution Function，BRDF)的具体计算方法。

BRDF

BRDF 可以说是 PBR 的核心实现,它近似的描述了$\omega_i$ 的入射光对 $\omega_0$ 方向的反射光有怎样的贡献。BRDF 基于表面材质属性来对入射辐射率进行缩放或者加权，使不同材质实现不同的反射效果。上面的两个理论对渲染效果产生的影响会在这个Learn OpenGL 和 Unreal 里使用的是 Cook-Torrance BRDF 模型，其他引擎使用的模型可能略有不同但总体而言不会相差非常多。

Cook-Torrance BRDF 包含漫反射和镜面反射两个部分。$ fr = k_d * f{lambert} + ks * f{cook-torrance} $。$ k_d $ 是入射光中漫反射部分，$ k_s $ 则是镜面反射部分。

漫反射 (diffuse reflection)

$f{lambert}$ 是漫反射部分，这套算法使用的是 Lambertian 漫反射，是一种理想化的、入射方向与出射方向无关且反射过程中没有能量损耗的漫反射。$f{lambert} = c/ \pi $，$c$ 是表面颜色，$\pi$ 是为了对漫反射进行标准化，因为光照积分计算的是整个半球的入射光，而入射光均匀的反射到整个半球上。

### 镜面反射 (specular reflection)

$f_{cook-torrance}$ 则是整个算法的核心，会基于各种物理逻辑和经验科学实现镜面反射效果。它的完整方程如下所示：

分母部分是标准化因子，而分子部分则由三个函数组成，分别是法线分布函数(Normal Distribution Function)，几何函数(Geometry Function)和菲涅尔方程(Fresnel Rquation)。

法线分布函数

法线分布函数(Normal Distribution Function) 主要是基于微平面理论，估算在受到表面粗糙度的影响下，表面朝向与当前半程向量方向相同的微平面数量。

半程向量 $h$: 入射光和视角的中间方向。如果使用反射光和观察方向计算镜面反射，当观察方向和反射方向夹角大于90度时，反射光在观察方向的投影为负，镜面反射直接为 0，所以改用半程向量和法线的夹角来计算镜面反射，这样可以使反射光更加自然。

这里使用的是 Trowbridge-Reitz GGX 法线分布函数算法，其具体方程如下：

其中 $ \alpha $ 是一个和粗糙度成正比的数，不同引擎有不同的算法，在unreal 中是粗糙度的平方。可以看出糙度越大，分子越大，分母中法线和半程向量的乘积带来的影响越小但分母越大。即粗糙度越大，光的反射越分散，范围越大但最亮处越暗。具体代码实现如下。

1
2
3
4
5
6
7
8
9
10
11
12

float D_GGX_TR(vec3 N, vec3 H, float a)
{
    float a2     = a*a;
    float NdotH  = max(dot(N, H), 0.0);
    float NdotH2 = NdotH*NdotH;
    
    float nom    = a2;
    float denom  = (NdotH2 * (a2 - 1.0) + 1.0);
    denom        = PI * denom * denom;

    return nom / denom;
}

几何函数

几何函数(Geometry Function)是用于模拟计算微平面之间相互遮挡的函数。因为微平面方向不确定，所以有概率出现一个平面的反射光被另一个平面遮挡的情况。这里我们使用的算法是GGX与Schlick-Beckmann近似的结合体，因此又称为Schlick-GGX算法。具体公式如下：

其中 k 是粗糙度 $\alpha$ 的重映射，在直接光照和简介光照下有不同的算法。直接光照下 $k{direct} = (\alpha + 1)^2/8$，间接光照下 $k{IBL} = \alpha ^2 / 2$。

考虑到入射光和出射光都有可能出现微平面自遮蔽，即观察方向(v)的几何遮蔽(Geometry Obstruction) 和光线方向的几何阴影(Geometry Shadowing)。即最终计算时需要将两个方向都考虑进去，得到 $G(n,v,l,k) = G(n, v, k) * G(n, l, k)$。具体代码如下

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

float GeometrySchlickGGX(float NdotV, float k)
{
    float nom   = NdotV;
    float denom = NdotV * (1.0 - k) + k;
    return nom / denom;
}
float GeometrySmith(vec3 N, vec3 V, vec3 L, float k)
{
    float NdotV = max(dot(N, V), 0.0);
    float NdotL = max(dot(N, L), 0.0);
    float ggx1  = GeometrySchlickGGX(NdotV, k);
    float ggx2  = GeometrySchlickGGX(NdotL, k);
    
    return ggx1 * ggx2;
}

菲涅尔方程

菲涅尔方程(Fresnel Rquation)描述的是不同角度下反射光线所占比率。在现实生活中，如果我们以一定角度观察物体时，反光会变得非常明显，甚至如果从90度观察几乎所有平面都能完全反光。这个现象叫做菲涅尔现象。在清澈的水边我们可以轻易观察到这个现象。因此我们在计算时可以用简化适配过的菲涅尔方程作为镜面反射比率并参与效果的计算。这里我们使用Fresnel-Schlick近似法计算菲涅尔效果，具体公式如下。（注意分母部分 cosTheta 有 $n·lightDir$、$n·v$、$v·h$ 等好几种说法，不过这些在实时渲染中通常被认为是差不多的，Learn OpenGL 中采用的是的 $v·h$）

$F_0$ 是物体的基础反射率(Base Reflectivity)，即我们从法线方向垂直观察时物体时物体的反射率。对于非金属（dielectric or non-metal surfaces，差不多在这个意思，很难完全准确翻译），基础反射率可以用折射率计算。考虑到金属折射率为负并不适配，所以我们预先计算出金属的反射率。金属的 $ F_0 $ 我们可以通过查表获得。且金属表面而言反射一般带有色彩，所以 $F_0$ 有 RGB 三个值。

在实际的计算中，考虑到非金属的基础反射率比较接近且几乎都不会高于0.17，我们可以直接使用它的平均反射率 0.04 作为基础反射率。金属的反射率大多在 0.5 - 1 且会反射表面颜色。因此我们可以直接使用金属颜色作为反射率。为了支持更多好看的视觉效果，我们引入金属度（Metalness）对 {F_0} 进行差值估算。具体代码如下。

1
2
3
4
5
6
7

vec3 F0 = vec3(0.04);
F0      = mix(F0, surfaceColor.rgb, metalness); // lerp

vec3 fresnelSchlick(float cosTheta, vec3 F0)
{
    return F0 + (1.0 - F0) * pow(1.0 - cosTheta, 5.0);
}

总结

当我们把 BRDF 放到整个反射方程中，我们可以得到

可以看到除了光照以外的部分都已经可以计算了。光照部分将在辐射度量学和基于图像的光照(Image based lighting, IBL)中仔细拆解。此外，在具体的项目中，我们一般会使用贴图而非单一数值来控制不同物体不同的辐射效果。这个部分也会进行单独的拆解。

参考资料

1. LearnOpenGL - Theory 中文，英文
2. TraceYang的笔记 - 基于物理渲染的基础理论
3. TraceYang的笔记 - UnrealEngine4 PBR Shading Model 概述
4. 知乎 - 基本光照模型系列——1.Lambert光照模型
5. 知乎 - 菲涅尔方程（Fresnel Equation）

关于

本来计划写一篇博客梳理整个渲染流程，但写着写着就发现一篇博客根本没法囊括我所有想要梳理的东西，所以就只能分成很多篇来写啦。这篇主要是准备写一下相关的硬件设施，即 CPU、GPU 和显示屏在这整个渲染流程中所起的作用，他们之间的通信方式，以及他们分别对渲染流程的影响。

CPU

CPU 主要负责一些数据的预处理。这些处理可以由开发者全权掌握。首先，CPU 会从文件或代码中获得需要渲染的内容，如模型的顶点位置信息、贴图坐标、法向量等信息。根据用户/程序员的输入小方块相对世界坐标的位置，相机的各项信息，纹理的图片文件，以及其他任何相关信息。在软件的运行过程中，CPU 会逐步将对应的数据存入 buffer（显存）中，并指定其 ID，以方便 GPU 读取。

背景

在图形学和计算机视觉的学习中，总是会看到大名鼎鼎傅里叶变换，但学了以后仿佛又没再用过了，搞不明白也仿佛完全不影响后续的学习，因此学了几次我都完全没明白。在最近又双叒叕学到这个名词以后，我终于决心把它一次性折腾个明白，顺便写一篇博客给以后的自己复习。当然傅里叶变换背后有一整套数学逻辑，且涉及傅里叶变换的其实都属于数字图像处理这一范畴，而这其中的复杂内容可以单独成课的。因此我这里只大略的涉及了它在图形图像方面应用的一些理论和逻辑（本来想深入研究，但是实在看不懂 QAQ 数学不是这点篇幅可以深入的）。考虑到数字信号本身就是基于数学人工生成的信号，在数学上的本质就是函数表达式，且本文的重点还是倾向于图形学，因此后文中信号、函数等名词使用可能非常混乱 = _ =。

背景

水体效果简直是新人 TA 练手的绝佳项目，简单有简单的写法，难有难的写法，网上教程还又多又杂，上手也很方便。而我也恰巧需要一个城市内河流的水效果，所以就准备写一写练手啦。不过后来由于一直对效果不太满意，且 5.0 迁 5.3 的时候出现了很多奇怪的 bug，所以就半途而废了= =。最后项目中计划还是使用 UE 自带的水体效果，不过总之这次尝试还是对让我对水的实现多了很多了解。

水的效果总体而言分为水面、水下和中间分隔的部分。水面部分主要是水体波纹，光线折射和反射，物体周围的涟漪以及水面的泡沫。水下部分一般是对包含了深度雾，焦散等。中间分隔的部分则包含了屏幕分隔以及水线效果。效果见 B 站。

背景

最近要做爆破仿真，所以开始带薪学习 Chaos 破碎系统（欸嘿）。总体而言感觉目前 Chaos 还是一个不怎么完善的系统，很多功能都很难以使用，尤其是如果想在运行状态下对一些参数进行动态修改。感觉每次尝试都心惊肉跳，生怕它出现什么理论上不该出现的现象。

我们的需求是希望爆破体可以动态添加，完成一次爆破以后，在不重置整个场景的基础上重置这个破碎体，需要的时候可以进行再次爆破。但在 5.0 中并没有破碎体重置的函数，也没找到各种动态设置的能力，因此也只能看看源码中是否有相关解法了。不过总体而已跌跌撞撞还是大概搞明白了一些东西，也是我第一次必须从 UE 源码中找问题的答案。这个解法未必是最合适甚至未必是完全正确的，只是目前测试下来可以使用的一种解法。总之就是如果后续有碰到这种需求，也可以给做个参考叭。

关于怎么创建破碎体、怎么爆破等等，网上已经有非常非常非常多的教程了，所以这里不再赘述。总之就是基于 Static Mesh 创建 GeometryCollision，将 GeometryCollision 放置在场景中，再使用 master field 爆破。当所有东西都预制在场景里时，整个流程十分顺滑，但当我们希望所有东西都动态添加时，就不是那么回事了。

背景

这段时间大量接触了unreal 5 的后处理相关内容，踩了不少奇奇怪怪的坑，且 unreal 的文档也非常混乱，很多地方不测试根本没法知道实现效果是怎么样的，因此就开贴记录留念一下。由于项目相关的原因，我们不能在大世界手动添加后处理volume，只能使用蓝图的后处理组件进行相关开发，因此此处主要讨论后处理组件相关内容。同时我也并不负责美术工作，因此那些具体效果的实现、相关参数和材质也并不包含在这里。我们当前使用的 UE 版本是 5.0.3，因此本文仅依据后处理在 5.0.3 中的表现。

关于后处理

后处理，其实可以称为渲染后处理，是在 3D 场景已经渲染完成以后再对成果进行处理，从而实现一些场景整体的效果。在较为底层的 OpenGL 实现中，后处理可以通过将渲染结果存为 2D 贴图存入 frame buffer，再使用各种图像处理算法在 shader （着色器）中对该贴图进行处理。在 unreal 中，后处理可以通过后处理体积（volume）或在蓝图中添加后处理组件实现。它们是 unreal 提供的用于实现后处理的特殊类型的组件，包含了很多常用的后处理相关的参数，并且可以添加后处理材质。

关于计划

在都柏林读书也一年了，寻思趁着留学生活的尾巴，在爱尔兰好好走一走。因为身在都柏林，东海岸的地方大多在平时周末的时候跑过了，所以这次旅行的主要就在西海岸溜达。迫于没有驾照，所有的公交不可达的景点都被排除在了计划之外。不过住宿和饮食总体来讲不算节约，且时间安排也以舒服为主。同时，本人虽然毫无户外经验，但又菜又爱玩，且随身携带户外经验丰富的大佬一只，也有准备户外防雨外套和防滑鞋，因此行程中有参杂大量非景点打卡的徒步活动。十月的爱尔兰刚刚进入旅游淡季，但天气又还没进入多雨的冬天，因此总体还是比较适合到处溜达的。这篇游记谨用于记录这次旅游中那些值得记忆的零零碎碎。

背景

矩阵与向量

在图形学中，我们使用矩阵来进行一系列坐标处理，包括物体的平移、旋转、缩放，以及物体从三维空间到二维平面的转化。这些处理的数学基础是矩阵和向量的乘法。这里可以把 $n$ 维的列向量看作 $n$ 行一列的矩阵，使用矩阵乘法的逻辑和同样是 $n$ 行的矩阵相乘。这样可以得到一个新的 $n$ 行一列矩阵，即一个新的 $n$ 维的列向量（如公式 1.1 所示）。由此我们可以使用矩阵将一个向量转变成另一个向量。在坐标变换处理中，我们可以将点的坐标表示为列向量，并用矩阵进行坐标变换。这里我们使用右手坐标系，即 x 向左，y 向上，z 向外。

时隔两年重新把小博客捡起来了。补完了咕咕了两年的软件架构，并且准备开一些新坑。

感觉自己这几年真的变化很大。当初小博客刚刚建立时，敲命令行都有点怂，总觉得没有图形界面就不安全。而现在已经习惯于使用各种命令进行简单的调试和处理，甚至觉得图形化界面好麻烦。以前特别讨厌写报告，总是很难把自己的想法很合适的表达出来，每次写报告都耗时又痛苦。但经历了某校啥作业都得写个报告的残忍培训，现在已经可以熟练的把想法转换成文字了。不过以前讨厌调配置文件现在还是讨厌（笑。

设计风格和设计模式

设计风格和设计模式这两个概念对于初学者（本菜鸡）而言还是比较容易混淆的，尤其是中文里两个词语并没有很明确的体现出他们的区别。这两者的共同点在于，它们都是为软件的设计提供一种可以复用的模板，且在同一项目中可以搭配使用不同的风格/模式。而这两者的区别在于，设计风格是较为宏观的架构设计，而设计模式则更偏向于代码设计。

• 设计风格（style）：较为宏观的设计，一般对应软件架构层面，一般会有对应架构图。
• 设计模式（pattern）：如 23 种设计模式，一般对应代码层面，一般会有对应样例代码。