透视投影矩阵推导The Perspective Projection Matrix Derivation

透视投影矩阵的完全推导,使用了openGL的坐标系以及NDC,在DirectX3D下需要做一些调整。

  • 定义视锥体参数
  • 推导透视投影矩阵

对于点P(x,y,z,1)P(x,y,z,1),经过投影变换乘以透视矩阵得到PP'PP'位于Normalized Device Coordinates(NDC)中。

MprojP=P\displaystyle M_{proj}P = P'

Px[1,1]\displaystyle P'_{x} \in [-1,1]

Py[1,1]\displaystyle P'_{y} \in [-1,1]

Py[1,1]\displaystyle P'_{y} \in [-1,1]

投影矩阵将ViewFrustum中的点转换到NDC中,我们可以根据视锥中的点在透视投影变换后的位置推导出整个透视投影矩阵MprojM_{proj}

视锥体参数

Near Plane 与 Far Plane

Camera矩阵将世界坐标移动到相机的位置,同时视锥体朝向-Z方向。视锥体内被两个面截取为一个Four prism,通过透视投影矩阵的变化转化为一个边长单位为2的立方体。 对于视锥体来说有多个属性。近裁剪屏幕NearPlane,和远裁剪屏幕FarPlane。这两个平面距离相机的距离为n和f,在坐标系中的Z轴上值为-n与-f。

Aspect Ratio 及 Viewport

同时视锥体还有一个近平面的宽高,通常情况下,近平面即viewport的大小。透视投影后在NDC的宽高比是1:1,屏幕的aspect ratio会在透视投影后丢失。所以viewport的宽高与FrameBuffer的大小无关,只要在透视投影矩阵中正确设置了ViewPort的大小,渲染时会被按照比例压缩到整个FrameBuffer的贴图中,最后显示时以ViewPort的宽高比显示整个FrameBuffer就是正确的。

Field of View

在Camera的参数中经常有一个参数Field Of View(FOV)。FoV为视锥垂直界面的夹角。如果设定近平面的顶边的Y值为t,近平面距离为n,同时viewport是相对于坐标轴对称的情况下,则有tan(FOV2)=tntan(\frac{FOV}{2})= \frac{t}{n}。只要确定了viewport的大小和近平面距离n,就可以求出fov。

通常情况下ViewPort是左右对称上下对称的。即如果我们设近平面四个边的距中心的坐标值为,l、r、t、b,分别代表左右上下四个边,则viewport的高h=tb=2th = t - b = 2* t,宽为w=rb=2bw = r - b = 2 * b。viewport也可能左右不对称的情况,即lr|l| \ne |r|,或上下不对称tb|t| \ne |b|。不过对于大部分游戏或3D程序来说都是对称的。通用的透视投影矩阵考虑到了不对称的情况,所以对应的矩阵会相对复杂一些。

推导投影矩阵

设点P(x,y,z)P(x,y,z) 为视锥体内部的一点,根据三角形相似比,其在近平面的投影点为P(nzx,nzy,f(z))P'(-\frac{n}{z}x,-\frac{n}{z}y,f(z)),其中f(z)f(z)为关于z的线性函数。由于在三维图形学中,使用齐次坐标来表示点与向量进行计算,同时投影矩阵为四阶矩阵。所以P点坐标表示为P(x,y,z,1)P(x,y,z,1)PP'点的齐次坐标为P(nzx,nzy,f(z),1)P'(-\frac{n}{z}x,-\frac{n}{z}y,f(z),1)

渲染管线在计算完VertexShader后会进行光栅化,在光栅化是需要根据点的z值进行Z-Test,同时f(z)[1,1]f(z) \in [-1,1]f(z)zf(z) \propto -z。由于在顶点着色器返回的顶点位置,渲染管线在进行光栅化裁剪与剔除的步骤前会对坐标进行齐次化,也就是gl_Position或者sv_position会被齐次化。在着色器shader返回的坐标中并不需要其z值一定1,只要满足其坐标在齐次化后还保持在对应的NDC中。 所以透视投影矩阵计算出的坐标可以是齐次化前的坐标。根据上面推导的坐标: P(nzx,nzy,f(z),1)\displaystyle P'(-\frac{n}{z}x,-\frac{n}{z}y,f(z),1)

PxP'_{x}PyP'_{y}都带有-z的系数,并不是关于x,y,z的线性函数。所以不可能通过矩阵变化计算出来,我们必须对其进行齐次变换。PP'所有坐标都乘上-z得: P(nx,ny,zf(z),z)\displaystyle P'(nx,ny,-zf(z),-z)

由此我们可以推算出投影矩阵的第四行。

[????????????0010][xyz1]=[nxnyg(z)z]\displaystyle \begin{bmatrix} ? & ? & ? & ? \\ ? & ? & ? & ? \\ ? & ? & ? & ? \\ 0 & 0 & -1 & 0 \end{bmatrix} \begin{bmatrix} x \\ y \\ z \\ 1 \end{bmatrix} = \begin{bmatrix} nx \\ ny \\ g(z)\\ -z \end{bmatrix}

其中g(z)=zf(z)g(z) = -zf(z) 由于g(z)是矩阵变换的结果,一定是关于z的线性函数,设g(z)=az+bg(z)=az+b 其中aa,bb为常数。则矩阵可以变为:

[????????00ab0010][xyz1]=[nxnyaz+bz]\displaystyle \begin{bmatrix} ? & ? & ? & ? \\ ? & ? & ? & ? \\ 0 & 0 & a & b \\ 0 & 0 & -1 & 0 \end{bmatrix} \begin{bmatrix} x \\ y \\ z \\ 1 \end{bmatrix} = \begin{bmatrix} nx \\ ny \\ az+b\\ -z \end{bmatrix}


由于经过投影变换后的有效坐标点都在NDC中,我们可以取特殊点推算其参数。

设点L(l,b,n,1)L(l,b,-n,1)为近平面的左下角,R(r,t,f,1)R(r,t,-f,1)为远平面的右上角的点。其经过透视投影变换后的点为L(1,1,1,1)L \rightarrow (-1,-1,-1,1)R(1,1,1,1)R \rightarrow (1,1,1,1)

代入上面的向量(nx,ny,az+b,z)(nx,ny,az+b,-z)L(nl,nb,an+b,n)(1,1,1,1)(n,n,n,n)\displaystyle L'(nl,nb,-an+b,n) \leftrightarrow (-1,-1,-1,1) \leftrightarrow (-n,-n,-n,n) R(nr,nt,af+b,f)(1,1,1,1)(f,f,f,f)\displaystyle R'(nr,nt,-af+b,f) \leftrightarrow (1,1,1,1) \leftrightarrow (f,f,f,f)

取z值的等式 an+b=n\displaystyle -an+b = -n af+b=f\displaystyle -af+b = f

联立求解得: a=n+fnf\displaystyle a= \frac{n+f}{n-f} b=2nfnf\displaystyle b = \frac{2nf}{n-f}

带入矩阵得: [????????00n+fnf2nfnf0010][xyz1]=[nxny(n+f)z+2nfnfz]\displaystyle \begin{bmatrix} ? & ? & ? & ? \\ ? & ? & ? & ? \\ 0 & 0 & \frac{n+f}{n-f} & \frac{2nf}{n-f} \\ 0 & 0 & -1 & 0 \end{bmatrix} \begin{bmatrix} x \\ y \\ z \\ 1 \end{bmatrix} = \begin{bmatrix} nx \\ ny \\ \frac{(n+f)z+ 2nf}{n-f}\\ -z \end{bmatrix}

这样我们就求出aabb的值。


推导矩阵前两行

首先我们很自然想到,取矩阵前两行为:

[n0000n0000n+fnf2nfnf0010][xyz1]=[nxny(n+f)z+2nfnfz]\displaystyle \begin{bmatrix} n & 0 & 0 & 0 \\ 0 & n & 0 & 0 \\ 0 & 0 & \frac{n+f}{n-f} & \frac{2nf}{n-f} \\ 0 & 0 & -1 & 0 \end{bmatrix} \begin{bmatrix} x \\ y \\ z \\ 1 \end{bmatrix} = \begin{bmatrix} nx \\ ny \\ \frac{(n+f)z+ 2nf}{n-f}\\ -z \end{bmatrix}

这样矩阵计算就成立了,对于上面的L点与R点同时我们取x值的等式。 nl=n\displaystyle nl = -n nr=f\displaystyle nr = f

这样推出l=1,r=fnl=-1, r= \frac{f}{n},由于l、r为viewport参数是任意值,所以MprojM_{proj}第一行与第二行不能只有n这个参数。

设完整的矩阵为: [ABCDEFGH00n+fnf2nfnf0010]\displaystyle \begin{bmatrix} A & B & C & D \\ E & F & G & H \\ 0 & 0 & \frac{n+f}{n-f} & \frac{2nf}{n-f} \\ 0 & 0 & -1 & 0 \end{bmatrix}

对于视锥体内的点来说,如果两个点的x和z值都相同y值不同,而其投影到近投影平面的x坐标都相同 所以对于y的系数 B=0B=0

Ax+Cz+D=0Ax+Cz+D=0 对任意的(x,y,z)都成立,则取(0,y,0)(0,y,0)时得D=0D=0。 同理 E=0,H=0E=0,H=0

化简矩阵: [A0C00FG000n+fnf2nfnf0010][xyz1]=[Ax+CzFx+Gz(n+f)z+2nfnfz]\displaystyle \begin{bmatrix} A & 0 & C & 0 \\ 0 & F & G & 0 \\ 0 & 0 & \frac{n+f}{n-f} & \frac{2nf}{n-f} \\ 0 & 0 & -1 & 0 \end{bmatrix} \begin{bmatrix} x \\ y \\ z \\ 1 \end{bmatrix} = \begin{bmatrix} Ax+Cz \\ Fx+Gz \\ \frac{(n+f)z+ 2nf}{n-f}\\ -z \end{bmatrix}

取点S(l,b,n,1)S(l,b,-n,1)T(r,t,n,1)T(r,t,-n,1)。由于这两点分别在近平面的左端与右端,所以透视投影变换后在NDC中的x坐标为-1与1,由于我们经过了齐次化处以-z,所以两个点的x值为-n,n。 联立方程: AlCn=n,ArCn=n\displaystyle Al-Cn = -n,Ar-Cn=n 解得: A=2nrl,B=r+lrl\displaystyle A = \frac{2n}{r-l},B = \frac{r+l}{r-l} 同理推得: F=2ntb,G=t+btb\displaystyle F = \frac{2n}{t-b},G=\frac{t+b}{t-b}

最终的投影矩阵为: [2nrl0r+lrl002ntbt+btb000n+fnf2nfnf0010][xyz1]=[2nx+(r+l)zrl2ny+(t+b)ztb(n+f)z+2nfnfz][2nx(rl)zr+lrl2ny(tb)zt+btbn+fnf2nf(nf)z1]\displaystyle \begin{bmatrix} \frac{2n}{r-l} & 0 & \frac{r+l}{r-l} & 0 \\ 0 & \frac{2n}{t-b} & \frac{t+b}{t-b} & 0 \\ 0 & 0 & \frac{n+f}{n-f} & \frac{2nf}{n-f} \\ 0 & 0 & -1 & 0 \end{bmatrix} \begin{bmatrix} x \\ y \\ z \\ 1 \end{bmatrix} = \begin{bmatrix} \frac{2nx+(r+l)z}{r-l} \\ \frac{2ny+(t+b)z}{t-b} \\ \frac{(n+f)z+ 2nf}{n-f}\\ -z \end{bmatrix} \Leftrightarrow \begin{bmatrix} -\frac{2nx}{(r-l)z}-\frac{r+l}{r-l} \\ -\frac{2ny}{(t-b)z}-\frac{t+b}{t-b} \\ -\frac{n+f}{n-f}- \frac{2nf}{(n-f)z}\\ 1 \end{bmatrix}

简化透视投影矩阵

当viewport关于坐标轴对称时: w=rl=2r=2l\displaystyle w = r-l = 2r= -2l h=tb=2t=2b\displaystyle h = t-b = 2t = -2b

化简投影矩阵得:

[2nw00002nh0000n+fnf2nfnf0010]\displaystyle \begin{bmatrix} \frac{2n}{w} & 0 & 0 & 0 \\ 0 & \frac{2n}{h} & 0 & 0 \\ 0 & 0 & \frac{n+f}{n-f} & \frac{2nf}{n-f} \\ 0 & 0 & -1 & 0 \end{bmatrix}