天行健 君子当自强而不息

【ZT】FSAA 简介

台湾人写的,看起来真不习惯。

 

文档简介:
FSAA 是 full scene anti-alias 的缩写,有些人将其译为全景反锯齿,还算是合理。不过,倒底 FSAA 是什么呢?为什么要「全景」(full scene)?「半景」不行吗?(其实相对于 FSAA 的是 edge AA,「边缘反锯齿」)反锯齿(anti-alias)又是怎么回事呢?

文档内容:

[Part 1]

要弄清楚什么是 FSAA,就得先从 AA(anti-alias)开始。要弄清楚 AA,只好说明一下取样(sampling)这个麻烦的东西了。对于电脑绘图有些瞭解的读者,应该已经知道,目前的电脑绘图使用的是 2D raster 的显示方式。也就是说,画面是由一大堆有不同颜色和不同亮度的小点,组成一个大的方阵。这些小点称为像点,即 pixel,pixel 是 picture element 的缩写。很明显的,像点的数目愈多,图形就会愈细緻。我们常说的解析度就是指这些像点的数目。例如,640×480 这个解析度,就表示画面是由 307,200 个像点所组成的。

 
注:解析度在某些领域有不同的意义。在印刷的情形下,一般所谓的解析度,通常是以 DPI(dots per inch)为单位,即每英吋中含多少个点。像是某个印表机,若有 600 DPI 的解析度,就表示它每英吋可以包含 600 个点。所以,在一张 8.5"×11" 的纸上,就会有 5,100×6,600 = 33,660,000 个点。当然,纸愈大的话,点的数目就可以愈多,这是因为点的大小是固定的。在显示幕的情形下,不管萤幕有多大,使用 640×480 这个解析度时,像点的数目都是 307,200 个,这和印刷的情形是不同的。当然,通常愈大的萤幕能容许愈高的像点数目。


当然,像点的数目是有限多的。不幸的是,这个世界并不是由有限的小点组成的。好吧!也许它是由有限的小点组成,但是这些小点的数目非常的多,所以以人类巨大的眼睛来看,就好像是完全连续的一样。这样一来,用有限的像点来表现画面,就会出现问题。但是,只要像点的数目够多,而且像点的大小够小,小到人类的眼睛无法分辨的情形下,不就没问题了吗?当然会有问题,不然就不需要 FSAA 了。


问题在哪裡呢?问题在于取样的方式。取样是指把一个连续的讯号,转换成不连续(离散)的讯号的动作。因为像点的数目是有限多的,所以它一定是不连续的,所以当然就需要这个取样的动作了。下图是一个取样的例子:
 

Sampling figure

上图中,黑色的曲线是原始讯号,灰色是直线是取样点,下图则是取样的结果。简单的说,就是把曲线上面每个取样点(就是那些灰色直线所在的地方)的数值取出来,这样就是取样的动作。一般来说,取样点之间的距离是固定的。以电脑图形的例子来看,每个像点就是取样点。不过,电脑图形是从一个二维的讯号中,取样得到一个二维的阵列。所以,取样看起来是会损失资讯的。另外,因为电脑是以数位的方式存放资料,所以还要把取样的结果进行数位化。数位化可以看成是「转成整数」的动作。例如,假设讯号的范围是 0 ~ 1 之间,想要数位化成 8 位元的资料,就是先把它乘上 255(8 位元数字可以表示 0 ~ 255 的范围),然后把结果以四捨五入或是直接捨去的方式转成整数。这个动作当然也会损失资讯。不过,这部分和我们的主题无关。


取样会牵扯到很多複杂的定理。例如,在做取样之前,如果先经过一个 low pass filter,把高频的部分滤掉,再设定适当的取样频率(通常是比是最高频率的两倍还大)。这样处理过的讯号再去取样,就可以完整还原到原来的讯号(指经过 low pass filter 后的讯号,而不是最原始的讯号)。当然,这篇文章并不是什麽教材,所以不会深入这些地方。不过,low pass filter 等一下会用到,所以先记着比较好。


[Part 2]

现在我们来看看,在电脑绘图中,取样的情形是什麽样子。为了简单起见,我们用两个三角形来做例子。如下图:
 

Two triangles

上图中,灰色的线是像点的边界,当然,实际上像点是不会有什麽边界的,就算有也很细,不会这麽粗。这些边界只是示意用的。每个像点中的小黑点就是取样点。取样的时候,就是取这些小黑点上面的颜色,做为整个像点的颜色。所以,取样的结果如下图:

Two sampled triangles

我想大家应该都看到锯齿现象了吧!这就是一般 3D 绘图中所遇到的情形。为什麽会这样呢?其实,这是因为我们在取样之前,少了一个步骤:low pass filter。因此,原来讯号中的高频部分并没有去掉,所以才会出现锯齿现象。对了,所谓的 low pass filter,就是指一个只能让低频成分通过的过滤器。详细的细节就不在这裡说明了。现在只要记住一件事就够了:box filter 是一种 low pass filter。也就是说,如果我们把一个像点的范围内,所包含的讯号取其平均值的话,这样就会是一个 low pass filter。经过这样的动作,再来做取样,会得到下图:

Two box filtered triangles

把上面的两个例子都缩小到实际的大小,会得到下图:

The sampled images in actual size

两者之间的差异应该是相当明显吧!


有些读者可能会对 low pass filter 有疑问。为什麽用了 low pass filter 消除高频成分就会有比较好的效果呢?实际的理论相当複杂,所以不在这裡多说。不过,如果以人眼实际上的观察方式来看,倒是很合理的。因为,人眼内部的感光细胞,是会收集它的感光范围中的所有能量,再送到脑部。所以,可以看成感光细胞其实就已经包含了一个 box filter。因此,在进行取样之前,先做 box filter 是很合理的做法。


有一点要特别注意:如果显示系统的解析度非常的高,远远超出人眼可以分辨的范围,那麽 anti-aliasing 的效果就会慢慢消失。以一般习惯上的阅读距离来说,人眼很难分辨超过 300 DPI 以上的彩色点。也就是说,对一个对角线为 15" 的显示器来说,如果解析度高达 3,600×2,700 的话,那就没有做 anti-alias 的必要了,反正人的眼睛也没办法看到这麽细的像点。不过,贴图的 filtering 是不同的事,无论解析度有多高,都需要适当的贴图 filtering 才不会出现不正常的情形。

[Part 3]

现在来看看 3D 绘图晶片要怎麽处理这个问题。目前的 3D 晶片,几乎都是用 by primitive 的方式画出整个画面的。所谓的 by primitive,就是指一次画一个 primitive,把每一个 primitives 都画好之后,整个场景就画好了。Primitive 是指三角面和由许多三角面组成的简单东西。这种方法和 ray tracing 或是 scanline renderer 是不一样的。这两者都是分别对画面上的每个像点,去决定它应该会是什麽颜色。


另外,现在的 3D 绘图晶片通常是利用 Z buffer 来去除隐藏面(即被其它三角面盖住的部分),而不对三角面做任何排序动作。这当然是有原因的,因为如果对三角面做排序,再以「由后面往前面画」的方式来去除隐藏面的话,有时就需要把某些三角面切开,还有一些很麻烦的东西,这样的工作并不适合由记忆体很少的 3D 绘图晶片来做。当然,让 CPU 来做这个工作,速度也不会很快。无论如何,Z buffer(或是其它类似的方法)还是目前最有效率的方法之一。


现在来看看 3D 晶片要怎麽做到 anti-alias。一个最简单的想法是,让 3D 晶片在画三角面的时候,就自动产生适当的「佔有率」数字,即这个三角面在某个特定的像点上,所佔有的面积的比例,而该像点的颜色则会乘上这个比例。这样一来,就可以画出平滑的三角面了。当然,对于三角面来说,三角面的内部像点所佔的面积比例当然都是 100%,只有在边缘的地方才会有小于 100% 的佔有率。所以,这个方法也称为 edge anti-alias。
不过,这个方法有一些问题。例如,当两个三角面有重叠的时候,「佔有率」的计算就会出问题,因为 3D 晶片只知道将被盖住的三角面,其佔有率的数字;但是,它却没办法知道被盖住的三角面,倒底是佔有哪些部分。最严重的问题,则是出现在三角面有交叉的时候。这时,因为交叉的地方是由 Z buffer 算出来的,所以根本没办法算出正确的「佔有率」数字。所以,除非三角面都没有交叉,而且重叠的情形都还在合理范围,不然的话,这个方法是不能用的。如果三角面都已经排序且切割过,那就可以使用这个方法。但是,就如同前面所说的,目前不太可能即时做这些动作。
如果需要画的东西不是三角面,而只是线框的话,那麽 edge anti-alias 就很适用了。因为,线框很少会有交叉的现象(两条线就算是交叉,也没人会注意到吧!),而且,两条线重叠的情形也不多。所以,edge anti-alias 非常适用在线框绘图。某些应用像是 CAD/CAM 等等,特别常用到线框绘图,所以他们会喜欢用 edge anti-alias。不过,对于模拟、视觉化、或是 3D 游戏来说,线框绘图很少用到,所以 edge anti-alias 就不太适用。

另外有一点要注意的是,edge anti-alias 只处理三角面的边缘部分。当然高频成分也是在边缘最为明显。但是,如果三角面有贴图的话,还是可能会出现高频成分。不过,一般来说,贴图的 anti-alias 通常可以很容易用双线性内插(bilinear interpolation)和 mipmap 来解决。这部分比较複杂,以后再特别讨论。


说了这麽多,终于要说到 FSAA 了。为什麽叫 full scene 呢?它就是指对整个画面做 anti-alias,而不是像 edge anti-alias 只是对某个 primitive(如三角面或是线)做 anti-alias。那麽,要怎样对整个画面来做 anti-alias?


一个简单的方法,就是使用在每个像点中,取几个 sub-sample 点,然后把这些 sub-sample 的颜色取平均值,做为这个像点的颜色。这样的方法就称为 super-sampling。很明显的,这种做法完全不需要什麽特别的设计,不用切三角面,不用排序,直接就可以得到 anti-alias 的效果。所以这是一种 FSAA 的方法。


最简单的 super-sampling 方法是 ordered grid super-sampling,简称 OGSS。所谓的 OGSS,就是把直接把解析度提高,再用 box filter 把它缩小。例如,假设要对 640×480 的解析度,做 4 个 sample 的 FSAA,那就把解析度提高为 1280×960,画出整个画面,然后再用 box filter 把它缩小到 640×480。为什麽称为 OGSS 是因为它的 sub-sample 点等于是排成方形,如下图所示:

 

OGSS figure

上图中,左边是原来的解析度方式,大的灰色圆点是原来的取样点。放大解析度为四倍之后(每边各两倍),会变成右边的情形。这时,在新的解析度下,新的取样点是红色小点。对每个原来的像点来说,它会取内部的四个红色小点的平均值,做为它的取样值。所以,这些红色小点就是它的 sub-sample 点。可以看出,它的 sub-sample 点正是排成方形,所以才会叫做 OGSS。
[Part 4]



OGSS 有什麽缺点吗?要看出它的缺点,得先看下面这张图:

 

Test figures with aliasing

上图中的这些三角面,显示出边线的角度和 aliasing 程度的关联。从最左边的三角形来看,可以看出完全垂直线、完全水平线和 45°的斜线,都不太会显示出 aliasing。但是,接近垂直或接近水平的线,会显示出最明显的 aliasing。不幸的是,因为 OGSS 的 sub-sample 点是垂直和水平的排列,所以在处理接近垂直或水平的线时,通常只有两个 sub-sample 会发生作用。如下图所示:

The performance of ogss and rgss

在上图中,当深蓝色的三角形经过这些 sub-sample 点时,可以看出这三种方法,会得到明显不同的结果。在两个 OGSS 的例子中,每个像点都刚好有一半的 sub-sample 点包含在三角形裡面,所以它们的表现是完全相同的。当然,如果三角面再延长一些,4 samples 的 OGSS 的表现就会比 2 samples OGSS 要好一点。但是,这已经可以显示出 OGSS 的表现,在接近垂直或接近水平的线,是不太好的。事实上,在线愈接近 45° 时,OGSS 的表现就会愈好。但是,前面也提过,45° 的线其 alias 的现象并不会很严重。再者,如果线真的是 45°,那 OGSS 的结果还是不会好,因为每个边缘的像点,都会刚好有三个 sub-sample 点在三角面裡面(或外面),而正确的值应该是两个。


如果把 sub-sample 点稍微转动一下,情形就会改观了。如果不希望在接近 45° 的时候会有较好的结果,那只要把 sub-sample 点转动一些角度,就会让接近垂直或水平的线对每个像点的 sub-sample 点「看起来」像是 45° 了。在上面的图中就可以看到明显的结果。因为 sub-sample 被转动某个角度,所以这个方法称为 rotate grid super-sampling,简称 RGSS。


很明显的,RGSS 是不能用「提高解析度」这个方法来达成的。那要怎麽做到 RGSS 呢?基本上,方法并不难。只要在画三角面的时候,把每个三角面稍微移动位置,这样就和移动像点的取样点,是同样的效果。所以,要做到像上图的 RGSS,只要把整个场景画四次,每次都稍微移动每个三角面,到适当的取样点位置(移动的范围会小于一个像点的大小)。最后,再把这四张图合起来,对每个像点取平均值,就可以得到结果了。传统上,这可以利用 accumulation buffer 来达到。不过,accumulation buffer 需要很大的频宽(每次从 frame buffer 複製到 accumulation buffer 需要两次读取和一次写入),而且 accumulation buffer 通常需要比一般 frame buffer 更高的精确度才行,所以又需要更多频宽。再加上 4 samples 的 FSAA 已经需要把整个场景画出四次了,所以速度一定会很慢。


另一个方法是利用多个 frame buffer,这也是 3dfx 的 T-Buffer 的原理。这个方法是让显示晶片保有四个不同的 frame buffer,并把四个 sub-sample 的图分别画到这四个 frame buffer 中。而显示晶片的 RAMDAC(把 frame buffer 输出到萤幕上的装置)则自动把这四个 frame buffer 的内容做平均。这样一来,就不需要高精确度的 accumulation buffer,而且也没有明显的额外频宽需求。因此,对于 sample 的数目很少的情形下,这的确是个取代 accumulation buffer 的好方法。


现在 DirectX 8 中的 DirectGraphics 也加入了 multi-sample buffer 的支援,基本上就和 3dfx 的 T-Buffer 是完全相同的。所以,将来的 3D 显示晶片都很可能会支援这样的功能。


附注:对这个主题有兴趣的读者,可以参考由 Beyond3D 的 Kristof Beets 和 Dave Barron 所写的 Super-sampling Anti-aliasing Analysis 这篇 whitepaper。
 

posted on 2007-05-14 00:40 lovedday 阅读(1561) 评论(2)  编辑 收藏 引用 所属分类: ■ 3D Graphics And Software Engine

评论

# re: 【ZT】FSAA 简介[未登录] 2007-10-19 00:23 flyman

well,介绍的很好。  回复  更多评论   

# re: 【ZT】FSAA 简介 2008-03-08 08:50 七星重剑

胜读十年书  回复  更多评论   


只有注册用户登录后才能发表评论。
【推荐】超50万行VC++源码: 大型组态工控、电力仿真CAD与GIS源码库
网站导航: 博客园   IT新闻   BlogJava   知识库   博问   管理


公告

导航

统计

常用链接

随笔分类(178)

3D游戏编程相关链接

搜索

最新评论