前两天为了加速一段求梯度的代码,用了SSE指令,在实验室PMH大侠的指导下,最终实现了3倍速度提升(极限是4倍,因为4个浮点数一起计算)。在这里写一下心得,欢迎拍砖。
SSE加速的几个关键是
(1) 用于并行计算的数据结构要16字节对齐
(2) 直接写汇编,不要用SSE的Load Store指令
(3) 对于SSE本身不提供的三角函数等指令,可以用查表法,但要用SSE来算索引号
相比起用GPU加速来说,SSE的并行性要低一些,而且提供的指令,功能函数也要少,但是使用起来相对要简单一些,而且也不存在纹理传送进出显存的overhead。
原先的代码是这样的:
1// 计算梯度的代码
2for (int s = 1 ; s < (GetCount() - 1) ; ++s) {
3 for (int y = 1 ; y < (imgScaled[s]->Height() - 1) ; ++y) {
4 for (int x = 1 ; x < (imgScaled[s]->Width() - 1) ; ++x) {
5 float gy= imgScaled[s]->At(x, y + 1) - imgScaled[s]->At(x, y - 1);
6 float gx = imgScaled[s]->At(x + 1, y) - imgScaled[s]->At(x - 1, y);
7
8 magnitudes[s]->At(x, y) = sqrt(gx*gx + gy*gy);
9 directions[s]->At(x, y) = AtanLookupF32::Value(gy, gx);
10 }
11 }
12}
13
14// arctan 查表函数
15static inline float AtanLookupF32::Value(float y,float x){
16 float N_DOUBLE = 4 * 4096;
17 if( x > 0.0 ){
18 if( y > 0.0 )
19 return m_dATAN_LU[(int)(N_DOUBLE * y / ( x + y ))];
20 else
21 return -m_dATAN_LU[(int)(N_DOUBLE * (-y) / ( x - y ))];
22 }
23
24 if( x == 0.0 ){
25 if( y > 0 )
26 return LU_PI/2;
27 else
28 return -LU_PI/2;
29 }
30
31 if( y < 0.0 )
32 return m_dATAN_LU[(int)(N_DOUBLE * y / ( x + y ))] - LU_PI;
33 else
34 return -m_dATAN_LU[(int)(N_DOUBLE * (-y) / ( x - y ))] + LU_PI;
35}
36
从profiling的角度讲,5-9行的代码以及ATan查表函数都是要优化到极限的,幸运的是梯度计算部分可并行性很高,但是下标加一减一的部分很容易使16字节对齐的要求不能符合,为此,做了两步工作,一是让图像每一行的起始地址变成16字节对齐,并补全每行的长度为16字节整数倍,二是对每一幅图像建立一个移位的图像,用于SSE下检索坐标加一减一的值。代码如下
1template<typename T>
2class ImageArray
3{
4protected:
5 int m_nWidth;
6 int m_nHeight;
7
8 // 16字节补齐后的实际宽度,单位为 sizeof(float)
9 int m_nWidthActual;
10
11 // 积分图像,用来加速图像的区域求和用
12 ImageArray* m_pImageIntegral;
13
14 // 计算补足后的长度
15 static __forceinline int expandAlign(int w){
16 return w + 3 - (w - 1) % 4;
17 }
18
19 // 数据
20 T* m_afData;
21 T** m_aafEntry;
22
23 typedef T* PointerType;
24 typedef T** EntryType;
25
26 void SetSize(int height, int width){
27 m_nWidth = width;
28 m_nHeight = height;
29 m_nWidthActual = expandAlign(width);
30
31 // 16字节对齐的分配
32 m_afData = (T*)_aligned_malloc(sizeof(T) * m_nWidthActual * m_nHeight, 16);
33
34 // 这一部分是加速索引,参考Wild Magic Lib里的GMatrix类
35 m_aafEntry = new PointerType[m_nHeight];
36 T* ptr = m_afData;
37 for(int i=0;i<m_nHeight;i++){
38 m_aafEntry[i] = ptr;
39 ptr += m_nWidthActual;
40 }
41
42 if(m_pImageIntegral)
43 delete m_pImageIntegral;
44 m_pImageIntegral = NULL;
45 }
46
47public:
48
49 ImageArray():m_pImageIntegral(NULL){SetSize(0, 0);}
50
51 ImageArray(int width, int height):m_pImageIntegral(NULL){
52 SetSize(height, width);
53 }
54
55 ImageArray(const ImageArray& that):m_pImageIntegral(NULL){
56 SetSize(that.Height(), that.Width());
57 memcpy(m_afData, that.m_afData, sizeof(T) * that.m_nWidthActual * that.m_nHeight);
58 }
59
60 ~ImageArray(){
61 if(m_pImageIntegral)
62 delete m_pImageIntegral;
63 if(m_aafEntry)
64 delete []m_aafEntry;
65
66 // 对应的释放
67 if(m_afData)
68 _aligned_free(m_afData);
69 }
70
71 void CreateDataArray(int width, int height){
72 m_nWidthActual = expandAlign(width);
73 SetSize(height, m_nWidthActual);
74 m_nWidth = width;
75 m_nHeight = height;
76 }
77
78 __forceinline T& At(int x, int y){
79 _ASSERT(m_afData);
80 _ASSERT(x >= 0 && x < m_nWidth && y >= 0 && y < m_nHeight);
81 return m_aafEntry[y][x];
82 }
83
84 __forceinline const int Width() const {return m_nWidth;}
85 __forceinline const int Height() const {return m_nHeight;}
86
87 // 建立移位的图像
88 void fillShiftedImage(int shift, ImageArray<T>& dst)
89 {
90 for(int i=0;i<m_nHeight;i++)
91 {
92 memcpy(dst[i], m_aafEntry[i] + shift, sizeof(T) * (m_nWidthActual - shift));
93 }
94 }
95
96 // 以下省略
97};
sqrt可以用SSE指令来实现,Atan则不行,只能用查表,但是查表函数依然很复杂,所以也必须要简化。sqrt有另一个选择是用Wild Magic Library里的FastInvSqrt(x)函数
//----------------------------------------------------------------------------
template <class Real>
Real Math<Real>::FastInvSqrt (Real fValue)
{
// TO DO. This routine was designed for 'float'. Come up with an
// equivalent one for 'double' and specialize the templates for 'float'
// and 'double'.
float fFValue = (float)fValue;
float fHalf = 0.5f*fFValue;
int i = *(int*)&fFValue;
i = 0x5f3759df - (i >> 1);
fFValue = *(float*)&i;
fFValue = fFValue*(1.5f - fHalf*fFValue*fFValue);
return (Real)fFValue;
}
这里面用到了float格式当int用的高级技巧,所以我看不懂 :-( 不过试过用 1.0f / FastInvSqrt(x) 来代替sqrt(x),可以略微快一点,而且这里面的所有操作都可以用SSE实现,所以也是可以试一下的,但是这里没有用这个也达到了3倍的速度提升,后来就懒了一下,没有使用,直接用SSE的四操作数sqrt操作
__m128 _mm_sqrt_ps(__m128 a );
SQRTPS
另一个问题是ATan查表函数里的分支和浮点乘除法,考虑把这些全部移出到外面,放在主循环里做,算出用int表达的x,y所在的像限,以及相应的查表索引号,再传给查表函数算,最后查表函数简化成下面这样:
static __forceinline float ValueDirect(int y, int x, int idx)
{
x = x * 2 + y + 3;
return m_dATAN_LU[x][idx];
}
x和y代表原来的浮点数x,y的正负,原来的代码只留一个像限的表是节省空间的一个trick,这里我们为了节省加减 LU_PI 的操作,重新还原为4个表格。这里的x,y,idx全部在SSE里算好,至于整数加法与乘法,因为优化的空间不大,所以没有在SSE里做,虽然SSE2下面其实提供了很多的整数操作指令的。
这样,所有的准备工作就完成了,下面是重新写的主循环,为了节省指令数,直接写汇编了,有关指令的细节,可以参考MSDN C++ Language Reference => Compiler Intrinsics。由于没有直接的求绝对值指令,但是有max指令,这里用了max(x, -x)的方式来求,浮点数与整数的转换用SSE2的指令来做:
1magnitudes.resize(GetCount() - 1, NULL);
2directions.resize(GetCount() - 1, NULL);
3
4ImageArrayf imggm;
5
6int w = imgScaled[0]->Width();
7int h = imgScaled[0]->Height();
8
9int scnt = GetCount() - 1;
10
11ImageArrayf imgsa(w, h), imgsb(w, h);
12ImageArray<int> imgsi(w, h), imggx(w, h), imggy(w, h);
13imggm.CreateDataArray(w, h);
14
15for (int s = 1 ; s < (GetCount() - 1) ; ++s) {
16 magnitudes[s] = new ImageArrayf(imgScaled[s]->Width(), imgScaled[s]->Height());
17 directions[s] = new ImageArrayf(imgScaled[s]->Width(), imgScaled[s]->Height());
18}
19
20__m128 ma, mb, mr;
21__m128 na, nb, nr;
22__m128 gl, gr, gtt, gb;
23__m128 gx, gy, sgx, sgy, sg, sqsg;
24__m128 gn, gi;
25__m128i gii;
26__m128 gzero;
27
28memset(gzero.m128_f32, 0, sizeof(float) * 4);
29
30for(int i=0;i<4;i++)
31{
32 gn.m128_f32[i] = AtanLookupF32::NDOUBLE();
33}
34
35for (int s = 1 ; s < scnt ; ++s) {
36
37 ImageArrayf& imgt = *imgScaled[s];
38
39 imgt.fillShiftedImage(1, imgsa);
40 imgt.fillShiftedImage(2, imgsb);
41
42 for (int y = 1 ; y < (h - 1) ; ++y) {
43 int x;
44 for (x = 0 ; x < (w - 2) ; x += 4) {
45
46 gl = _mm_load_ps(imgt[y] + x);
47 gr = _mm_load_ps(imgsb[y] + x);
48 gtt = _mm_load_ps(imgsa[y+1] + x);
49 gb = _mm_load_ps(imgsa[y-1] + x);
50
51 _asm
52 {
53 // x0 = right;
54 movaps xmm0, gr;
55
56 // x1 = left;
57 movaps xmm1, gl;
58
59 // x2 = top;
60 movaps xmm2, gtt;
61
62 // x3 = bottom
63 movaps xmm3, gb;
64
65 // x0 = right - left = gx
66 subps xmm0, xmm1;
67
68 // x2 = top - bottom = gy
69 subps xmm2, xmm3;
70
71 // x4 = right
72 movaps xmm4, gr;
73
74 // x6 = top
75 movaps xmm6, gtt;
76
77 // x1 = left - right = -gx;
78 subps xmm1, xmm4;
79
80 // x3 = bottom - top = -gy;
81 subps xmm3, xmm6;
82
83 // x1 = |gx|
84 maxps xmm1, xmm0;
85
86 // x3 = |gy|
87 maxps xmm3, xmm2;
88
89 // gx = x0
90 movaps gx, xmm0;
91
92 // gy = x2
93 movaps gy, xmm2;
94
95 // x1 = |gx| + |gy|
96 addps xmm1, xmm3;
97
98 // x4 = gx;
99 movaps xmm4, xmm0;
100
101 // x6 = gy;
102 movaps xmm6, xmm2;
103
104 // x4 = gx^2;
105 mulps xmm4, xmm4;
106
107 // x6 = gy^2;
108 mulps xmm6, xmm6;
109
110 // x4 = gx^2 + gy^2;
111 addps xmm4, xmm6;
112
113 // x4 = sqrt()
114 sqrtps xmm4, xmm4;
115
116 // sqsg = x4;
117 movaps sqsg, xmm4;
118
119 // x3 = |gy| / (|gx| + |gy|) = dy;
120 divps xmm3, xmm1;
121
122 // x1 = n;
123 movaps xmm1, gn;
124
125 // x3 = |dy| * n;
126 mulps xmm3, xmm1;
127
128 // gi = |dy| * n;
129 movaps gi, xmm3;
130 }
131
132 _mm_store_ps(imggm[y] + x, sqsg);
133
134 gx = _mm_cmpgt_ps(gx, gzero);
135 gy = _mm_cmpgt_ps(gy, gzero);
136
137 _mm_store_si128((__m128i*)(imggx[y] + x), *((__m128i*)&gx));
138 _mm_store_si128((__m128i*)(imggy[y] + x), *((__m128i*)&gy));
139
140 gii = _mm_cvtps_epi32(gi);
141 _mm_store_si128((__m128i*)(imgsi[y] + x), gii);
142 }
143 }
144
145 for (int y = 1 ; y < (h - 1) ; ++y) {
146 for (int x = 1 ; x < (w - 1) ; x ++) {
147 magnitudes[s]->At(x, y) = imggm[y][x-1];
148 directions[s]->At(x, y) = AtanLookupF32::ValueDirect(imggy[y][x-1], imggx[y][x-1], imgsi[y][x-1]);
149 }
150 }
151}
152