介绍

在实现Sigmoid激活函数的时候,有一个exp(-x)的操作,这个函数是非常耗时的,但是在神经网络中一般权值是比较小的,那么就有了这种快速计算算法。

算法原理

在神经网络中,当x比较小时, e x e^x ex会逼近一个极限:,其中n可以取较大数,一般为2的整数幂次,比如取256,那么后面的 1 + x n 1+\frac{x}{n} 1+nx就相乘8次。如果取1024,需要乘以10次。这个极限和math.h的exp的精度比较为:
可以看到在数据不超过7~8的时候,函数的计算结果几乎是一致的。
速度方面exp256是原始exp的360倍,exp1024是原始exp的330倍,相比之下exp1024比exp256 handle的范围稍大。

代码实现

inline float exp1(float x) {
	x = 1.0 + x / 256.0;
	x *= x; x *= x; x *= x; x *= x;
	x *= x; x *= x; x *= x; x *= x;
	return x;
}

inline float exp2(double x) { 
	x = 1.0 + x / 1024;   
	x *= x; x *= x; x *= x; x *= x;   
	x *= x; x *= x; x *= x; x *= x;   
	x *= x; x *= x;   
	return x; 
}