tanh sigmoid,sigmoidcolon

tanh函数sigmoid函数,(需要整个区间可导)默认relu函数激励函数暂时
为什么relu要好过与tanh和sigmoid function
不过在实际应用中,我们通常会使用sigmoid,tanh和relu函数.
二,为什么relu函数比sigmoid函数和tanh的效果好?
sigmoid tanh relu比较