tanh sigmoid,sigmoidcolon

激活函数sigmoidtanhrelu
tanh函数是双曲正切函数,它的的数学表达式为:tanh函数和sigmoid函数
tanh函数所有场合都能用,其导数为: relu function 其图像为
sigmoid 的优点在于,它的输出映射在(0,1)内,单调连续,非常适合用作
hard-sigmoid 和 hard-tanh