活化函數 activation function

• 具有決定如何活化輸入訊號總和的功能

1. 恒等函数：输出=输入

2. Step 與Sigmoid 函數(非線性)

a) Step function and (b) sigmoid function. | Download Scientific Diagram

• sigmoid 函數傳遞連續的實數訊號
• step函數傳遞0或1訊號
• 兩者皆為非線性函數

<aside> 💡 !! 線性函數作為活化函數，無論加深多少層，均與原本的輸入維持線性關係

</aside>

• 實作step與sigmoid function

3. ReLU函數 Rectified Linear Unit

類似電路中的開關，當[on]時，電流直接通過(x=x)，當[off]時電流無法輸出

• ≥0⇒ 直接輸出
• <0⇒ 0

What is the ReLU layer in CNN?