由谷哥大腦與deepmind攜手推出新論文，透過基於進化算法來搜索出可以兼具將標準化以及活化函數功能的新的神經網路層，這個被找出來的新結構稱之為EvoNorm，論文中做了多種視覺任務的測試都呈現出更高的精確度以及模型泛用性。
Evolving Normalization-Activation Layers
https://arxiv.org/pdf/2004.02967.pdf
為了確認這個EvoNorm是否該納入經常性的使用，因此我做了一下簡單的測試，我原本用了mnist數據集，總共做了(1)只有卷積、活化函數與全連接層(2)加入batch normalization (3)加入batch normalization與dropout(4)使用EvaNormB0
以上皆是卷積層3層，卷積核皆為(3,3)，第一層strides為1其餘為2，活化函數為leaky_relu，在優化器為adam，學習速率1e-3，批次大小128，跑了2000個批次的結果。
從圖上看來，EvoNorm前段比較普普，後段在四種架構中的確是損失最低評價最高。若是利用center loss圖來觀察這幾個模型的決策空間（每個顏色是指0~9數字在特徵空間的分佈，顏色交疊意味著分類錯誤），EvoNorm的中心點比較空洞，這表示分類案例重疊誤判的狀況是最輕微的。
mnist數據集 在 python 读取MNIST 数据集，并解析为图片文件 的推薦與評價
MNIST 是Yann LeCun 收集创建的手写数字识别数据集，训练集有60,000 张图片，测试集有10,000 张图片。数据集链接为：http://yann.lecun.com/exdb/mnist/。数据集下载 ... ... <看更多>