激活函数（Activation function）：ReLU，Sigmoid / Logistic（和输出层用到的输出概率分布的推广Softmax）
损失函数（Loss function）：Euclidean Loss（均方误差），Cross-Entropy Loss（交叉熵），其他任务的常见损失函数
需要注意的是，对于传统机器学习，损失函数一般仅指单个数据点的损失，而上述均方误差和交叉商家均属于代价函数（cost function）。但，因numpy，PyTorch，TenserFlow这些矩阵化机器学习工具的流行，名为Loss的函数都接受矩阵、向量化输入，所以慢慢损失（loss）函数这个名字就取代了代价（cost）函数，这与强化学习中 reward 和 value 的混用类似（最大化 value / return 用 reward 替代，虽然这个混用危险很多）。
本文直接用损失函数代指代价函数。
本文从LeNet开始，通过AlexNet，VGG，GoogLeNet，ResNet，Inception v2-4, DenseNet这些Transformer注意力时代前的热门CNN模型，总结出一些优化技巧和结构，分析为什么这些优化成功的提升了模型的表达能力/泛化能力/优化能力。
到底什么是AdaBoost？用动画和代码的方式，最清晰讲解！_哔哩哔哩_bilibili
这个视频直观的解释了AdaBoost是什么，和它为什么效果这么好
【报告】Boosting 25年（2014周志华）（up主推荐）_哔哩哔哩_bilibili
这个视频周教授深入的探讨了AdaBoost到底为什么效果这么好，模型迭代过程中到底是在优化什么。从这方面引申出了间隔理论的提出，争论，以及最后是如何完善的。
在学习计算机视觉的线性和非线性滤波的时候，突然想到了几个最火的CNN模型AlexNet, VGG, GoogLeNet, ResNet, 卷积核滤波全部都是线性的，有点好奇关于这方面换成非线性卷积滤波会不会有什么进步。
相关论文：
学习强化学习multi-armed bandit的时候，几个概率不等式没有推导过程课上直接使用了，这里记一下推导过程。
相关不等式：
Markov, Chebyshev, Chernoff Bonding, Hoeffding