激活函数：ReLU，Sigmoid / Logistic（和输出层用到的输出概率分布的推广Softmax）

损失函数：Euclidean Loss（均方误差），Cross-Entropy Loss（交叉熵），其他任务的常见损失函数

本文从LeNet开始，通过AlexNet，VGG，GoogLeNet，ResNet，Inception v2-4, DenseNet这些Transformer注意力时代前的热门CNN模型，总结出一些优化技巧和结构，分析为什么这些优化成功的提升了模型的表达能力/泛化能力/优化能力。

到底什么是AdaBoost？用动画和代码的方式，最清晰讲解！_哔哩哔哩_bilibili

这个视频直观的解释了AdaBoost是什么，和它为什么效果这么好

【报告】Boosting 25年（2014周志华）（up主推荐）_哔哩哔哩_bilibili

这个视频周教授深入的探讨了AdaBoost到底为什么效果这么好，模型迭代过程中到底是在优化什么。从这方面引申出了间隔理论的提出，争论，以及最后是如何完善的。

在学习计算机视觉的线性和非线性滤波的时候，突然想到了几个最火的CNN模型AlexNet, VGG, GoogLeNet, ResNet, 卷积核滤波全部都是线性的，有点好奇关于这方面换成非线性卷积滤波会不会有什么进步。

相关论文：

Network In Network

Non-Linear Convolution Filters for CNN-Based Learning

A Non-Linear Convolution Network for Image Processing

学习强化学习multi-armed bandit的时候，几个概率不等式没有推导过程课上直接使用了，这里记一下推导过程。

相关不等式：

Markov, Chebyshev, Chernoff Bonding, Hoeffding