二元分类任务可以看作是将输入（特征）空间分成两部分。

受AdaBoost启发的Margin Theory间隔理论 - alittlebear’s blog

从间隔理论的角度来看，SVM（支持向量机）的核心优化目标是最大化最小间隔。

（本页基于朱军老师的PPT）

Logit在数学和机器学习的常用定义不一样但想法是类似的。Logit和Logistic（Sigmoid的一种函数）也很容易搞混。Softmax和Sigmoid除了单纯的多维输出推广也有其他的影响。

Sigmoid和Softmax的区别，优缺点，细节，和定义可以参考：激活函数和损失函数。

激活函数（Activation function）：ReLU，Sigmoid / Logistic（和输出层用到的输出概率分布的推广Softmax）

损失函数（Loss function）：Euclidean Loss（均方误差），Cross-Entropy Loss（交叉熵），其他任务的常见损失函数

需要注意的是，对于传统机器学习，损失函数一般仅指单个数据点的损失，而上述均方误差和交叉商家均属于代价函数（cost function）。但，因numpy，PyTorch，TenserFlow这些矩阵化机器学习工具的流行，名为Loss的函数都接受矩阵、向量化输入，所以慢慢损失（loss）函数这个名字就取代了代价（cost）函数，这与强化学习中 reward 和 value 的混用类似（最大化 value / return 用 reward 替代，虽然这个混用危险很多）。

本文直接用损失函数代指代价函数。

本文从LeNet开始，通过AlexNet，VGG，GoogLeNet，ResNet，Inception v2-4, DenseNet这些Transformer注意力时代前的热门CNN模型，总结出一些优化技巧和结构，分析为什么这些优化成功的提升了模型的表达能力/泛化能力/优化能力。

到底什么是AdaBoost？用动画和代码的方式，最清晰讲解！_哔哩哔哩_bilibili

这个视频直观的解释了AdaBoost是什么，和它为什么效果这么好

【报告】Boosting 25年（2014周志华）（up主推荐）_哔哩哔哩_bilibili

这个视频周教授深入的探讨了AdaBoost到底为什么效果这么好，模型迭代过程中到底是在优化什么。从这方面引申出了间隔理论的提出，争论，以及最后是如何完善的。