无监督学习任务：聚类（Clustering）

K-均值（K-mean）

混合高斯模型（Gaussian Mixture Models, GMM）

EM算法（Expectation-Maximization Algorithm）

评价指标（Evaluation Metrics）

（本文参考朱军老师的《概率机器学习》）

什么是深度学习

神经元模型与神经网络

神经网络的优化

卷积神经网络 CNN

循环神经网络 RNN

2025年如唐杰教授所说，人工智能 AI 几乎等同于多模态大语言模型 LLM。也就是，目前的智能很大一部分归功于谷歌的 Transformer 架构和 Attention 注意力机制；还有最底层的，深度神经网络。

本文讨论注意力机制前的深度学习（深度神经网络），虽然确实很多细节，如BP推导现在 PyTorch，TensorFlow 都完美支持根本不需要自己来，但了解一下还是十分有必要的。

（基于朱军老师的PPT）

朴素贝叶斯 Naive Bayes classifier

逻辑回归 Logistic regression

指数族分布 Exponential family distributions

广义线性模型 Generalized linear models

本文分析生成式概率分类模型朴素贝叶斯和判别式概率分类模型逻辑回归的根源，关系，以及他们在广义线性模型框架下的统一。

（基于朱军老师的PPT和教科书《概率机器学习》）

二元分类任务可以看作是将输入（特征）空间分成两部分。

受AdaBoost启发的Margin Theory间隔理论 - alittlebear’s blog

从间隔理论的角度来看，SVM（支持向量机）的核心优化目标是最大化最小间隔。

（本页基于朱军老师的PPT）

整合一下

本文从LeNet开始，通过AlexNet，VGG，GoogLeNet，ResNet，Inception v2-4, DenseNet这些Transformer注意力时代前的热门CNN模型，总结出一些优化技巧和结构，分析为什么这些优化成功的提升了模型的表达能力/泛化能力/优化能力。

到底什么是AdaBoost？用动画和代码的方式，最清晰讲解！_哔哩哔哩_bilibili

这个视频直观的解释了AdaBoost是什么，和它为什么效果这么好

【报告】Boosting 25年（2014周志华）（up主推荐）_哔哩哔哩_bilibili

这个视频周教授深入的探讨了AdaBoost到底为什么效果这么好，模型迭代过程中到底是在优化什么。从这方面引申出了间隔理论的提出，争论，以及最后是如何完善的。