什么是深度学习
神经元模型与神经网络
神经网络的优化
卷积神经网络 CNN
循环神经网络 RNN
2025年如唐杰教授所说，人工智能 AI 几乎等同于多模态大语言模型 LLM。也就是，目前的智能很大一部分归功于谷歌的 Transformer 架构和 Attention 注意力机制；还有最底层的，深度神经网络。
本文讨论注意力机制前的深度学习（深度神经网络），虽然确实很多细节，如BP推导现在 PyTorch，TensorFlow 都完美支持根本不需要自己来，但了解一下还是十分有必要的。
（基于朱军老师的PPT）
机器学习模型可以通过优化不同目标来达成不同的目的：
- 误差修正学习
- 竞争学习
- 赫布学习
- 玻尔兹曼学习
- 基于记忆的学习
现在主流的深度神经网络（CNN，Transformer）都是基于误差修正学习，最小化损失函数（激活函数和损失函数 - alittlebear’s blog）。
深度学习是如何统治所有机器学习的学习类型的 - alittlebear’s blog 这篇文章可以看到现在的深度学习是如何融合之前这五种学习规则，变为各方面的全能。
研究分类任务的逻辑回归时被线性回归迷惑到了，这个文章来区分一下。
朴素贝叶斯 Naive Bayes classifier
逻辑回归 Logistic regression
指数族分布 Exponential family distributions
广义线性模型 Generalized linear models
本文分析生成式概率分类模型朴素贝叶斯和判别式概率分类模型逻辑回归的根源，关系，以及他们在广义线性模型框架下的统一。
（基于朱军老师的PPT和教科书《概率机器学习》）
二元分类任务可以看作是将输入（特征）空间分成两部分。
受AdaBoost启发的Margin Theory间隔理论 - alittlebear’s blog
从间隔理论的角度来看，SVM（支持向量机）的核心优化目标是最大化最小间隔。
（本页基于朱军老师的PPT）
整合一下
Logit在数学和机器学习的常用定义不一样但想法是类似的。Logit和Logistic（Sigmoid的一种函数）也很容易搞混。Softmax和Sigmoid除了单纯的多维输出推广也有其他的影响。
Sigmoid和Softmax的区别，优缺点，细节，和定义可以参考：激活函数和损失函数。