深度学习从刚开始的统治有监督学习，到（Transformer的注意力机制后的）统治无（自）监督学习，其表征学习能力远远超过传统机器学习。

本文从传统机器学习的学习任务种类角度来分析深度学习是如何统治有监督和无（自）监督学习的；此外，还将分析现在的各种生成式模型都基于哪些机器学习的学习规则 - alittlebear’s blog。

什么是深度学习

神经元模型与神经网络

神经网络的优化

卷积神经网络 CNN

循环神经网络 RNN

2025年如唐杰教授所说，人工智能 AI 几乎等同于多模态大语言模型 LLM。也就是，目前的智能很大一部分归功于谷歌的 Transformer 架构和 Attention 注意力机制；还有最底层的，深度神经网络。

本文讨论注意力机制前的深度学习（深度神经网络），虽然确实很多细节，如BP推导现在 PyTorch，TensorFlow 都完美支持根本不需要自己来，但了解一下还是十分有必要的。

（基于朱军老师的PPT）

机器学习模型可以通过优化不同目标来达成不同的目的：

• 误差修正学习
• 竞争学习
• 赫布学习
• 玻尔兹曼学习
• 基于记忆的学习

现在主流的深度神经网络（CNN，Transformer）都是基于误差修正学习，最小化损失函数（激活函数和损失函数 - alittlebear’s blog）。

深度学习是如何统治所有机器学习的学习类型的 - alittlebear’s blog 这篇文章可以看到现在的深度学习是如何融合之前这五种学习规则，变为各方面的全能。

研究分类任务的逻辑回归时被线性回归迷惑到了，这个文章来区分一下。

朴素贝叶斯 Naive Bayes classifier

逻辑回归 Logistic regression

指数族分布 Exponential family distributions

广义线性模型 Generalized linear models

本文分析生成式概率分类模型朴素贝叶斯和判别式概率分类模型逻辑回归的根源，关系，以及他们在广义线性模型框架下的统一。

（基于朱军老师的PPT和教科书《概率机器学习》）