生成式模型、判别式模型、指数族分布、和广义线性模型
朴素贝叶斯 Naive Bayes classifier
逻辑回归 Logistic regression
指数族分布 Exponential family distributions
广义线性模型 Generalized linear models
本文分析生成式概率分类模型朴素贝叶斯和判别式概率分类模型逻辑回归的根源,关系,以及他们在广义线性模型框架下的统一。
(基于朱军老师的PPT和教科书《概率机器学习》)
朴素贝叶斯 Naive Bayes classifier
逻辑回归 Logistic regression
指数族分布 Exponential family distributions
广义线性模型 Generalized linear models
本文分析生成式概率分类模型朴素贝叶斯和判别式概率分类模型逻辑回归的根源,关系,以及他们在广义线性模型框架下的统一。
(基于朱军老师的PPT和教科书《概率机器学习》)
二元分类任务可以看作是将输入(特征)空间分成两部分。
受AdaBoost启发的Margin Theory间隔理论 - alittlebear’s blog
从间隔理论的角度来看,SVM(支持向量机)的核心优化目标是最大化最小间隔。
(本页基于朱军老师的PPT)
整合一下
Logit在数学和机器学习的常用定义不一样但想法是类似的。Logit和Logistic(Sigmoid的一种函数)也很容易搞混。Softmax和Sigmoid除了单纯的多维输出推广也有其他的影响。
Sigmoid和Softmax的区别,优缺点,细节,和定义可以参考:激活函数和损失函数。