EEPW论坛

转帖
机器学习算法数不胜数，要想找到一个合适的算法并不是一件简单的事情。通常在对精度要求较高的情况下，最好的方法便是通过交叉验证来对各个算法一一尝试，进行比较后再调整参数以确保每个算法都能达到最优解，并从优中择优。但是每次都进行这一操作不免过于繁琐，下面小编来分析下各个算法的优缺点，以助大家有针对性地进行选择，解决问题。

1.朴素贝叶斯

朴素贝叶斯的思想十分简单，对于给出的待分类项，求出在此项出现的条件下各个类别出现的概率，以概率大小确定分类项属于哪个类别。优点：1）朴素贝叶斯模型发源于古典数学理论，因此有着坚实的数学基础，以及稳定的分类效率；2）算法较简单，常用于文本分类；3）对小规模的数据表现很好，能够处理多分类任务，适合增量式训练。缺点：1）需要计算先验概率；2）对输入数据的表达形式很敏感；3）分类决策存在错误率。

2.逻辑回归

优点：1）实现简单，广泛地应用于工业问题上；2）可以结合L2正则化解决多重共线性问题；3）分类时计算量非常小，速度很快，存储资源低；缺点：1）不能很好地处理大量多类特征或变量；2）容易欠拟合，一般准确度较低；3）对于非线性特征，需要进行转换；4）当特征空间很大时，逻辑回归的性能不是很好；5）只能处理两分类问题（在该基础上衍生出来的softmax可以用于多分类），且必须线性可分。

3.线性回归

线性回归与逻辑回归不同，它是用于回归的，而不是用于分类。其基本思想是用梯度下降法对最小二乘法形式的误差函数进行优化。优点：实现简单，计算简单；缺点：不能拟合非线性数据。

4.最近邻算法

优点：1）对数据没有假设，准确度高；2）可用于非线性分类；3）训练时间复杂度为O(n)；4）理论成熟，思想简单，既可以用来做分类也可以用来做回归。缺点：1）计算量大；2）需要大量的内存；3）样本不平衡问题（即有些类别的样本数量很多，而其它样本的数量很少）。

5.决策树

优点：1）能够处理不相关的特征；2）在相对短的时间内能够对大型数据源做出可行且效果良好的分析；3）计算简单，易于理解，可解释性强；4）比较适合处理有缺失属性的样本。缺点：1）忽略了数据之间的相关性；2）容易发生过拟合（随机森林可以很大程度上减少过拟合）；3）在决策树当中,对于各类别样本数量不一致的数据，信息增益的结果偏向于那些具有更多数值的特征