机器学习培训模型
1、SVM
• 支持向量机(Support Vector Machine,SVM)是在分类与回归分析中
分析数据的监督式算法。
• 结构风险小化:在对给定的数据进行逼近的精度与逼近函数的复杂性相结合
来寻求佳比例,以便取得好的泛化能力
2、Logistic regression
• 逻辑回归的过程:面对一个回归或者分类问题,建立代价函数,然后通过优化方法
迭代求解出优的模型参数,然后测试验证我们这个求解的模型的好坏。
• 实际是一种分类模型,主要解决二分类问题。
3、kNN
• 用于分类时思路是:找出一个样本的k个近邻点,当这些邻居中的大多数属 于某一类别,就可以判定该样本也属于这一类别。
4、Decision Tree
• 决策树算法首先对数据进行处理,利用归纳算法生成可读的规则和决策树,
然后使用决策对新数据进行分析。
• 一种分类算法,本质上是通过一系列规则对数据进行分类的过程。
5、Random Forest
• 1.数据的随机性选取:从原始的数据集中采取有放回的抽样,构造子数据集。
• 2.待选特征的随机选取:随机森林中的子树的每一个分裂过程并未用到所有的待选特征,
而是从所有的待选特征中随机选取一定的特征,之后再在随机选取的特征中选取优的
特征
6、XGBoost
• XGBoost是GBDT(Gradient boosting Decision Tree梯度提升决策树)算法的高效实现。
• GBDT是采用梯度下降的思想、以之前生成所有的树为基础使得目标函数小化