1.前言
本篇博客主要叙述的是提升方法中的XGBoost,而XGBoost本身包含的技术点及算法优化太多,且网上已经有很多原理性的相关介绍了,但是笔者还是希望自己亲身走一遍XGBoost的原理理解过程,以此来更熟练的使用XGBoost。话不多说,此篇主要叙述基于CART决策树的XGBoost的代价函数的优化过程(即该模型的参数求解过程)。
本篇博客主要叙述的是提升方法中的XGBoost,而XGBoost本身包含的技术点及算法优化太多,且网上已经有很多原理性的相关介绍了,但是笔者还是希望自己亲身走一遍XGBoost的原理理解过程,以此来更熟练的使用XGBoost。话不多说,此篇主要叙述基于CART决策树的XGBoost的代价函数的优化过程(即该模型的参数求解过程)。
前言
本篇博客主要记录的是集成学习中的Boosting提升算法的相关实现,主要分为以下四个部分,Boosting的提出,Boosting经典算法Adaboost的分析与实现,Adaboost算法的特例提升树的分析,梯度提升算法GBDT的提出原因及分析。
终于历经两天把我的Hexo+Coding+Github双部署个人博客网站给搭建好了,并将之前的博客进行了转移,期间真是历经磨难,泪崩了简直要。各种各样的问题,网上有些百度的到,但也有一些百度不到的,或者说讲述的比较模糊的,我在这将所有遇到的困难和解决方法都记录了下来。
1.1 本篇博客主要记录的是基于CART决策树实现的随机森林算法,主要是从以下四个方面介绍: CART决策树的构建思想;集成学习中的Bagging思想;基于CART决策树的随机森林代码实现;随机森林不易过拟合的分析。(其中不易过拟合并不是说随机森林不会过拟合)
1.2 本篇博客之前的一篇博客决策树相关算法——ID3、C4.5的详细说明及实现详细的记录了决策树的思想,概念及相关公式的详解,此篇博客便不做雷同叙述。
本篇博客记录的是使用python
实现两个个决策树相关的算法模型—— ID3、C4.5。其中训练模型使用的数据集是Adult。尽管Sklearn包中都有这些算法的实现,但是自身根据算法思路实现一遍也是美滋滋的,其中酸甜自知(话说可以提高一定的代码编写能力和调试程序的能力),GitHub详细代码实现地址。
本篇博客记录的是论文Convolutional Neural Networks for Sentence Classification中的实验实现过程,一篇介绍使用CNN对句子进行分类的论文。尽管网上有些代码已经实现了使用CNN进行句子分类(TextCNN),但是是基于Theano来实现的,本文将介绍使用TensorFlow来实现整个论文的实验过程,一方面熟悉使用TensorFlow API,另一方面加深自己对CNN在NLP上的应用的理解。
实例的Github地址