Python大数据核心技术实战

    课程学习目标

    1.每个算法模块按照“原理讲解→分析数据→自己动手实现→特征与调参”的顺序。    2.“Python数据清洗和特征提取”，提升学习深度、降低学习坡度。    3.增加网络爬虫的原理和编写，从获取数据开始，重视将实践问题转换成实际模型的能力，分享工作中的实际案例或Kaggle案例：广告销量分析、环境数据异常检测和分析、数字图像手写体识别、Titanic乘客存活率预测、用户-电影推荐、真实新闻组数据主题分析、中文分词、股票数据特征分析等。    4.强化矩阵运算、概率论、数理统计的知识运用，掌握机器学习根本。    5.阐述机器学习原理，提供配套源码和数据。    6.以直观解释，增强感性理解。    7.对比不同的特征选择带来的预测效果差异。    8.重视项目实践，重视落地。思考不同算法之间的区别和联系，提高在实际工作中选择算法的能力。    9.涉及和讲解的部分Python库有：Numpy、Scipy、matplotlib、Pandas、scikit-learn、XGBoost、libSVM、LDA、Gensim、NLTK、HMMLearn。

    课程目标

    本课程特点是从数学层面推导最经典的机器学习算法，以及每种算法的示例和代码实现（Python）、如何做算法的参数调试、以实际应用案例分析各种算法的选择等。

细培训内容介绍

模块一机器学习的数学基础1 - 数学分析1. 机器学习的一般方法和横向比较2. 数学是有用的：以SVD为例3. 机器学习的角度看数学4. 复习数学分析5. 直观解释常数e6. 导数/梯度7. 随机梯度下降8. Taylor展式的落地应用9. gini系数10. 凸函数11. Jensen不等式12. 组合数与信息熵的关系模块二机器学习的数学基础2 - 概率论与贝叶斯先验1. 概率论基础2. 古典概型3. 贝叶斯公式4. 先验分布/后验分布/共轭分布5. 常见概率分布6. 泊松分布和指数分布的物理意义7. 协方差(矩阵)和相关系数8. 独立和不相关9. 大数定律和中心极限定理的实践意义10. 深刻理解最大似然估计MLE和最大后验估计MAP11. 过拟合的数学原理与解决方案模块三机器学习的数学基础3 - 矩阵和线性代数1. 线性代数在数学科学中的地位2. 马尔科夫模型3. 矩阵乘法的直观表达4. 状态转移矩阵5. 矩阵和向量组6. 特征向量的思考和实践计算7. QR分解8. 对称阵、正交阵、正定阵9. 数据白化及其应用10. 向量对向量求导11. 标量对向量求导12. 标量对矩阵求导工作机制模块四Python基础1 - Python及其数学库1. 解释器Python2.7与IDE：Anaconda/Pycharm2. Python基础：列表/元组/字典/类/文件3. Taylor展式的代码实现4. numpy/scipy/matplotlib/panda的介绍和典型使用5. 多元高斯分布6. 泊松分布、幂律分布7. 典型图像处理8. 蝴蝶效应9. 分形与可视化模块五Python基础2 - 机器学习库1. scikit-learn的介绍和典型使用2. 损失函数的绘制3. 多种数学曲线4. 多项式拟合5. 快速傅里叶变换FFT6. 奇异值分解SVD7. Soble/Prewitt/Laplacian算子与卷积网络8. 卷积与(指数)移动平均线9. 股票数据分析模块六Python基础3 - 数据清洗和特征选择1. 实际生产问题中算法和特征的关系2. 股票数据的特征提取和应用3. 一致性检验4. 缺失数据的处理5. 环境数据异常检测和分析6. 模糊数据查询和数据校正方法、算法、应用7. 朴素贝叶斯用于鸢尾花数据8. GaussianNB/MultinomialNB/BernoulliNB9. 朴素贝叶斯用于18000+篇/Sogou新闻文本的分类模块七 回归1. 线性回归2. Logistic/Softmax回归3. 广义线性回归4. L1/L2正则化5. Ridge与LASSO6. Elastic Net7. 梯度下降算法：BGD与SGD8. 特征选择与过拟合模块八Logistic回归1. Sigmoid函数的直观解释2. Softmax回归的概念源头3. Logistic/Softmax回归4. 最大熵模型5. K-L散度6. 损失函数7. Softmax回归的实现与调参模块九回归实践1. 机器学习sklearn库介绍2. 线性回归代码实现和调参3. Softmax回归代码实现和调参4. Ridge回归/LASSO/Elastic Net5. Logistic/Softmax回归6. 广告投入与销售额回归分析7. 鸢尾花数据集的分类8. 交叉验证9. 数据可视化模块十决策树和随机森林1. 熵、联合熵、条件熵、KL散度、互信息2. 最大似然估计与最大熵模型3. ID3、C4.5、CART详解4. 决策树的正则化5. 预剪枝和后剪枝6. Bagging7. 随机森林8. 不平衡数据集的处理9. 利用随机森林做特征选择10. 使用随机森林计算样本相似度11. 数据异常值检测模块十一随机森林实践1. 随机森林与特征选择2. 决策树应用于回归3. 多标记的决策树回归4. 决策树和随机森林的可视化5. 葡萄酒数据集的决策树/随机森林分类6. 波士顿房价预测模块十二提升1. 提升为什么有效2. 梯度提升决策树GBDT3. XGBoost算法详解4. Adaboost算法5. 加法模型与指数损失模块十三提升实践1. Adaboost用于蘑菇数据分类2. Adaboost与随机森林的比较3. XGBoost库介绍4. Taylor展式与学习算法5. KAGGLE简介6. 泰坦尼克乘客存活率估计模块十四SVM1. 线性可分支持向量机2. 软间隔的改进3. 损失函数的理解4. 核函数的原理和选择5. SMO算法6. 支持向量回归SVR模块十五SVM实践1. libSVM代码库介绍2. 原始数据和特征提取3. 葡萄酒数据分类4. 数字图像的手写体识别5. SVR用于时间序列曲线预测6. SVM、Logistic回归、随机森林三者的横向比较模块十六聚类（一）1. 各种相似度度量及其相互关系2. Jaccard相似度和准确率、召回率3. Pearson相关系数与余弦相似度4. K-means与K-Medoids及变种5. AP算法(Sci07)/LPA算法及其应用模块十七聚类（二）1. 密度聚类DBSCAN/DensityPeak(Sci14)2. DensityPeak(Sci14)3. 谱聚类SC4. 聚类评价AMI/ARI/Silhouette5. LPA算法及其应用模块十八聚类实践1. K-Means++算法原理和实现2. 向量量化VQ及图像近似3. 并查集的实践应用4. 密度聚类的代码实现5. 谱聚类用于图片分割模块十九EM算法1. 最大似然估计2. Jensen不等式3. 朴素理解EM算法4. 精确推导EM算法5. EM算法的深入理解6. 混合高斯分布7. 主题模型pLSA模块二十EM算法实践1. 多元高斯分布的EM实现2. 分类结果的数据可视化3. EM与聚类的比较4. Dirichlet过程EM5. 三维及等高线等图件的绘制6. 主题模型pLSA与EM算法模块二十一主题模型LDA1. 贝叶斯学派的模型认识2. Beta分布与二项分布3. 共轭先验分布4. Dirichlet分布5. Laplace平滑6. Gibbs采样详解模块二十二LDA实践1. 网络爬虫的原理和代码实现2. 停止词和高频词3. 动手自己实现LDA4. LDA开源包的使用和过程分析5. Metropolis-Hastings算法6. MCMC7. LDA与word2vec的比较8. TextRank算法与实践模块二十三隐马尔科夫模型HMM1. 概率计算问题2. 前向/后向算法3. HMM的参数学习4. Baum-Welch算法详解5. Viterbi算法详解6. 隐马尔科夫模型的应用优劣比较模块二十四HMM实践1. 动手自己实现HMM用于中文分词2. 多个语言分词开源包的使用和过程分析3. 文件数据格式UFT-8、Unicode4. 停止词和标点符号对分词的影响5. 前向后向算法计算概率溢出的解决方案6. 发现新词和分词效果分析7. 高斯混合模型HMM8. GMM-HMM用于股票数据特征提取模块二十五课堂提问与互动讨论

    张老师：

    阿里大数据高级专家，国内资深的Spark、Hadoop技术专家、虚拟化专家，对HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生态系统中的技术进行了多年的深入的研究，更主要的是这些技术在大量的实际项目中得到广泛的应用，因此在Hadoop开发和运维方面积累了丰富的项目实施经验。近年主要典型的项目有：某电信集团网络优化、中国移动某省移动公司请账单系统和某省移动详单实时查询系统、中国银联大数据数据票据详单平台、某大型银行大数据记录系统、某大型通信运营商全国用户上网记录、某省交通部门违章系统、某区域医疗大数据应用项目、互联网公共数据大云(DAAS)和构建游戏云(Web Game Daas)平台项目等。

大数据分析应用开发工程师、大数据分析项目的规划咨询管理人员、大数据分析项目的IT项目高管人员、大数据分析与挖掘处理算法应用工程师、大数据分析集群运维工程师、大数据分析项目的售前和售后技术支持服务人员。

课程费用：7800元/人