【课程目标】
本数据分析与挖掘系列课程包括三个等级的课程：
1、 基础课程，专注于经营数据的统计与数据分析，适合于一般业务部门要求的数据统计与分析，内容系统且全面，由浅入深，使用工具为Excel 2010版本以上。
2、 中级课程，专注于行业数据分析与数据挖掘，适合于数据分析部、业务支撑部等对数据分析与挖掘要求较高的部门，使用专业数据分析与挖掘工具SPSS v19版本以上。
3、 高级课程，专注于较深入的数据挖掘技术，包括挖掘模型原理介绍，数据建模，挖掘算法，适合于大数据系统开发及数据分析专业人士，需要有一定的数学基础（统计与概率），使用数据流挖掘工具Modeler 14.1版本以上。
本课程为高级课程，面向数据分析部等专门负责数据分析与挖掘的人士。
本课程培训覆盖以下内容：
1、 数据挖掘标准流程。
2、 数据挖掘探索性分析。
3、 数据挖掘模型原理。
本课程从实际的电信运营商的业务需求出发，对数据分析及数据挖掘技术进行了全面的介绍，通过大量的操作演练，帮助学员掌握数据分析和数据挖掘的思路、方法、工具，从大量的企业经营数据中进行分析，发现业务运作规律，进行客户洞察，挖掘客户行为特点，消费行为，实现精准营销，帮助运营团队深入理解业务运作，以达到提升学员的数据综合分析能力，支撑运营决策的目的。
通过本课程的学习，达到如下目的：
1、 掌握数据挖掘的基本过程和步骤。
2、 掌握数据挖掘的预处理方法，探索数据间的相关性，为建模打下基础。
3、 理解数据挖掘的常见模型，原理及适用场景。
4、 熟练掌握Modeler基本操作，能利用Modeler进行数据挖掘。
【授课时间】
2天时间
【授课对象】
业务支撑、网络中心、IT系统部、数据分析部等对业务数据分析有较高要求的相关专业人员。
【学员要求】
1、 每个学员自备一台便携机(必须)。
2、 便携机中事先安装好SPSS modeler v14.1版本以上软件。
注：讲师可以提供试用版本软件及分析数据源。
【授课方式】
基础知识精讲+案例演练+ 实际业务问题分析 + SPSS实际操作
本课程突出数据挖掘的实际应用，结合行业的典型应用特点，从实际问题入手，引出相关知识，进行大数据的收集与处理；探索数据之间的规律及关联性，帮助学员掌握系统的数据预处理方法；介绍常用的模型，训练模型，并优化模型，以达到最优分析结果。
【课程大纲】
第一部分： 数据挖掘标准流程
1、 数据挖掘概述
2、 数据挖掘的标准流程（CRISP-DM）
商业理解
数据准备
数据理解
模型建立
模型评估
模型应用
案例：通信客户流失分析及预警模型
3、 数据建模示例
案例：宜家IKE如何通过数据挖掘来降低营销成本提升利润？
第二部分： 数据预处理过程
1、 数据挖掘处理的一般过程
数据源数据理解数据准备探索分析数据建模模型评估
2、 数据读入
读入文本文件
读入Excel电子表格
读入SPSS格式文件
读入数据库数据
3、 数据集成
变量合并（增加变量）
数据追加（添加记录）
4、 数据理解
取值范围限定
重复数据处理
缺失值处理
无效值处理
离群点和极端值的修正
数据质量评估
5、 数据准备：数据处理
数据筛选：数据抽样/选择（减少样本数量）
数据精简：数据分段/离散化（减少变量的取值）
数据平衡：正反样本比例均衡
其它：排序、分类汇总
6、 数据准备：变量处理
变量变换：原变量值更新
变量派生：生成新的变量
变量精简：降维，减少变量个数
7、 基本分析
单变量：数据基本描述分析
双变量：相关性分析
变量精简：特征选择、因子分析
8、 特征选择
特征选择方法：选择重要变量，剔除不重要的变量
从变量本身考虑
从输入变量与目标变量的相关性考虑
9、 因子分析（主成分分析）
因子分析的原理
因子个数如何选择
如何解读因子含义
案例：提取影响电信客户流失的主成分分析
第三部分： 因素影响分析（特征重要性分析）
问题：如何判断一个因素对另一个因素有影响？
比如营销费用是否会影响销售额？产品价格是否会影响销量？产品的陈列位置是否会影响销量？
1、 常用特征重要性分析的方法
特征选择（减少变量个数）：相关分析、方差分析、卡方检验
因子分析（减少变量个数）：主成分分析
确定变量个数参考表
2、 相关分析（数值+数值，相关程度计算）
问题：这两个属性是否会相互影响？影响程度大吗？
相关分析概述
相关系数计算公式
相关性假设检验
案例：通信基本费用与开通月数的相关分析
3、 方差分析（分类+数值，影响因素分析）
问题：哪些才是影响销量的关键因素？
方差分析原理
方差分析的步骤
方差分析适用场景
案例：开通月数对客户流失的影响分析
4、 列联分析（分类+分类，影响因素分析）
列联表的原理
卡方检验的步骤
列联表分析的适用场景
案例：套餐类型对对客户流失的影响分析
第四部分： 数值预测模型篇
问题：如何预测产品的销量/销售金额？如果产品跟随季节性变动，该如何预测？新产品上市，如果评估销量上限及销售增速？
1、 销量预测与市场预测——让你看得更远
2、 回归预测/回归分析
问题：如何预测未来的销售量（定量分析）？
回归分析的基本原理和应用场景
回归分析的种类（一元/多元、线性/曲线）
得到回归方程的几种常用方法
回归分析的五个步骤与结果解读
回归预测结果评估（如何评估预测质量，如何选择最佳回归模型）
演练：散点图找推广费用与销售额的关系（一元线性回归）
演练：推广费用、办公费用与销售额的关系（多元线性回归）
演练：让你的营销费用预算更准确
演练：如何选择最佳的回归预测模型（曲线回归）
带分类变量的回归预测
演练：汽车季度销量预测
演练：工龄、性别与终端销量的关系
演练：如何评估销售目标与资源配置（营业厅）
3、 时序预测
问题：随着时间变化，未来的销量变化趋势如何？
时序分析的应用场景（基于时间的变化规律）
移动平均MA的预测原理
指数平滑ES的预测原理
自回归移动平均ARIMA模型
如何评估预测值的准确性？
案例：销售额的时序预测及评估
演练：汽车销量预测及评估
演练：电视机销量预测分析
演练：上海证券交易所综合指数收益率序列分析
演练：服装销售数据季节性趋势预测分析
4、 季节性预测模型
季节性回归模型的参数
常用季节性预测模型（相加、相乘）
案例：美国航空旅客里程的季节性趋势分析
案例：产品销售季节性趋势预测分析
5、 新产品预测模型与S曲线
如何评估销量增长的拐点
珀尔曲线与龚铂兹曲线
案例：如何预测产品的销售增长拐点，以及销量上限
演戏：预测IPad产品的销量
6、 自定义模型（如何利用规划求解进行自定义模型）
案例：如何对餐厅客流量进行建模及模型优化
第五部分： 回归模型优化篇
1、 回归模型的基本原理
三个基本概念：总变差、回归变差、剩余变差
方程的显著性检验：是否可以做回归分析？
拟合优度检验：回归模型的质量评估？
因素的显著性检验：自变量是否可用？
理解标准误差的含义：预测的准确性？
2、 模型优化思路：寻找最佳回归拟合线
如何处理异常数据（残差与异常值排除）
如何剔除非显著因素（因素显著性检验）
如何进行非线性关系检验
如何进行相互作用检验
如何进行多重共线性检验
如何检验误差项
如何判断模型过拟合
案例：模型优化案例
第六部分： 分类预测模型
1、 分类概述
分类的基本过程
常见分类预测模型
2、 逻辑回归分析模型
问题：如果评估用户是否购买产品的概率？
逻辑回归分析
逻辑回归的原理
案例：客户购买预测分析（二元逻辑回归）
3、 决策树分类
问题：如何提取客户流失者、拖欠货款者的特征？如何预测其流失的概率？
决策树分类的原理
决策树的三个关键问题
决策树算法
如何评估分类模型的性能（查准率、查全率）
案例：识别银行欠货风险，提取欠货者的特征
案例：客户流失预警与客户挽留模型
4、 神经网络
神经网络概述
神经元工作原理
神经网络的建立步骤
B-P反向传播网络（MLP）
径向基函数网络（RBF）
5、 支持向量机
SVM基本原理
维灾难与核函数
6、 朴素贝叶斯分类
条件概率
朴素贝叶斯
TAN贝叶斯网络
马尔科夫毯网络
第七部分： 客户细分与聚类
1、 客户细分常用方法
2、 聚类分析（Clustering）
问题：如何对市场进行细分？如何提取客户特征，从而对产品进行市场定位？
聚类方法原理介绍
聚类方法适用场景
如何细分客户群，并提取出客户群的特征？
K均值聚类（快速聚类）
两步聚类
案例：移动三大品牌细分市场合适吗？
演练：宝洁公司如何选择新产品试销区域？
3、 RFM模型分析
RFM模型，更深入了解你的客户价值
RFM模型与市场策略
RFM模型与活跃度
案例：淘宝客户价值评估与促销名单
第八部分： 产品推荐与关联分析
问题：购买面包的人是否也会购买牛奶？他们同时购买哪些产品？
关联规则原理介绍
关联规则适用场景：交叉销售、捆绑营销、产品布局
案例：超市商品交叉销售与布局优化（关联分析）
结束：课程总结与问题答疑。
