目标
一、数据处理知识
（1）基本的概率与统计学名词概念，数据类型，数据预处理（过滤、排序、排重、合并等），常用统计量计算公式（频度、中值、方差等），数据展现的常见形式。Excel常用操作。
数据预处理
1.数据清洗2.数据集成3.数据转换4.数据归约
1.数据清洗
现实世界的数据一般是不完整的、有噪声的和不一致的。数据清理例程试图填充缺失的值，光滑噪声并识别离群点，纠正数据中的不一致。
（1）缺失值处理
①忽略元组：当缺少类标号时通常这样做。除非元组有多个属性缺少值，否则该方法不是很有效。
②人工填写缺失值：一般情况下，该方法很费时。
③使用一个全局常量填充缺失值：将缺失值用同一个常数（如Unknown或﹣∞）替换。如果缺失值都用Unknown替换，则挖掘程序可能误认为它们形成了一个有趣的概念，因为它们都具有相同的值“Unknown”。因此此方法虽然简单但不可靠。
④使用属性的均值填充缺失值：例如，假定顾客的平均收入为56000美元，则使用该值替换income中的缺失值。
⑤使用与给定元组属同一类的所有样本的属性均值，例如，将顾客按credit_risk分类，则用具有相同信用度给定元组的顾客的平均收入替换income中的缺失值。
⑥使用最可能的值填充缺失值：可以用回归、使用贝叶斯形式化的基于推理的工具或决策树归纳确定。例如，利用数据集中其他顾客的属性，可以构造一棵决策树来预测income的缺失值。
（2）噪声数据处理
噪声（noise）是被测量的变量的随机误差或方差。给定一个数值属性（如price），怎样才能光滑数据，去掉噪声？下面介绍数据光滑技术。
①分箱（binning）：分箱方法通过考察数据的“近邻”来光滑有序数据的值。有序值分布到一些桶或箱中。由于分箱方法考察近邻的值，因此是对数据进行局部光滑。
例如：price排序后数据（美元）：4,8,15,21,21,24,25,28,34
划分为（等频）箱：
箱1:4,8,15
箱2:21,21,24
箱3:25,28,34
用箱均值光滑：
箱1:9,9,9
箱2:22,22,22
箱3:29,29,29
用箱边界光滑：
箱1:4,4,15
箱2:21,21,24
箱3:25,25,34
②回归：可以用一个函数（如回归函数）拟合数据来光滑数据。
③聚类：可以通过聚类检测离群点，将类似的值组织成群或簇。直观地，落在簇集合之外的值视为离群点。
（3)数据不一致的处理
作为一位数据分析人员，应当警惕编码使用的不一致问题和数据表示的不一致问题（如日期“2004/12/25”和“25/12/2004”）。字段过载（field overloading）是另一种错误源，通常是由如下原因导致：开发者将新属性的定义挤压到已经定义的属性的未使用（位）部分（例如，使用一个属性未使用的位，该属性取值已经使用了32位中的31位）。
清洗工具
ETL（Extraction/Transformation/Loading）
Potter‘s Wheel(http://control.cs.berkeley.edu/abc)
2.数据集成
数据分析任务多半涉及数据集成。数据集成是指将多个数据源中的数据合并并存放到一个一致的数据存储（如数据仓库）中。这些数据源可能包括多个数据库、数据立方体或一般文件。在数据集成时，有许多问题需要考虑。模式集成和对象匹配可能需要技巧。来自多个信息源的现实世界的等价实体如何才能匹配？这涉及实体识别问题。例如，数据分析者或计算机如何才能确信一个数据库中的customer_id和另一个数据库中的cust_number指的是相同的属性？每个属性的元数据包括名字、含义、数据类型和属性的允许取值范围，以及处理空白、零或null值的空值规则。这样的元数据可以用来帮助避免模式集成的错误。元数据还可以用来帮助变换数据（例如，pay_type的数据编码在一个数据库中可以是“H”和“S”，而在另一个数据库中是1和2）。因此，这一步也与前面介绍的数据清理有关。
另外冗余也是一个重要问题。一个属性可能是冗余的，如果它能由另一个或另一组属性导出。属性或维命名的不一致也可能导致结果数据集中的冗余。有些冗余可以被相关分析检测到。注意，相关并不意味因果关系。也就是说，如果A和B是相关的，这并不意味着A导致B或B导致A。例如，在分析人口统计数据库时，可能发现一个地区的医院数与汽车盗窃数是相关的，但这并不意味一个导致另一个。实际上，二者必然地关联到第三个属性：人口。对于分类（离散）数据，两个属性A和B之间的相关联系可以通过卡方检验发现。除了检测属性间的冗余外，还应当在元组级检测重复。去规范化表（denormalized table）的使用是数据冗余的另一个来源。
数据集成的第三个重要问题是数据值冲突的检测与处理。例如，对于现实世界的同一实体，来自不同数据源的属性值可能不同。这可能是因为表示方法、比例或编码不同。例如，重量属性可能在一个系统中以公制单位存放，而在另一个系统中以英制单位存放。对于连锁旅馆，不同城市的房价不仅可能涉及不同货币，而且可能涉及不同的服务（如免费早餐）和税。
3.数据变换
数据变换是指将数据转换或统一成适合于挖掘的形式。
（1）数据泛化：使用概念分层，用高层概念替换低层或“原始”数据。例如，分类的属性，如街道，可以泛化为较高层的概念，如城市或国家。类似地，数值属性如年龄，可以映射到较高层概念如青年、中年和老年。
（2）规范化：将属性数据按比例缩放，使之落入一个小的特定区间。大致可分三种：最小最大规范化、z-score规范化和按小数定标规范化。
（3）属性构造：可以构造新的属性并添加到属性集中，以帮助挖掘过程。例如，可能希望根据属性height和width添加属性area。通过属性构造可以发现关于数据属性间联系的丢失信息，这对知识发现是有用的。
4.数据归约
（1）数据立方体聚集：聚集操作用于数据立方体结构中的数据。
（2）属性子集选择：通过删除不相关或冗余的属性（或维）减小数据集。属性子集选择的目标是找出最小属性集，使得数据类的概率分布尽可能地接近使用所有属性得到的原分布。对于属性子集选择，一般使用压缩搜索空间的启发式算法。通常，这些方法是贪心算法，在搜索属性空间时，总是做看上去当时最佳的选择。策略是做局部最优选择，期望由此导致全局最优解。在实践中，这种贪心算法是有效地，并可以逼近最优解。
①逐步向前选择：该过程由空属性集作为归约集开始，确定原属性集中最好的属性，并将它添加到归约集中。在其后的每一次迭代步，将剩下的原属性集中最好的属性添加到该集合中。
②逐步向后删除：该过程由整个属性集开始。在每一步，删除尚在属性集中最差的属性。
③向前选择和向后删除的结合
④决策树归纳：决策树算法，如ID3、C4.5和CART最初是用于分类的。决策树归纳构造一个类似于流程图的结构，其中每个内部（非树叶）节点表示一个属性的测试，每个分枝对应于测试的一个输出；每个外部（树叶）节点表示一个类预测。在每个节点，算法选择最好的属性，将数据划分成类。
（3）维度归约：使用编码机制减小数据集的规模，例如：小波变换和主成分分析。
（4）数值归约：用替代的、较小的数据表示替换或估计数据，如参数模型（只需要存放模型参数，不是实际数据）或非参数方法，如聚类、抽样和使用直方图。
（5）离散化和概念分层产生：属性的原始数据值用区间值或较高层的概念替换。数据离散化是一种数据归约形式，对于概念分层的自动产生是有用的。离散化和概念分层产生是数据挖掘强有力的工具，允许挖掘多个抽象层的数据。
很重要的是，用于数据归约的计算时间不应当超过或“抵消”对归约数据挖掘节省的时间。
（2）常用概率分布函数，基本抽样方法，测量的信度和效度，基本假设检验；描述性统计分析，趋势分析、相关分析。熟练掌握一种统计分析软件（如 Excel、SPSS、SAS、Matlab、R、Mathematica 等）。
（3）多元统计分析（线性回归、主成分分析、因子分析），聚类方法，判别分析；更多的统计检验方法（卡方检验、f检验、正态性检验等）；时间序列分析。
（4）广义线性模型，生存分析，EM算法，Monte Carlo模拟方法。关联规则，结构方程，贝叶斯推断，实验设计，敏感度分析；运筹学知识（线性规划、非线性规划、优化问题的数值求解方法）
二、技术知识
（1）具备操作系统、数据库、软件工程等计算机基础理论知识；
（2）*了解渠道、计费和营销等相关概念；
*能运用各类监控平台辅助数据搜集及分析；
*了解数据库基础知识；
（3）**熟悉所负责系统的架构设计和业务流程；对行业数据有深入了解；
*了解产品和技术的融合方式，以数据为核心给出结论
*了解数据仓库基本概念，数据模型基本概念，基础数据操作语言
（4）对互联网行业的相关技术的核心内容有比较深入的了解和掌握，对各种行业数据有敏锐的嗅觉，并能够根据互联网行业的最新技术发展趋势，结合产品自身的特色把技术优势转化为产品竞争力
三、基础技术能力
（2）*熟练使用海量（不做硬性要求）数据处理工具，或者熟悉数据库处理效率及优化手段，存储过程、shell脚本编写，独立完成海量数据处理过程。
*了解上报系统，etl系统，数据源生成相关的生产系统，掌握数据生成、产生过程，保证数据生成逻辑正确，快速定位数据质量等问题
（3）*主导过部门级数据分析项目的数据生产、计算，设计中间与结果数据结构，提高分析过程效率；根据经验评估，结合分布式数据处理等海量或精细化数据处理技术应用场景，评估数据处理系统合理性；系统全面的了解常用的生产系统，提供数据采集的解决方案，结合3-2，3-3的要求是否对应纬度需要说明
*主导过跨部门的数据分析项目的数据生产、计算，设计中间与结果数据结构，提高分析过程效率；根据经验评估数据处理系统合理性；系统全面的了解常用的生产系统，快速理解跨部门的源数据采集的生产系统，提供整体的数据采集的解决方案。
*主导过公司级的数据分析项目的数据建设，并且提炼方法论，供团队提高工作效率；主动推进相关的流程建设、工具建设，提高元数据管理效率和数据质量。
（4）*掌握业界数据建设趋势，指导团队数据建设技术选型，技术成果代表业界最高水平，经验辐射到公司数据分析团队，提高整体的数据建设水平。
（1）基本的概率与统计学名词概念，数据类型，数据预处理（过滤、排序、排重、合并等），常用统计量计算公式（频度、中值、方差等），数据展现的常见形式。Excel常用操作。
数据预处理
1.数据清洗2.数据集成3.数据转换4.数据归约
1.数据清洗
现实世界的数据一般是不完整的、有噪声的和不一致的。数据清理例程试图填充缺失的值，光滑噪声并识别离群点，纠正数据中的不一致。
（1）缺失值处理
①忽略元组：当缺少类标号时通常这样做。除非元组有多个属性缺少值，否则该方法不是很有效。
②人工填写缺失值：一般情况下，该方法很费时。
③使用一个全局常量填充缺失值：将缺失值用同一个常数（如Unknown或﹣∞）替换。如果缺失值都用Unknown替换，则挖掘程序可能误认为它们形成了一个有趣的概念，因为它们都具有相同的值“Unknown”。因此此方法虽然简单但不可靠。
④使用属性的均值填充缺失值：例如，假定顾客的平均收入为56000美元，则使用该值替换income中的缺失值。
⑤使用与给定元组属同一类的所有样本的属性均值，例如，将顾客按credit_risk分类，则用具有相同信用度给定元组的顾客的平均收入替换income中的缺失值。
⑥使用最可能的值填充缺失值：可以用回归、使用贝叶斯形式化的基于推理的工具或决策树归纳确定。例如，利用数据集中其他顾客的属性，可以构造一棵决策树来预测income的缺失值。
（2）噪声数据处理
噪声（noise）是被测量的变量的随机误差或方差。给定一个数值属性（如price），怎样才能光滑数据，去掉噪声？下面介绍数据光滑技术。
①分箱（binning）：分箱方法通过考察数据的“近邻”来光滑有序数据的值。有序值分布到一些桶或箱中。由于分箱方法考察近邻的值，因此是对数据进行局部光滑。
例如：price排序后数据（美元）：4,8,15,21,21,24,25,28,34
划分为（等频）箱：
箱1:4,8,15
箱2:21,21,24
箱3:25,28,34
用箱均值光滑：
箱1:9,9,9
箱2:22,22,22
箱3:29,29,29
用箱边界光滑：
箱1:4,4,15
箱2:21,21,24
箱3:25,25,34
②回归：可以用一个函数（如回归函数）拟合数据来光滑数据。
③聚类：可以通过聚类检测离群点，将类似的值组织成群或簇。直观地，落在簇集合之外的值视为离群点。
（3)数据不一致的处理
作为一位数据分析人员，应当警惕编码使用的不一致问题和数据表示的不一致问题（如日期“2004/12/25”和“25/12/2004”）。字段过载（field overloading）是另一种错误源，通常是由如下原因导致：开发者将新属性的定义挤压到已经定义的属性的未使用（位）部分（例如，使用一个属性未使用的位，该属性取值已经使用了32位中的31位）。
清洗工具
ETL（Extraction/Transformation/Loading）
Potter‘s Wheel(http://control.cs.berkeley.edu/abc)
2.数据集成
数据分析任务多半涉及数据集成。数据集成是指将多个数据源中的数据合并并存放到一个一致的数据存储（如数据仓库）中。这些数据源可能包括多个数据库、数据立方体或一般文件。在数据集成时，有许多问题需要考虑。模式集成和对象匹配可能需要技巧。来自多个信息源的现实世界的等价实体如何才能匹配？这涉及实体识别问题。例如，数据分析者或计算机如何才能确信一个数据库中的customer_id和另一个数据库中的cust_number指的是相同的属性？每个属性的元数据包括名字、含义、数据类型和属性的允许取值范围，以及处理空白、零或null值的空值规则。这样的元数据可以用来帮助避免模式集成的错误。元数据还可以用来帮助变换数据（例如，pay_type的数据编码在一个数据库中可以是“H”和“S”，而在另一个数据库中是1和2）。因此，这一步也与前面介绍的数据清理有关。
另外冗余也是一个重要问题。一个属性可能是冗余的，如果它能由另一个或另一组属性导出。属性或维命名的不一致也可能导致结果数据集中的冗余。有些冗余可以被相关分析检测到。注意，相关并不意味因果关系。也就是说，如果A和B是相关的，这并不意味着A导致B或B导致A。例如，在分析人口统计数据库时，可能发现一个地区的医院数与汽车盗窃数是相关的，但这并不意味一个导致另一个。实际上，二者必然地关联到第三个属性：人口。对于分类（离散）数据，两个属性A和B之间的相关联系可以通过卡方检验发现。除了检测属性间的冗余外，还应当在元组级检测重复。去规范化表（denormalized table）的使用是数据冗余的另一个来源。
数据集成的第三个重要问题是数据值冲突的检测与处理。例如，对于现实世界的同一实体，来自不同数据源的属性值可能不同。这可能是因为表示方法、比例或编码不同。例如，重量属性可能在一个系统中以公制单位存放，而在另一个系统中以英制单位存放。对于连锁旅馆，不同城市的房价不仅可能涉及不同货币，而且可能涉及不同的服务（如免费早餐）和税。
3.数据变换
数据变换是指将数据转换或统一成适合于挖掘的形式。
（1）数据泛化：使用概念分层，用高层概念替换低层或“原始”数据。例如，分类的属性，如街道，可以泛化为较高层的概念，如城市或国家。类似地，数值属性如年龄，可以映射到较高层概念如青年、中年和老年。
（2）规范化：将属性数据按比例缩放，使之落入一个小的特定区间。大致可分三种：最小最大规范化、z-score规范化和按小数定标规范化。
（3）属性构造：可以构造新的属性并添加到属性集中，以帮助挖掘过程。例如，可能希望根据属性height和width添加属性area。通过属性构造可以发现关于数据属性间联系的丢失信息，这对知识发现是有用的。
4.数据归约
（1）数据立方体聚集：聚集操作用于数据立方体结构中的数据。
（2）属性子集选择：通过删除不相关或冗余的属性（或维）减小数据集。属性子集选择的目标是找出最小属性集，使得数据类的概率分布尽可能地接近使用所有属性得到的原分布。对于属性子集选择，一般使用压缩搜索空间的启发式算法。通常，这些方法是贪心算法，在搜索属性空间时，总是做看上去当时最佳的选择。策略是做局部最优选择，期望由此导致全局最优解。在实践中，这种贪心算法是有效地，并可以逼近最优解。
①逐步向前选择：该过程由空属性集作为归约集开始，确定原属性集中最好的属性，并将它添加到归约集中。在其后的每一次迭代步，将剩下的原属性集中最好的属性添加到该集合中。
②逐步向后删除：该过程由整个属性集开始。在每一步，删除尚在属性集中最差的属性。
③向前选择和向后删除的结合
④决策树归纳：决策树算法，如ID3、C4.5和CART最初是用于分类的。决策树归纳构造一个类似于流程图的结构，其中每个内部（非树叶）节点表示一个属性的测试，每个分枝对应于测试的一个输出；每个外部（树叶）节点表示一个类预测。在每个节点，算法选择最好的属性，将数据划分成类。
（3）维度归约：使用编码机制减小数据集的规模，例如：小波变换和主成分分析。
（4）数值归约：用替代的、较小的数据表示替换或估计数据，如参数模型（只需要存放模型参数，不是实际数据）或非参数方法，如聚类、抽样和使用直方图。
（5）离散化和概念分层产生：属性的原始数据值用区间值或较高层的概念替换。数据离散化是一种数据归约形式，对于概念分层的自动产生是有用的。离散化和概念分层产生是数据挖掘强有力的工具，允许挖掘多个抽象层的数据。
很重要的是，用于数据归约的计算时间不应当超过或“抵消”对归约数据挖掘节省的时间。
（2）常用概率分布函数，基本抽样方法，测量的信度和效度，基本假设检验；描述性统计分析，趋势分析、相关分析。熟练掌握一种统计分析软件（如 Excel、SPSS、SAS、Matlab、R、Mathematica 等）。
（3）多元统计分析（线性回归、主成分分析、因子分析），聚类方法，判别分析；更多的统计检验方法（卡方检验、f检验、正态性检验等）；时间序列分析。
（4）广义线性模型，生存分析，EM算法，Monte Carlo模拟方法。关联规则，结构方程，贝叶斯推断，实验设计，敏感度分析；运筹学知识（线性规划、非线性规划、优化问题的数值求解方法）
二、技术知识
（1）具备操作系统、数据库、软件工程等计算机基础理论知识；
（2）*了解渠道、计费和营销等相关概念；
*能运用各类监控平台辅助数据搜集及分析；
*了解数据库基础知识；
（3）**熟悉所负责系统的架构设计和业务流程；对行业数据有深入了解；
*了解产品和技术的融合方式，以数据为核心给出结论
*了解数据仓库基本概念，数据模型基本概念，基础数据操作语言
（4）对互联网行业的相关技术的核心内容有比较深入的了解和掌握，对各种行业数据有敏锐的嗅觉，并能够根据互联网行业的最新技术发展趋势，结合产品自身的特色把技术优势转化为产品竞争力
三、基础技术能力
（2）*熟练使用海量（不做硬性要求）数据处理工具，或者熟悉数据库处理效率及优化手段，存储过程、shell脚本编写，独立完成海量数据处理过程。
*了解上报系统，etl系统，数据源生成相关的生产系统，掌握数据生成、产生过程，保证数据生成逻辑正确，快速定位数据质量等问题
（3）*主导过部门级数据分析项目的数据生产、计算，设计中间与结果数据结构，提高分析过程效率；根据经验评估，结合分布式数据处理等海量或精细化数据处理技术应用场景，评估数据处理系统合理性；系统全面的了解常用的生产系统，提供数据采集的解决方案，结合3-2，3-3的要求是否对应纬度需要说明
*主导过跨部门的数据分析项目的数据生产、计算，设计中间与结果数据结构，提高分析过程效率；根据经验评估数据处理系统合理性；系统全面的了解常用的生产系统，快速理解跨部门的源数据采集的生产系统，提供整体的数据采集的解决方案。
*主导过公司级的数据分析项目的数据建设，并且提炼方法论，供团队提高工作效率；主动推进相关的流程建设、工具建设，提高元数据管理效率和数据质量。
（4）*掌握业界数据建设趋势，指导团队数据建设技术选型，技术成果代表业界最高水平，经验辐射到公司数据分析团队，提高整体的数据建设水平。
