笔记《白话大数据与机器学习》

大数据人才三个方向：偏重基建与架构的大数据架构方向，偏重建模与分析的大数据分析方向，偏重应用实现的大数据开发方向。

1、大数据架构方向

（1）架构理论：关键词有高并发、高可用、并行计算、MapReduce、Spark等。

（2）数据流应用：关键词有Flume、Fluentd、Kafka、ZMQ等。

（3）存储应用：关键词有HDFS、Ceph等。

（4）软件应用：关键词有Hive、HBase、Cassandra、PresoDB等。

（5）可视化应用：关键词有HightCharts、ECharts、D3、HTML5、CSS3等。

2、大数据分析方向

（1）数据库应用：关键词有RDBMS、NoSQL、Hive、Cassandra等。

（2）数据加工：关键词有ETL、Python等。

（3）数据统计：关键词有统计、概率等。

（4）数据分析：关键词有数据建模、数据挖掘、机器学习、回归学习、聚类、分类、协同过滤等。

（5）业务知识。

3、大数据开发方向

（1）数据库开发：关键词有RDBMS、NoSQL、MySQL、Hive等。

（2）数据流工具开发：关键词有Flume、Heka、Fluentd、Kafka、ZMQ等。

（3）数据前端开发：关键词有HightCharts、ECharts、JavaScript、D3、HTML5、CSS3等。

（4）数据获取开发：关键词有爬虫、分词、自然语言学习、文本分类等。