目前，国内外最火的莫过于大数据了，而国内的大数据应用多集中在互联网领域，有超过56%的企业在筹备发展大数据研究，“未来5年，94%的公司会需要数据科学家。”
数据科学家主要通过数据的价值挖掘，为企业提供更精准的决策依据。在电信、零售、金融、制造、物流、医疗、教育等行业当中大数据工程师已经在创造价值了。
据《大数据人才报告》显示，目前全国的大数据人才仅46万，人才稀缺，但是稀缺的背后要求也不低。大数据工程师需要统计学、应用数学相关的能力背景，并且需要设计数据模型和算法。
而且还要：
1、熟悉Linux开发环境，熟悉Shell命令
2、熟悉Java、python、scala语言（至少一种）
3、具备较丰富的基于Hadoop、Map Reduce、Yarn、Storm、Spark、Hive、Hbase、kafka、Flume、HDFS、Spark Streaming等的大数据处理项目经验。
那么，如何才能掌握数据科学家的能力？今天给大家推荐一个 免费 福利——廖雪峰最新研磨的实战宝典《如何将大数据开发做到优秀》首次开放！内容出自开课吧 vip 课程“大数据高级开发实战班”，为帮助大家在职场上走得更加顺畅，现决定将这套价值 788元 的体系化学习宝典免费送给粉丝朋友。
如果你是刚转行大数据不久的Java、PHP等程序员或入行新人，这套学习宝典能帮你迅速摆脱工作困扰，巩固掌握优秀工程师的必会技能：
一、高薪大数据工程师必备——实战项目经验
大数据背景下的智慧出行
通过学习，可帮你了解大数据背景下的出行业务，熟知大数据技术点的使用以及出行方面的业务逻辑。
（
项目可视化展示）
1、智慧出行项目概况及车辆轨迹数据处理
技术关键词：
Flume、Kafka、SparkStreaming、Hbase、Redis、SpringBoot 等
主要内容：
智慧出行大数据项目概述；
项目需求及架构选型；
开发项目模块构建；
数据回放功能的实现；
轨迹监控模块的开发。
斩获技能：
掌握 SparkStreaming 消费 Kafka 自主维护 Offset 的方式。
2、看大数据如何帮你抉择最合适的上车地点
技术关键词：
SparkCore 、SparkSQL、Hbase 、Phoenix 、SpringBoot
主要内容：
虚拟车站的概念详情；
虚拟车站的计算方式；
使用代码实现虚拟车站的计算统计。
斩获技能：
熟知常见的地图属性；
掌握虚拟车站的计算方式；
掌握API的使用等。
3、智慧出行项目展示及应用 + 大数据技术答疑
技术关键词：
Maxwell、Mysql、SparkStreaming、 Kafka、SparkSQL等
主要内容：
智慧出行的其他功能模块开发；
Spark任务的监控以及任务的调优；
业务数据库实时同步功能实现。
斩获技能：
有一定的架构认知能力；
掌握常见的大数据技术架构；
能熟练驾驭使用其他大数据框架等。
二、优秀大数据工程师必会——扎实技能储备
1、基于 Spark 源码自定义数据源开发
如何解决 HBase 热点问题
如何基于源码自定义开发 HBase 的数据源
如何在数据源处进行列剪枝和谓词下推
2、Hadoop 分布式文件系统之 HDFS 架构
HDFS 是如何实现有状态的高可用架构
HDFS 是如何从架构上解决内存受限问题
深入理解 HDFS 的架构演变
揭秘 HDFS 如何能支撑亿级流量
3、实时计算技术之 SparkStreaming
Spark Streaming 应用场景、原理分析
Spark Streaming 集成 Kafka 讲解
Spark Streaming 如何实现 Exactly-Once 语义
