大数据将为社会带来三方面变革：思维变革、商业变革、管理变革，各行业将大数据纳入企业日常配置已成必然之势。国际数据公司IDC预测，到2020年，企业基于大数据计算分析平台的支出将突破5000亿美元。目前，我国大数据人才只有46万，未来3到5年人才缺口达150万之多。
1.紧贴行业发展、着眼未来需求2.开发、收集、储存、计算一站到底3.爬虫技术挖掘数据价值，直击大数据核心、助攻求职竞争力
1.横跨云计算、大数据所有实用内容，数据挖掘处理意义非同凡响2.淘宝、京东等电商推送3.海量数据采集、预测个人行为、细思极恐，这是一项可怕但避不开的技术
1.其实就是未来层面、甚至是科幻层面2.行为数据化、资产数据化、多衍生的商业模式3.人工智能、根据大数据蕴藏的事实、预测未来
hadoop_storm_spark结合实验的例子，模拟双11，根据订单详细信息，汇总出总销售量，各个地区销售排行，以及后期的SQL分析，数据分析，数据挖掘等。
- (1)用户订单入kafka队列，- (2)经过storm，实时计算出总销售量，和各个省份的的销售量，
SinaSpider主要爬取新浪微博的个人信息、微博数据、关注和粉丝。环境、架构：
- start_requests 中根据用户ID启动四个Request，同时对个人信息、微博、关注和粉丝进行爬取。
整个流程的起始，以数据库为根基，千锋打造精英工程师，独立开发数据库 ，完成数据收集汇总，轻而易举过面试。
推送（定论）根据对数据的一系列专业处理，推送（评估）客户，完成定论，老板不舍离开你。
0572-2909989
