然而,至少在我跟业界人士交谈中,大家越来越感觉到这项技术已经在某种程度上陷入了停滞。2015年 可能是数据领域的那些酷小子转移兴趣,开始沉迷于 AI 以及机器智能、深度学习等许多相关概念的年份。
抛开不可避免的炒作周期曲线态势不管,我们的 “大数据版图” 已经进入第 4 个年头了,趁这个时候退一步来反思一下去年发生了什么,思考一下这个行业的未来会怎样是很有意义的。
大数据分析师。两年以上数据分析岗位工作经验,或通过CDALevelⅠ认证半年以上。专指政府、金融、电信、零售、互联网、电商、医学等行业专门从事数据分析与云端大数据的人员。在LevelⅠ的基础上要求掌握JAVA语言和linux操作系统知识,能够掌握运用Hadoop、Spark、Storm等至少一门专业大数据分析软件,从海量数据中提取相关信息,并能够结合R、python等软件,形成严密的数据分析报告。
大数据基础设施:仍有大量创新,关于 MapReduce 和 BigTable 的论文(Cutting 和 MikeCafarella 因为这个而做出了 Hadoop)的诞生问世已有 10年 了,在这段时间里,大数据的基础设施层已经逐渐成熟,一些关键问题也得到了解决。
但是,基础设施领域的创新仍然富有活力,这很大程度上是得益于可观的开源活动规模。无疑是 Apache Spark 之年 。