大数据工程师做什么?大数据工程师的日常工作都包含哪些内容

qinzhiqiang 08-27 10:37 907次浏览

大数据工程师是一个比较宽泛的叫法,正常情况下会细分为大数据开发岗位(包含平台开发、行业应用开发)、大数据运维、大数据分析等岗位,不同岗位的任务具有一定的差异。大数据工程师与云计算工程师之间的合作也比较多,很多团队也会让云计算工程师完成一部分大数据工程师的工作任务,二者之间的工作边界也比较模糊,比如很多存储方面的工作云计算工程师和大数据工程师都可以完成。

大数据工程师的日常工作都包含哪些内容

当前随着云计算、大数据平台逐渐开始落地应用,大数据开发工程师(行业领域)的岗位需求正在不断增加,目前也有不少程序员(Java方向)也会转向大数据开发岗位,这些岗位的岗位附加值还是比较高的。这些开发岗位的日常工作基本上就是完成代码的编写,只不过需要与大数据平台进行交互,需要调用大数据平台的各种服务来完成功能实现,总体上的难度并不算大,但是需要具有一定的行业经验。

大数据工程师的日常工作都包含哪些内容

当前大数据平台开发岗位的附加值还是比较高的,大数据平台开发岗位往往集中在大型互联网企业,随着云计算逐渐从IaaS向PaaS过渡,大数据平台开发也会基于行业特点来开发针对性比较强的PaaS平台,这是整合行业资源并搭建技术生态的一个关键。搭建PaaS平台不仅需要掌握大数据知识,同时还需要掌握云计算知识,实际上大数据和云计算本身就有比较紧密的联系,二者在技术体系结构上都是以分布式存储和分布式计算为基础,只不过关注点不同而已。

大数据工程师的日常工作都包含哪些内容

大数据运维工程师以搭建大数据平台为主,虽然这部分岗位的门槛相对比较低,但是需要学习的内容还是比较多的,而且内容也比较杂,网络知识、数据库管理知识、操作系统(Linux)知识、大数据平台(含开源和商用平台)知识都需要掌握一些,对于实践操作的要求会比较高。

最后,当前大数据工程师往往并不包含专业的数据分析岗位,一般数据分析岗位都会单独列出来,这部分岗位涉及到算法岗、开发岗(实现)和数据呈现岗等,数据分析岗位对于从业者的数学基础要求比较高,同时还需要掌握大量的数据分析工具,当然也离不开Python、Sql等知识。