大数据工程师，大数据工程师需要学什么

大家好，今天小编关注到一个比较有意思的话题，就是关于大数据工程师的问题，于是小编就整理了4个相关介绍大数据工程师的解答，让我们一起看看吧。

大数据工程师是做什么的？

是大数据数仓方向的一个职位，主要是做数据清洗，抽取，转换，目前的话主要已hadoop的hdfs作为存储平台，hive作为数据建模，清洗，结构化数据的分析，使用工具或者脚本，导入到关系型数据库数据结，作为结果数据，供后续各部门使用。

大数据工程师是做什么的？

大数据工程师的主要职责包括创建和维护分析基础架构、创建用于建模、挖掘、获取和验证数据集合等流程。此外，大数据工程师还需要负责大数据平台的开发和维护、海量数据的导入优化工作、整理和完善各类文档。

大数据工程师还需要具备良好的沟通能力、优秀的分析问题和问题解决能力、强烈的进取心和团队合作精神、数据库系统的基本理论知识。

是大数据数仓方向的一个职位，主要是做数据清洗，抽取，转换，目前的话主要已hadoop的hdfs作为存储平台，hive作为数据建模，清洗，结构化数据的分析，使用工具或者脚本，导入到关系型数据库数据结，作为结果数据，供后续各部门使用。

大数据工程师和程序员的区别？

严格讲，数据工程师（即楼主所言大数据工作）是程序员的一种。大数据的筛选、清洗、观察等，离不开计算机，离不开借助软件程序提高工作效率。如果楼主讲的数据工作者是这种，不怎么辛苦，又很高级。

但自从人工智能兴起以后，听说产生了一种大数据民工。专门给人工智能程序喂养数据的，这样的纯数据操作工程师，他们应该是最辛苦的，他们几乎涉及不到编程，可能都算不上程序员。但随着人工智能软件的智能升级，大数据民工也面临着失业被淘汰。如果楼主讲的数据工作者是这种，既辛苦，又不高级。

在上世纪50年代，计算机诞生早期，曾经有一类女程序员专门操作大型计算机的“开关编程”，那时候计算机有几间屋子大，没有键盘，编码全靠拔动CPU脑袋上的一个个开头。现在早已经没有这种女开关程序员了。

现在的纯数据民工，就像上世纪的女开关程序员，随着时代发展，会消失的

大数据工程师可以从事对大量数据的采集、清洗、分析、治理、挖掘，并对这些数据加以利用、管理、维护和服务的相关技术工作。程序员是从事程序开发、程序维护的基层工作人员。

大数据工程师做什么？需要具备什么能力？

主要从两个方面考虑：

一个是从大数据视角1）需要具有大数据思维，知道如何把业务问题与数据结合起来，需要把业务问题转化为数据可以解决的方案。2）大数据处理技术，如数据提取技术 大数据存储 大数据分析等，具体到技术方面 包括 数据库技术 hadoop 技术，统计学以及算法等

另外一个是工程视角1）如果作为大数据工程师需要考虑如何落地，包括业务应用场景2）项目管理问题，如何结合项目把解决方案落地，需要进行需求管理、时间管理等。

到此，以上就是小编对于大数据工程师的问题就介绍到这了，希望介绍关于大数据工程师的4点解答对大家有用。