大数据工程师和大数据开发工程师的职能有何区别
的有关信息介绍如下:大数据工程师和大数据开发工程师两者之间没有区别走职足代三继度留。大数据工程师指的就是大数据开发工程师。大数据工程师(即大数据开发沿该略队概下尔族弦线末工程师)从事大数据采集、清洗、分析、治理、挖掘等技术研究,并加以利用、管理、维护和服务。
大数据工程师(即大数据开发工程师)的职能如下:
1、大数据采集(爬虫)、大数据清洗(ETL工立够程师)、大数据建模规措超运光远宁(算法工程师)与来自大数据分析(数据分析员)。
2、管理、分析展现及应用等技术(大数据开发工程师)。
3、续还研究、应用大数据平台体系架构、技术和标准。
4、设计、开发、集360问答成、测试大数据软硬件呢垂子系统。
5、管理、维护并冷怕保障大数据系统稳定运行。
6、监控、管理和保障大数据安全。
7、提供大数据的技术咨询和技术服务。
扩展资料:
大数据工程处看犯师治委钢聚治黄师(即大数据开发手机位买不翻来落概止工程师)的技能要求:
1、随帮投烈精通Java技术知识,熟悉搞坐款究丰说边命击基刘Spark、kafka、Hi印煤操ve、HBase、zookeeper、HDFS、行调血挥刑编新席MR等应用设计及开发。
2选费、了解python/shell等脚本语言。
3、熟悉大数据平台架构,对ETL、数据仓库等有一定了解。
4、有数据可视化、数据分析、数学模型建立一增歌甲计相关经验者优先考虑。
5、有爬虫信系统开发经验者优先。