shopee大数据开发工程师笔试考啥

shopee大数据开发工程师笔试考啥？

一、认识大数据大数据本质其实也是数据，不过也包括了些新的特征，数据来源广; 数据格式多样化(结构化数据、非结构化数据、Excel文件等); 数据量大(最少也是TB级别的、甚至可能是PB级别); 数据增长速度快。 二、大数据所需技能要求Python语言：编写一些脚本时会用到。

Scala语言：编写Spark程序的最佳语言，当然也可以选择用Python。

Ozzie，azkaban：定时任务调度的工具。

Hue，Zepplin：图形化任务执行管理，结果查看工具。

Allluxio，Kylin等：通过对存储的数据进行预处理，加快运算速度的工具。 必须掌握的技能：、 HBase(、 Kafka、Storm/JStorm、Scala、Python、Spark (Core+sparksql+Spark streaming ) 、辅助小工具(Sqoop/Flume/Oozie/Hue等)。

声明：本文内容由网友自发贡献，本站不承担相应法律责任。对本内容有异议或投诉，请联系2913721942#qq.com核实处理，我们将尽快回复您，谢谢合作！