指点二三:发展方向,大数据开发工程师。

之后希望向着大数据开发工程师方向发展;
目前是做普通的java开发工作;
大家就觉得这个前景如何。
各位前辈给点意见呗。
计划跟着下面的要求进行学习。感觉比做crud好些要。

我看招聘要求的技术栈大概是:

1.熟悉Java基础,能够使用Java语言进行编程
开发;
2.熟悉Linux系统基本操作命令及简单shell脚

3.熟悉使用原生 Apache,CDH 和阿里云服务搭建大数据开发集群
4.熟悉hadoop生态系统,HDFS读写机制,yarn资源管理原理,MapReduce工作原理
5.熟悉zookeeper原理,zookeeper和其他组件做
分布式协调
6.熟悉使用kafka原理和使用方法,kafka数据可靠性,能够熟练配置kafka并调优;
7 熟采MaxwelFlinkCDC等数据同步Datax组件的基本工作原理,并且能够合理使用它们同步数据
8.掌握 Hbase 表结构、存储、Phoenix 关联查询
9.掌握Clickhouse列式数据库 原理,使用;
10.熟悉Spark工作流程,spark sql等相关的技术栈.
11.熟悉sqoop,datax等同步数据工具的使用如HIVE/HDFS和RDBMS互导,全量导入,增量导入
12.熟悉Hive构建数据仓库,Hive sql的编写及调优,开窗函数、爆炸函数、自定义函数运用
13.熟悉使用Flink框架,fink 检查点,fink状态后端的调优Ainksal. finkcep,水位线,窗口等原理;
14.熟练掌握Flume的三个组件和使用方法,能够进行日志数据的收集、传输、过滤等工作,以及自定义拦截器来解决零点漂移的问题
15.使用Azkaban通过shell脚本将结果数据落地到Mysql业务数据库
16.熟练使用主流BI开发工具。

讨论数量: 0
(= ̄ω ̄=)··· 暂无内容!

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容,与人为善,比聪明更重要!