建设一个地方门户网站,建立一个网站多少钱,重庆seo网站哪家好,做品牌网站的职位选择
首先明确一点#xff1a;大数据涉及的知识面广度还是有的#xff0c;需要学习的组件繁多#xff0c;想要每一项精通几乎不可能#xff0c;所以企业在招聘的时候会进行细分#xff0c;基于某个方向进行招聘#xff0c;比如关键字#xff0c;数据仓库工程师、数…职位选择
首先明确一点大数据涉及的知识面广度还是有的需要学习的组件繁多想要每一项精通几乎不可能所以企业在招聘的时候会进行细分基于某个方向进行招聘比如关键字数据仓库工程师、数据治理工程师、大数据开发工程师、大数据算法工程师、ETL工程师等。我们在学习的时候也要有所侧重保证自己兴趣所致并重点关注。 方向1ETL工程师 ETL数据抽取、转换、加载 ETL工作属于业务与数据的交点、需要处理上下游的关系首先需要对业务层面非常熟悉其次需要对接数据开发工程师、数据科学家整理并准备数据、进行数据清洗、整理、融合。
方向2数据仓库工程师 数仓会细化离线数仓和实时数仓、目前离线数仓方向发展的已经很成熟了实时数仓是未来趋势和方向。
方向3数据治理工程师国企岗位居多 数据治理的工作内容主要是对数据进行分类处理、指标整理、熟悉业务流程。 基
方向4大数据开发工程师 大数据开发需要有良好的Java后端开发能力以及不错的源码阅读能力
大数据学习路线
系统的学习大数据相关的课程可按照如下顺序学习 需要先掌握 Java SE 阶段Linux 基础命令MySQL数据库 如果上述基础技能没有掌握可网上搜索相关课程进行学习这类基础课程网上免费的特别多 Java可以先学习 Java SE 会在虚拟机中安装Linux发行版本建议安装 CentOS学完Linux基础即可。 MySQL需要学习 sql 语法范式事务等。Sql能力是必备的没有上限 如果以上技能你都掌握的话接下来就进入大数据框架 可按照如下顺序进行学习涵盖ETL、数仓、开发等岗位 Hadoop - Zookeeper - Hive - Flume Sqoop DataX- Azkaban DolphinScheduler - 数仓建模理论实践 -离线数仓项目 -Kafka - Hbase - Spark - Doris- Flink - 实时数仓项目 -数据治理相关知识 -数据湖Hudi,Iceberg
注1.橙色为优先学习组件 ** 2.大家一定要重视自己的后端开发能力要至少做到不比后端同学差不要让这方面的能力成为制约你职业发展的束缚。**
学习视频推荐
编程语言
关于编程语言这部分大部分同学都是Java附带Scala技能加点当然如果你学了一点Python的东西也是一个加分项。那么关于Java语言你可以参考下面这个视频尤其是如果你的语言基础极差都没有用过Java语言。 《Java基础到高级-宋红康》 https://www.bilibili.com/video/BV1Qb411g7cz 数据结构 《数据结构-浙江大学》 https://www.bilibili.com/video/BV1JW411i731 Linux基础
Linux基础这块对于数据开发非常重要因为大家平时接触过的数据框架的搭建过程涉及大量的Linux命令操作并且在系统级别的调优还会接触atime、ulimit这种比较高级的命令。 《史上最牛的Linux视频教程—兄弟连》 https://www.bilibili.com/video/av18156598 数据库入门
基于MySQL了解常见的SQL语法大数据领域SQL化是未来的发展方向。 MySQL数据库教程天花板 https://www.bilibili.com/video/BV1Kb411W75N Hadoop 尚硅谷大数据Hadoop教程Hadoop 3.x安装搭建到集群调优 https://www.bilibili.com/video/BV1Qp4y1n7EN/ Hive 尚硅谷大数据Hive 3.x教程 https://www.bilibili.com/video/BV1g84y147sX/? Kafka 尚硅谷Kakfa3.X教程 https://www.bilibili.com/video/BV1vr4y1677k/ Spark 尚硅谷大数据Spark教程从入门到精通 https://www.bilibili.com/video/BV11A411L7CK Flink
【尚硅谷】Flink1.13实战教程(Java) https://www.bilibili.com/video/BV133411s7Sa/ 【尚硅谷】Flink1.13实战教程(Scala) https://www.bilibili.com/video/BV1zr4y157XV/
Hudi Hudi数据湖 https://www.bilibili.com/video/BV1ue4y1i7n Doris 【尚硅谷】大数据Apache Doris教程 https://www.bilibili.com/video/BV15S4y1h7Kt Sqoop 尚硅谷Sqoop教程(sqoop大数据开发标配) https://www.bilibili.com/video/BV1jb411A7tc/ Flume 【尚硅谷】大数据技术之Flume教程从入门到实战 https://www.bilibili.com/video/BV1wf4y1G7EQ
DataX 【尚硅谷】Alibaba开源数据同步工具DataX技术教程 https://www.bilibili.com/video/BV1H44y1x76X
Atlas 【尚硅谷】大数据技术之Atlas数据治理 https://www.bilibili.com/video/BV1jA411F76d/ 项目学习
离线数仓 尚硅谷大数据项目【电商数仓5.0】 https://www.bilibili.com/video/BV1AT411j7hu
实时数仓 尚硅谷大数据之Flink实时数仓3.0 https://www.bilibili.com/video/BV1TG411a7nL 数据中台 大数据九章云台项目 https://www.bilibili.com/video/BV1vR4y1z79G 注电商数仓项目早已烂大街尽量不要把这两个项目写到自己的简历上。
