零基础大数据就业班V8.1
随着初级程序员趋于饱和,中高级程序员缺口变大,IT培训行业原来就业培训课程难以适应未来的就业竞争。
传智教育推出高级软件工程师就业培训课程,定位培养中高级程序员。大数据课程有11大行业12个“大厂”级项目,400+业务指标,220+技术点,12个企业级项目授课时间就超150天(每周上5天课)。其课程容量、技术深度、项目广度均超其他机构6个月培训课程50%以上,大大提升学员的就业竞争力
课程目录与详情介绍
第一阶段:大数据零基础体验课
- 1.掌握企业级ETL平台的kettle
- 2.掌握BI的可视化平台Superset
- 3.掌握kettle流式数据ETL处理设计思想
- 4.掌握大数据企业开发中最常见的linux操作
- 5.掌握一款主流数据库管理工具DataGrip
- 6.掌握企业MySQL的调优方案
- 7.掌握大数据分析中数据全量及增量同步解决方案
- 8.掌握生产环境中数据分析程序的部署解决方案
主讲内容1:操作系统基础
Linux是一个基于POSIX和Unix的多用户、多任务、支持多线程和多CPU的操作系统
主讲内容2:关系型数据库
对于企业或行业应用来说,经常会遇到各种数据的处理,转换,迁移,掌握一种etl工具的使用,必不可少,这里要学习的ETL工具是——Kettle,现在已经更名为PDI
主讲内容4:BI可视化开发
Superset是一款开源的现代化企业级BI。它是目前开源的数据分析和可视化工具中比较好用的,功能简单但可以满足我们对数据的基本需求,支持多种数据源,图表类型多,易维护,易进行二次开发。
主讲内容5:电商数据仓库实战
本案例围绕某个互联网小型电商的订单业务来开发
高手班阶段一:Java语言编程
- 1.掌握Java程序基础数据类型
- 2.掌握开发中集合、IO流、常用类等操作
- 3.掌握Java异常处理机制
- 4.掌握反射、网络编程、多线程开发
- 5.掌握Jsoup的网络爬虫开发
- 6.掌握JDBC数据库连接操作
- 7.掌握ETL数据处理和BI报表开发
- 8.具备JavaSE开发能力
高手班阶段二:Hadoop技术栈
- 1.掌握Shell命令
- 2.掌握zookeeper原理并应用
- 3.掌握HDFS的使用和MapReduce编程
- 4.理解MapReduce原理和调优
- 5.掌握Yarn原理和调优
- 6.掌握Hive的使用和调优
- 7.具备Hadoop开发能力、离线数据仓库开发能力
高手班阶段三:【在线教育】知行教育
知行教育是以建立集团数据仓库,统一集团数据中心,把分散的业务数据集中存储和处理项目从需求调研、设计、版本控制、研发、测试到落地上线,涵盖了项目的完整工序挖掘分析海量用户行为数据,定制多维数据集合,形成数据集市,供各个场景主题使用的在线教育大数据项目
- 1.掌握离线数仓的分层与建模,从需求、设计、研发、测试到落地上线的完整项目流程
- 2.大量教育大数据的真实业务逻辑,共涉及20多个主题,100多个指标,提升学员在教育行业中的核心竞争力
- 3.包括海量数据场景下如何优化配置
- 4.拉链表的具体应用
- 5.新增数据和更新数据的抽取和分析
- 6.hive函数的具体应用
- 7.ClouderaManager可视化、自动部署和配置、Git、CodeReview功能
主讲解决方案
- 1.大数据部署运维:Cloudera Manager
- 2.分析决策需求:数据仓库
- 3.数据采集:sqoop
- 4.数据分析:hive
- 5.历史数据快照:拉链表
- 6.数据更新后的统计分析:拉链表
- 7.数据调度:oozie+shell
- 8.OLAP系统存储:mysql
- 9:数据展现:帆软BI
主讲知识点
- 1.掌握离线数仓的分层与建模,从需求、设计、研发、测试到落地上线的完整项目流程
- 2.大量教育大数据的真实业务逻辑,共涉及20多个主题,100多个指标,提升学员在教育行业中的核心竞争力
- 3.包括海量数据场景下如何优化配置
- 4.拉链表的具体应用
- 5.新增数据和更新数据的抽取和分析
- 6.hive函数的具体应用
- 7.ClouderaManager可视化、自动部署和配置、Git、CodeReview功能
高手班阶段四:后台数据服务
- 1.掌握SpringBoot整合SpringMVC开发
- 2.掌握SpringBoot整合MyBatis开发
- 3.掌握Eureka搭建
- 4.掌握Feign的使用
- 5.掌握后端数据微服务接口开发
- 6.掌握通过Spring技术架构
- 7.掌握微服务搭建
- 8.掌握企业级数据微服务接口开发
高手班阶段五:实时生态圈
- 1.掌握Redis原理及架构
- 2.掌握Redis命令操作、及数据结构
- 3.掌握Hbase原理及架构
- 4.掌握HBase命令操作、MapReduce编程
- 5.掌握Phoneix二级索引优化查询
- 6.掌握ELK开发掌握Kafka原理及架构
- 7.掌握KafkaStreams开发
- 8.掌握基于Flink进行实时和离线数据处理、分析
- 9.掌握基于Flink的多流并行处理技术
- 10.掌握千万级高速实时采集技术
高手班阶段六:【证券】今日指数
实时监控证券市场的市场每日的业务交易,实现对证券市场交易数据的统计分析;搭建监察预警体系,包括:预警规则管理,实时预警,历史预警,监察历史数据分析等;股市行情交易数据实时采集、实时数据分析、多维分析,即席查询,实时大屏监控展示
- 1.掌握证券相关业务
- 2.掌握大数据批处理、流处理以及web接口开发
- 3.掌握深市沪市数据采集
- 4.掌握Flume自定义source
- 5.掌握Flume拦截器的开发
- 6.了解模型和SQL开发规范
- 7.掌握Oozie定时调度
- 8.使用hive进行数据开发
- 9.掌握秒级、分时行情开发,涵盖个股、指数、K线
- 10.掌握基于Flink CEP的实时股票涨跌幅、振幅、交易量监控预警
- 11.掌握基于Kylin的离线预警开发
- 12.掌握基于Spring Boot的数据服务接口开发
主讲解决方案
- 1.离线批处理数据分析:hive
- 2.数据源接收平台:ftp
- 3.数据采集:flume
- 4.消息队列:kafka
- 5.实时流处理:flink
- 6.秒级行情数据存储:Hbase
- 7.分时行情数据存储:Apache Druid
- 8.K线数据存储:Mysql
- 9.分时行情历史数据存储:HDFS(Hive)
- 10:实时监控预警:Flink CEP
- 11:离线数据预警:Kylin
- 12:BI报表:Superset
- 13:前端应用接口:微服务(SpringBoot)
- 14:前端UI展示:Vue
主讲知识点
高手班阶段七:Spark技术栈
- 1.掌握Scala语言基础、数据结构
- 2.掌握Scala语言高阶语法特性
- 3.掌握Spark的RDD、DAG、CheckPoint等设计思想
- 4.掌握SparkSQL结构化数据处理,Spark On Hive
- 5.掌握SparkStreaming整合Kafka完成实时数据处理
- 6.掌握SparkStreaming偏移量管理及Checkpoint
- 7.掌握Structured Streaming整合多数据源完成实时数据处理
- 8.具备Spark全栈开发能力,满足大数据行业多场景统一技术栈的数据开发,提供就业核心竞争力
高手班阶段八:【物流】客快物流
基于一家大型物流公司研发的智慧物流大数据平台,日订单上千万;围绕订单、运输、仓储、搬运装卸、包装以及流通加工等物流环节中涉及的数据信息等;提高运输以及配送效率、减少物流成本、更有效地满足客户服务要求,并针对数据分析结果,提出具有中观指导意义的解决方案
高手班阶段九:大数据平台化开发
大数据平台运维与监控部署解决方案,解决大数据运行环境与任务资源占用情况监控,包含了以下技术点:涵盖主流的一些大数据平台,涵盖CDH、HDP、Apache、云平台等部署方案,引入各家的最佳实践。包含基于平台下的各个组件的运维,包括Prometheus、Zabbix、Grafana、Eagle、CM、Ambari、Ganglia等。
高手班阶段十:大数据数据中台
数据中台的前提在于平台设计与元数据管理,基于各个业务系统的元数据,抽象出业务共同点,分类目管理,包含了以下技术点:基于Altlas元数据管理工具进行数据血缘分析、构建数据地图,构建统一存储计算平台,建立数据类目体系、标签类目体系、数据资产管理,并基于数据中台构建数据应用服务。
2. 分享目的仅供大家学习和交流,请不要用于商业用途!
3. 如果你也有好的课程或者教程,可以投稿,分享有学币奖励和额外收入!
4. 如有链接无法下载、失效或广告,请联系管理员处理!
5. 本站资源售价只是赞助,收取费用仅维持本站的日常运营所需!
6. 如遇到加密压缩包,默认解压密码为"aixdata.com",如遇到无法解压的请联系管理员!
HONG'S学院 » 【众筹课程】黑马零基础大数据就业班8.1