【众筹课程】黑马零基础大数据就业班8.1 预览演示站 【众筹课程】黑马零基础大数据就业班8.1手机扫码预览
  • 课程提供者黑马程序员
  • 版本8.1
  • 课程推出时间2020-07-11
  • 最近更新2021年11月11日

【众筹课程】黑马零基础大数据就业班8.1

售价:
暂无购买权限
  • 普通用户暂无购买权限 升级SVIP
  • SVIP会员购买价格 :178学币
QQ咨询
  • 交易保障
  • 持续更新
  • 优质资源
  • 高速下载

特别声明:本站内容均由互联网收集整理、网友上传,并且以技术研究交流为目的,仅供大家参考、学习,部分收费内容仅作本站日常维护费用,如果内容侵犯了您的利益请留言告知!注册签到领 0.5 学币

升级尊贵会员
享受全站VIP待遇

120+
会员已经加入
  • 文章介绍
  • 评价建议
  • 零基础大数据就业班V8.1

    随着初级程序员趋于饱和,中高级程序员缺口变大,IT培训行业原来就业培训课程难以适应未来的就业竞争。

    传智教育推出高级软件工程师就业培训课程,定位培养中高级程序员。大数据课程有11大行业12个“大厂”级项目,400+业务指标,220+技术点,12个企业级项目授课时间就超150天(每周上5天课)。其课程容量、技术深度、项目广度均超其他机构6个月培训课程50%以上,大大提升学员的就业竞争力

    课程目录与详情介绍

     

    第一阶段:大数据零基础体验课

    • 1.掌握企业级ETL平台的kettle
    • 2.掌握BI的可视化平台Superset
    • 3.掌握kettle流式数据ETL处理设计思想
    • 4.掌握大数据企业开发中最常见的linux操作
    • 5.掌握一款主流数据库管理工具DataGrip
    • 6.掌握企业MySQL的调优方案
    • 7.掌握大数据分析中数据全量及增量同步解决方案
    • 8.掌握生产环境中数据分析程序的部署解决方案

    主讲内容1:操作系统基础

    Linux是一个基于POSIX和Unix的多用户、多任务、支持多线程和多CPU的操作系统

    计算机基础知识、Linux环境搭建、远程连接工具、文件操作命令、压缩解压缩命令、文件查找命令、系统管理命令、权限管理、网络服务管理命令、VI等。

    主讲内容2:关系型数据库

    对于企业或行业应用来说,经常会遇到各种数据的处理,转换,迁移,掌握一种etl工具的使用,必不可少,这里要学习的ETL工具是——Kettle,现在已经更名为PDI

    数据仓库与ETL、Kettle安装部署、数据抽取与装载、表输入、表输出、插入/更新、switch/case等组件使用、Kettle作业等。

    主讲内容4:BI可视化开发

    Superset是一款开源的现代化企业级BI。它是目前开源的数据分析和可视化工具中比较好用的,功能简单但可以满足我们对数据的基本需求,支持多种数据源,图表类型多,易维护,易进行二次开发。

    Superset部署、开发,涵盖Charts开发、Dashboard开发
    主讲内容5:电商数据仓库实战

    本案例围绕某个互联网小型电商的订单业务来开发

    电商业务背景、案例架构、数据仓库增量同步、ETL开发、指标SQL开发、Kettle作业调度、Superset可视化展示等。

    高手班阶段一:Java语言编程

    • 1.掌握Java程序基础数据类型
    • 2.掌握开发中集合、IO流、常用类等操作
    • 3.掌握Java异常处理机制
    • 4.掌握反射、网络编程、多线程开发
    • 5.掌握Jsoup的网络爬虫开发
    • 6.掌握JDBC数据库连接操作
    • 7.掌握ETL数据处理和BI报表开发
    • 8.具备JavaSE开发能力

     

    高手班阶段二:Hadoop技术栈

    • 1.掌握Shell命令
    • 2.掌握zookeeper原理并应用
    • 3.掌握HDFS的使用和MapReduce编程
    • 4.理解MapReduce原理和调优
    • 5.掌握Yarn原理和调优
    • 6.掌握Hive的使用和调优
    • 7.具备Hadoop开发能力、离线数据仓库开发能力

    高手班阶段三:【在线教育】知行教育

    知行教育是以建立集团数据仓库,统一集团数据中心,把分散的业务数据集中存储和处理项目从需求调研、设计、版本控制、研发、测试到落地上线,涵盖了项目的完整工序挖掘分析海量用户行为数据,定制多维数据集合,形成数据集市,供各个场景主题使用的在线教育大数据项目

    • 1.掌握离线数仓的分层与建模,从需求、设计、研发、测试到落地上线的完整项目流程
    • 2.大量教育大数据的真实业务逻辑,共涉及20多个主题,100多个指标,提升学员在教育行业中的核心竞争力
    • 3.包括海量数据场景下如何优化配置
    • 4.拉链表的具体应用
    • 5.新增数据和更新数据的抽取和分析
    • 6.hive函数的具体应用
    • 7.ClouderaManager可视化、自动部署和配置、Git、CodeReview功能

    主讲解决方案

    • 1.大数据部署运维:Cloudera Manager
    • 2.分析决策需求:数据仓库
    • 3.数据采集:sqoop
    • 4.数据分析:hive
    • 5.历史数据快照:拉链表
    • 6.数据更新后的统计分析:拉链表
    • 7.数据调度:oozie+shell
    • 8.OLAP系统存储:mysql
    • 9:数据展现:帆软BI

    主讲知识点

    1. 1.掌握离线数仓的分层与建模,从需求、设计、研发、测试到落地上线的完整项目流程
    2. 2.大量教育大数据的真实业务逻辑,共涉及20多个主题,100多个指标,提升学员在教育行业中的核心竞争力
    3. 3.包括海量数据场景下如何优化配置
    4. 4.拉链表的具体应用
    5. 5.新增数据和更新数据的抽取和分析
    6. 6.hive函数的具体应用
    7. 7.ClouderaManager可视化、自动部署和配置、Git、CodeReview功能

     

    高手班阶段四:后台数据服务

    • 1.掌握SpringBoot整合SpringMVC开发
    • 2.掌握SpringBoot整合MyBatis开发
    • 3.掌握Eureka搭建
    • 4.掌握Feign的使用
    • 5.掌握后端数据微服务接口开发
    • 6.掌握通过Spring技术架构
    • 7.掌握微服务搭建
    • 8.掌握企业级数据微服务接口开发

     

    高手班阶段五:实时生态圈

    • 1.掌握Redis原理及架构
    • 2.掌握Redis命令操作、及数据结构
    • 3.掌握Hbase原理及架构
    • 4.掌握HBase命令操作、MapReduce编程
    • 5.掌握Phoneix二级索引优化查询
    • 6.掌握ELK开发掌握Kafka原理及架构
    • 7.掌握KafkaStreams开发
    • 8.掌握基于Flink进行实时和离线数据处理、分析
    • 9.掌握基于Flink的多流并行处理技术
    • 10.掌握千万级高速实时采集技术

     

    高手班阶段六:【证券】今日指数

    实时监控证券市场的市场每日的业务交易,实现对证券市场交易数据的统计分析;搭建监察预警体系,包括:预警规则管理,实时预警,历史预警,监察历史数据分析等;股市行情交易数据实时采集、实时数据分析、多维分析,即席查询,实时大屏监控展示

    • 1.掌握证券相关业务
    • 2.掌握大数据批处理、流处理以及web接口开发
    • 3.掌握深市沪市数据采集
    • 4.掌握Flume自定义source
    • 5.掌握Flume拦截器的开发
    • 6.了解模型和SQL开发规范
    • 7.掌握Oozie定时调度
    • 8.使用hive进行数据开发
    • 9.掌握秒级、分时行情开发,涵盖个股、指数、K线
    • 10.掌握基于Flink CEP的实时股票涨跌幅、振幅、交易量监控预警
    • 11.掌握基于Kylin的离线预警开发
    • 12.掌握基于Spring Boot的数据服务接口开发

    主讲解决方案

    • 1.离线批处理数据分析:hive
    • 2.数据源接收平台:ftp
    • 3.数据采集:flume
    • 4.消息队列:kafka
    • 5.实时流处理:flink
    • 6.秒级行情数据存储:Hbase
    • 7.分时行情数据存储:Apache Druid
    • 8.K线数据存储:Mysql
    • 9.分时行情历史数据存储:HDFS(Hive)
    • 10:实时监控预警:Flink CEP
    • 11:离线数据预警:Kylin
    • 12:BI报表:Superset
    • 13:前端应用接口:微服务(SpringBoot)
    • 14:前端UI展示:Vue

    主讲知识点

    项目采用流处理计算引擎Flink,实时处理100万笔/s的交易数据 基于企业主流的流处理技术框架:Flume、Kafka、Flink、Hbase等 基于Hive和Kylin的批数据处理,可进行海量多维分析 Hbase5日内秒级行情亿级规模,MySQL5日内分时行情千万级规模 T-5日内实时行情毫秒响应,T-5日外的历史行情秒级响应 数据存储以HDFS、Hive、Hbase应对PB级规模数据 项目涵盖主流离线数仓的技术和OLAP分析引擎 OLAP分析引擎以Kylin和Druid实现离线和实时的指标分析 队列服务以低延迟、高吞吐-百万笔/秒的Kafka保障数据接收 缓存服务基于Redis的高速缓存,实现数据快速交换 TB级别的实时日处理数据、存储PB级历史数据 主备双大数据平台保障。

    高手班阶段七:Spark技术栈

    • 1.掌握Scala语言基础、数据结构
    • 2.掌握Scala语言高阶语法特性
    • 3.掌握Spark的RDD、DAG、CheckPoint等设计思想
    • 4.掌握SparkSQL结构化数据处理,Spark On Hive
    • 5.掌握SparkStreaming整合Kafka完成实时数据处理
    • 6.掌握SparkStreaming偏移量管理及Checkpoint
    • 7.掌握Structured Streaming整合多数据源完成实时数据处理
    • 8.具备Spark全栈开发能力,满足大数据行业多场景统一技术栈的数据开发,提供就业核心竞争力

    高手班阶段八:【物流】客快物流

    基于一家大型物流公司研发的智慧物流大数据平台,日订单上千万;围绕订单、运输、仓储、搬运装卸、包装以及流通加工等物流环节中涉及的数据信息等;提高运输以及配送效率、减少物流成本、更有效地满足客户服务要求,并针对数据分析结果,提出具有中观指导意义的解决方案

     

    高手班阶段九:大数据平台化开发

    大数据平台运维与监控部署解决方案,解决大数据运行环境与任务资源占用情况监控,包含了以下技术点:涵盖主流的一些大数据平台,涵盖CDH、HDP、Apache、云平台等部署方案,引入各家的最佳实践。包含基于平台下的各个组件的运维,包括Prometheus、Zabbix、Grafana、Eagle、CM、Ambari、Ganglia等。

     

    高手班阶段十:大数据数据中台

    数据中台的前提在于平台设计与元数据管理,基于各个业务系统的元数据,抽象出业务共同点,分类目管理,包含了以下技术点:基于Altlas元数据管理工具进行数据血缘分析、构建数据地图,构建统一存储计算平台,建立数据类目体系、标签类目体系、数据资产管理,并基于数据中台构建数据应用服务。

     

    1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
    2. 分享目的仅供大家学习和交流,请不要用于商业用途!
    3. 如果你也有好的课程或者教程,可以投稿,分享有学币奖励和额外收入!
    4. 如有链接无法下载、失效或广告,请联系管理员处理!
    5. 本站资源售价只是赞助,收取费用仅维持本站的日常运营所需!
    6. 如遇到加密压缩包,默认解压密码为"aixdata.com",如遇到无法解压的请联系管理员!
    HONG'S学院 » 【众筹课程】黑马零基础大数据就业班8.1

    HONG'S 学院,专注分享有价值的知识资源

    立即查看 了解详情