SparkStreaming学习实时流处理项目实战/大小:13.8G

SparkStreaming学习实时流处理项目实战/大小:13.8G

2025年3月28日 上午6:18 资讯教程
此资源仅对VIP开放

 本课程从实时数据产生和流向的各个环节出发,通过集成主流的分布式日志收集框架Flume、分布式消息队列Kafka、分布式列式数据库HBase、及当前最火爆的Spark
Streaming打造实时流处理项目实战,让你掌握实时处理的整套处理流程,达到大数据中级研发工程师的水平!

第1章 课程介绍

课程介绍

第2章 初识实时流处理

本章节将从一个业务场景分析出发引出实时流处理的产生背景,对比离线处理和实时处理的区别,了解常用的实时流处理框架有哪些,实时流处理在企业级应用中各个环节的架构以及技术选型

第3章 分布式日志收集框架Flume

本章节将从通过一个业务场景出发引出Flume的产生背景,将讲解Flume的架构及核心组件,Flume环境部署以及Flume Agent开发实战让大家学会如何使用Flume来进行日志的采集

第4章 分布式发布订阅消息系统Kafka

本章节将讲解Kafka的架构以及核心概念,Kafka环境的部署及脚本的使用,Kafka API编程,并通过Kafka容错性测试让大家体会到Kakfa的高可用性,并将Flume和Kafka整合起来开发一个功能

第5章 实战环境搭建

工欲善其事必先利其器,本章将讲解Hadoop、ZooKeeper、HBase、Spark的安装,以及如何使用IDEA整合Maven/Spark/HBase/Hadoop来搭建我们的开发环境

第6章 Spark Streaming入门

本章节将讲解Spark Streaming是什么,了解Spark Streaming的应用场景及发展史,并从词频统计案例入手带大家了解Spark Streaming的工作原理

第7章 Spark Streaming核心概念与编程

本章节将讲解Spark Streaming中的核心概念、常用操作,通过Spark Streaming如何操作socket以及HDFS上的数据让大家进一步了解Spark Streaming的编程

第8章 Spark Streaming进阶与案例实战

本章节将讲解Spark Streaming如何处理带状态的数据,通过案例让大家知道Spark Streaming如何写数据到MySQL,Spark Streaming如何整合Spark SQL进行操作

第9章 Spark Streaming整合Flume

本章节将讲解Spark Streaming整合Flume的两种方式,讲解如何在本地进行开发测试,如何在服务器上进行测试

第10章 Spark Streaming整合Kafka

本章节将讲解Spark Streaming整合Kafka的两种方式,讲解如何在本地进行开发测试,如何在服务器上进行测试

第11章 Spark Streaming整合Flume&Kafka打造通用流处理基础

本章节将通过实战案例彻底打通Spark Streaming和Flume以及Kafka的综合使用,为后续项目实战打下坚实的基础

第12章 Spark Streaming项目实战

本章节将通过一个完整的项目实战让大家学会大数据实时流处理的各个环境的整合,如何根据业务需要来设计HBase的rowkey

第13章 可视化实战

本章节将通过两种方式来实现实时流处理结果的可视化操作,一是使用Spring Boot整合Echarts实现,二是使用更加炫酷的阿里云产品DataV来实现

第14章 Java拓展

本章节作为扩展内容,将带领大家使用Java来开始Spark应用程序,使得大家对于使用Scala以及Java来开发Spark应用程序都有很好的认识

此资源仅对VIP开放下载
下载说明:游戏源码及部分源码可能压缩包中没有安装教程,可以按照压缩包中文件编号自助从如下网盘中自行下载安装教程                        网盘地址:https://pan.baidu.com/s/1gkRfAimSCyAJlsjfwtZ_QA?pwd=jkzn     本站资源来源于用户分享、互换、购买以及网络收集等渠道,本站不提供任何技术服务及有偿服务,资源仅提供给大家学习研究请勿作它用。赞助本站仅为维持服务器日常运行并非购买程序及源码费用因此不提供任何技术支持,如果你喜欢该程序,请购买正版!版权声明:下载本站资源学习研究的默认同意本站【版权声明】若本站提供的资源侵犯到你的权益,请提交版权证明文件至邮箱xz8493#126.com(将#替换为@)站长将会在三个工作日内为您删除。免责声明:您好,本站所有资源(包括但不限于:源码、素材、工具、字体、图像、模板等)均为用户分享、互换、购买以及网络收集而来,并未取得原始权利人授权,因此禁止一切商用行为,仅可用于个人研究学习使用。请务必于下载后24小时内彻底删除,一切因下载人使用所引起的法律相关责任,包括但不限于:侵权,索赔,法律责任,刑事责任等相关责任,全部由下载人/使用人,全部承担。以上说明,一经发布视为您已全部阅读,理解、同意以上内容,如对以上内容持有异议,请勿下载,谢谢配合!支持正版,人人有责,如不慎对您的合法权益构成侵犯,请联系我们对相应内容进行删除,谢谢!客服QQ:577454641有些源码因为是搬运过来的,如果有解压密码,默认解压密码:www.admin998.com www.ohbbs.cn www.ohltk.com www.aqiyuanma.com www.ohltw.com www.ohbbs.com  www.soku.cc 8ye.net www.myhaochi.com www.ohymw.com 其中的一个。 

评论0

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
登入/注册
欢迎~你回来
没有账号? 忘记密码?