大数据分析及应用项目教程(Spark SQL)教学教案.docx

《大数据分析及应用项目教程(Spark SQL)教学教案.docx》由会员分享，可在线阅读，更多相关《大数据分析及应用项目教程(Spark SQL)教学教案.docx（31页珍藏版）》请在优知文库上搜索。

1、衢职职业技术学院单元教学活动设计二级学院信息工程学院专业大数据技术设计者许慧课程名称大数据挖掘与分1斤学年20222023学期2授课类型口理论型，理实一体型，口实践型单元名称单元1.大数据分析概述班级I大数据技术1、2人数教材来源自编教材授课学时4学生学习条件分析1 .起点分析：(1) 9次具备Linux相关操作、大数据基础运维的基本技能；学生具备自主学习能力，能主动查阅资料预习。2 .重点分析：(1)大数据分析的相关工具。大数据分析可视化的概念及相关工具。3 .难点分析：(I)SParkSQL的运行架构。(2)Catalyst查询编译器的工作流程。教学方法手段1 .教学方法：讲授法、讨论法。

2、2 .教学手段：实例讲解演示。教学资源1 .个人资源：教材、教学PPT与相关素材2 .学校资源：一体化教室、超星平台中的公共资源3 .网络、社会或出版社资源：多媒体课件、网上教学资源、精品课网站能力指标掌握大数据分析基础知识Cl养成良好的自我管理素养Bl提升学生沟通交流、小组协作能力E2教学目标知识1 .了解大数据分析的概念、特点、类别、优缺点。2 .知道大数据分析的相关工具3 .了解大数据分析可视化的概念及相关工具。4 .了解SparkSQL的背景、特点。能力1 .知道SparkSQL的运行架构2 .掌握Catalyst查询编译器的工作流程。素质1 .养成良好的自我管理素养2 .提升沟通交流

3、、小组协作能力教师课前准备1 .准备好一体化机房，保证机器正常运转，安装好软件。2 .准备好授课PPT,完成所有案例设计，熟练示范操作的过程。3 .设计学生要完成的任务。4 .设计好教学环节。5 .服装大方，自然得体。学生课前准备查阅资料，预习教材活动历程一、准备活动1 .活跃课堂气氛，自我介绍，学习通签到、点名。2 .课程定位，课程教学内容安排与考核方式介绍。3 .课程主要学习内容、学习方法介绍。二、发展活动1 .关于大数据分析情境导入；2 .学习目标和要求；3 .提问：什么是大数据分析？大数据的“5V”特征大数据分析概念：大数据分析的特点大数据分析类别大数据分析的优势与缺点4 .提问：大数

4、据分析工具有哪些？Hadoop生态圈中的大数据分析工具大数据分析编程语言其他工具5 .关于大数据g析可视化。三、课堂小结大数据分析概述、工具和可视化。第1、2节结束一、准备活动1 .活跃课堂气氛，学习通签到、点名。2 .认识SParkSQL情境导入。3 .学习目标和要求。二、发展活动1.SparkSQL背景简介SparkSQL的背景SparkSQL的特点2.SparkSQL运行原理。a.SessionCatalog保存元数据RDDb. ANTLR生成未绑定的逻辑计划c. Analyzer绑定逻辑计划d. Optimizer优化逻辑计划e. SparkPlanner生成可执行的物理计划f. Co

5、stModel选择最佳物理执行计划g. execute执行物理计划三、课堂小结与作业布置1 .小结：本次课程学习重点，学习过程中出现的问题与解决方法。2 .布置：完成第1章课后练习。第3、4节结束学习评量课堂练习中巡视指导课后作业纸笔作业：完成第1章课后练习题。教学后记目标或能力指针达成度、学习表现、内容、方法、资源、业师协同等向度1 .目标或能力指标达成度全班80%学生达到了教学目标和能力指标。2 .学习表现课内预习阶段发现学生预习时个别同学没有带书，大部分同学没有带笔和笔记本，阅读习惯有待改进。衢职职业技术学院单元教学活动设计二级学院信息工程学院专业大数据技术设计者许慧课程名称大数据挖掘与

6、分1斤学年2022-2023学期2授课类型口理论型，理实一体型，口实践型单元名称单元2.实践环J克准备班级I大数据技术1、2人数教材来源自编教材授课学时6学生学习条件分析1 .起点分析：(1) 了解大数据分析概述、工具和可视化；(2)知道SparkSQL背景和运行原理。2 .重点分析：(I)Hadoop集群环境搭建。(2) Spark集群安装搭建。(3) SCala下载、安装和配置3 .难点分析：(I)Hadoop集群环境搭建。(2)SPark集群安装搭建。教学方法手段1 .教学方法：讲授法、讨论法。2 .教学手段：实例讲解演示。教学资源1 .个人资源：教材、教学PPT与相关素材2 .学校资源

7、：一体化教室、超星平台中的公共资源3 .网络、社会或出版社资源：多媒体课件、网上教学资源、精品课网站能力指标掌握Hadoop和Spark集群的安装部署Cl养成良好的自我管理素养Bl提升学生沟通交流、小组协作能力E2教学目标知识1.了解HadoopSpark和Scala的基础知识。能力1 .掌握HadOOP集群环境搭建的环境准备工作，包括配置主机名、防火墙设置、免密登录设置、JaVa环境设置。2 .掌握安装Hadoop的过程、配置文件设置及启动集群的方法。3 .掌握Spark集群安装配置方法。4 .能使用Spark-shell进行简单编程测试。5 .会下载、安装配置SCala工具。6 .能启动S

8、cala进行编程测试。素质1 .养成良好的自我管理素养2 .提升沟通交流、小组协作能力教师课前准备L准备好一体化机房，保证机器正常运转，安装好软件。2 .准备好授课PPT,完成所有案例设计，熟练示范操作的过程。3 .设计学生要完成的任务。4 .设计好教学环节。5 .服装大方，自然得体。学生课前准备查阅资料，预习教材活动历程一、准备活动1.活跃课堂气氛，学习通签到、点名。二、发展活动1 .Hadoop集群环境搭建情境导入；2 .学习目标和要求；3 .操作演示HadOOP集群搭建：.集群节点规划配置主机名和IP连接MObaXtenn终端工具关闭防火墙关闭SEIinUX修改etchosts文件配置免

9、密登录配置JaVa环境安装Hadoop启动HadOOP集群4.运行经典案例wordcount在本地root目录下创建一个txt文件，输入一段自定义文字。上传文本到到hdfso：运行命令并查看结果三、课堂小结FIadoop集群搭建知识与技能回顾。一一第1、2节结束一一一、准备活动1 .活跃课堂气氛，学习通签到、点名。2 .Spark集群部署与使用情境导入。3 .学习目标和要求。二、发展活动1 .Spark安装上传软件包修改环境变量修改Spark配置文件复制修改spark启动脚本分发Spark安装文件到SlaverOl和slaver02o2 .启动Sparko查看各节点服务进程状态root0mas

10、ter*#jps3664WOrkerl2274NodeManager3730JpsrootSIaVerO1#jpstgsvr2JPS1524NameNode2Q58Jds2211WOrken匿潦嚷器客加产NodeMa产“娱；NodeManager166DataNode2013Worker|2268JPSB612MaSterl1391UataNoaeroot领asterroot0slaverl#.joyuaaNoeroot0slaverO2#： Web查看SPark主页情况3. Spark集群测试：使用Spark-Submit工具提交Spark作业使用 Spark-sql使用 Spark she

11、ll(rootfMster spark-shell 222-1O19 11:07:06.717utl.IUtvtolor:e 广 Iaad natvadooP library for your pltfora. using buatw-java classes 向er applicable Setting default log level toTo adjust logging lvl us sc.stL09Lvl(ntMtvl). For SparkR, use setLoLv lnwtevl).2022*10-19 11:07:36.109 WAVl utU.VtUs: Service

12、,SparkUI could nc bud on po rt 4040. Atteflptmg port 4941.Spark context Sprk context 9).Spark session Wlcon toWeb UI vhU at htpat:4041 vlbl sc, (ms r Xocl(*), app Id Xoc1-1W619205693available as sperk./-Fi_3 v vT 7Z j /_/_、/八IJ*r* 411中1，年以队蒯支/lversion 3.1.2Uswg 5cl vrxon 2.12.10 Tyx s expressions to

13、 hv the evaluated.yp :helP M 必皿二.A攵*Wfcl I -*-*-三、课堂小结小结：本次课程学习重点，学习过程中出现的问题与解决方法。第3、4节结束一一一、准备活动1 .活跃课堂气氛，学习通签到、点名。2 . SCaIa安装情境导入。3 .学习目标和要求。二、发展活动1.下载Scala安装包2.安装配置上传安装包并解压配置环境变量，添加SCaIa相关配置：使环境变量生效，查看SCala版本启动Scala三、课堂小结1 .小结：本次课程学习重点，学习过程中出现的问题与解决方法。2 .布置：完成第1章课后练习。第5、6节结束学习评量课堂练习中巡视指导课后作业纸笔作业：完成第2章课后练习题。教学后记目标或能力指针达成度、学习表现、内容、方法、资源、业师协同等向度1 .目标或能力指标达成度全班80%学生达到了教学目标和能力指标。2 .学习表现课内预习阶段发现学生预习时个别同学没有带书，大部分同学没有带笔和笔记本，阅读习惯有待改进。衢职职业技术学院单元教学活动设计二级学院信息工程学院专业大数据技术设计者许慧课程名称大数据挖掘与分1斤学年2022-2023学期2授课类型口理论