《Hadoop大数据平台构建》课程标准（含课程思政）.docx

《《Hadoop大数据平台构建》课程标准（含课程思政）.docx》由会员分享，可在线阅读，更多相关《《Hadoop大数据平台构建》课程标准（含课程思政）.docx（12页珍藏版）》请在优知文库上搜索。

1、Hadoop大数据平台构建课程标准一、课程基本信息课程名称IIadoop大数据平台构建课程代码034321026课程性质0必修课口专业选修课口公共选修课开课部门软件与大数据学院课程类型理论课（A类）0理论+实践课（B类）实践课（C类）课程类别口公共课口专业基础课0专业核心课口专业实践课学分4学时64理论学时32实践学时32适用专业（方向）大数据技术开设学期第3学期先修课程计算机网络、LinUX操作系统后续课程DOCker容器技术与应用、专业综合实训对接1+X证书名称“1+X”大数据平台运维职业技能等级证书证书级别中级使用职业教育国家规划教材1+X系列教材，大数据平台运维（中级），新华三技术有限

2、公司主编，电子工业出版社，2021年4月第1版二、课程性质与任务（一）课程性质Hadoop大数据平台构建课程是教育部大数据技术专业标准规定的专业核心课程，是我校大数据技术专业的专业核心课程，是面向大数据运维工程师岗位的一门综合项目实战课程，授课内容对标教育部“1+X”大数据平台运维职业技能等级证认证考试，涉及大数据和HadoOP基础知识、HadooP集群及其高可用集群部署、大数据组件的运维、大数据平台的监控，要求掌握大数据平台的部署，能够熟练进行大数据组件的维护，能够对大数据平台实现监控。（二）课程任务本课程主要讲授大数据和HadoOP基础知识、HadoOP集群及其高可用集群部署、大数据组件的

3、运维、大数据平台的监控，本专业培养能够践行社会主义核心价值观，德智体美劳全面发展，具有一定的科学文化水平，良好的人文素养、科学素养、职业道德和创新意识，精益求精的工匠精神，较强的就业创业能力和可持续发展的能力，掌握本课程的相关知识点后，学生能够从事大数据实施与运维、大数据平台管理、大数据技术服务等工作的高素质技术技能人才。（三）课程设计理念以习近平总书记在全国高校思想政治工作会议上讲话为指导，坚持把立德树人作为中心环节，把思想政治工作贯穿教育教学全过程，校企双方对接大数据运维工程师岗位典型工作任务和“1+X”、行业认证证书标准，实现全程育人、全方位育人。三、课程目标要求（一）总体目标Wadoo

4、p大数据平台构建从大数据平台运维工程师的角度，全方位介绍了大数据平台构建的相关实践知识和核心实操。将课程思政融入理论案例，强化大国情怀与责任担当，激发学生的社会责任担当与民族自豪感。（二）具体目标1 .素质目标具有良好的工作态度和责任心；具有较强的团队意识和协作能力；具有新时代下，大胆创新创业、勇于探索拼搏的信念；具有较强国家通用语言表达能力和较强的沟通能力；培养具有大国情怀的技术英才；具有国家利益、集体利益和个人利益相结合的社会主义集体主义精神。2 .知识目标掌握大数据平台架构；掌握Hadoop集群及其高可用集群部署；掌握大数据组件的运维；掌握大数据平台的监控。3 .能力目标能熟悉大数据平台

5、架构能熟练掌握Hadoop集群及其高可用集群部署；能够对大数据组件进行运维；能熟练掌握大数据平台监控。()课程要求课程单元教学任务要求第1章大数据和Hadoop概述任务1：大数据概述任务2：大数据应用场景任务3：Hadoop概述了解大数据及其特征；熟悉大数据的典型应用；掌握Hadoop的生态体系。第2章Hadoop集群安装部署任务1：VMware中安装CentOS7任务2：常用LinUX命令任务3：LinUX系统基础配置任务4：SSH免密登录任务5：安装和配置JaVa任务6：HadOOP集群基本概念任务7：伪分布式安装任务8：配置HadoOP任务9：集群启动任务10：完全分布式安装任务11：启

6、动集群了解安装虚拟机和克隆；熟悉Linux系统的网络配置和SSH配置；熟悉伪分布式安装；掌握完全分布式安装。第3章分布式文件系统HDFS任务1：HDFS简介任务2：HDFS架构和原理任务3：HDFSShell操作了解HDFS演变；掌握HDFS特点及架构和原理；掌握HDFS的Shen操作。第4章分布式计算框架MapReduce任务1：MapReduce概述任务2：MaPRedUCe运行机制任务3：MaPRedUCe任务流程任务4：MapReduce实现单词计数理解MaPRedUCe的核心思想；掌握MapReduce的任务流程；握MapReduce的运行机制。第5章分布式协调框架Zookeeper

7、任务1：ZookeePer简介任务2：Zookeeper选举机制任务3：ZoOkeePer安装任务4：ZoOkeePer文件参数配置任务5：Zookeeper集群启动任务6：ZookeeperShel1操作了解Zookeeper的概念和特性;掌握Zookeeper的WatCher机制和选举机制；掌握Zookeeper集群部署、Zookeeper的Shell操作。第6章Hadoop任务1：HDFS高可用了解YARN和HDFS的高可用高可用集群搭建任务2：YARN高可用任务3：HDFSHA搭建任务4：YARNHA搭建任务5：HadoOP高可用集群启动任务6：HDFS自动故障转移测试任务7：YARN

8、自动故障转移测试架构；掌握HadoopHA集群部署；熟悉HadoopHA集群启动。第7章分布式列存储数据库HBase任务1：HBaSe组件概述任务2：HBaSe组件部署任务3：创建HBaSe库任务4：HBaSe库操作任务5：HBaSC表管理任务6：HBase数据操作了解HBase基本概念；掌握HBaSe数据模型;掌握HBaSe集群架构与原理、搭建；掌握HBaSe的SheIl操作。第8章数据仓库Hive任务1：HiVC组件原理任务2：HiVC组件部署任务3：HiVe库操作任务4：Hive表操作任务5：HiVC查询了解Hive的相关功能和特点；熟悉HiVe的安装部署；掌握HiVeQL的相关操作;掌

9、握Hive宕机恢复方法。第9章数据迁移工具Sqoop任务1：SqOOP组件概述任务2：SqooP数据导入导出了解Sqoop的基本概念；掌握Sqoop的安装配置及导入导出操作。第10章日志采集工具Flume任务1：Flume组件概述任务2：FIUnle安装与使用了解Elume的基本概念；熟悉Flume的安装部署；掌握Flume的数据采集。第11章分布式消息队列Kafka任务1：Kafka组件概述任务2：Kafka组件部署了解Kafka的基本概念；掌握Kafka集群搭建；掌握Kafka组件数据处理。第12章大数据平台管理与监控任务1：平台管理与监控概述任务2：常用监控工具介绍任务3：NagioS服

10、务端安装任务4：NagiOS监控NodeI了解常见的大数据管理与监控平台；掌握Nagios监控Hadoop集群。任务5：Nagios监控Node2任务6：NagioS监控HDFS任务7：NagioS监控HDFS四、课程结构与内容（一）课程结构与学时分配情景名称项目名称任务名称（含子任务）任务学时项目学时认识大数据第1章大数据和Hadoop概述任务1：大数据概述任务2：大数据应用场景任务3：Hadoop概述22Hadoop集群部署第2章HadoOP集群安装部署第3章分布式文件系统HDFS第4章分布式计算框架MapReduce第5章分布式协调框架Zookeeper第6章HadoOP高可用集群搭建任

11、务1：HadooP集群基础环境配置任务2：伪分布式安装任务3：完全分布式安装任务4：分布式文件系统HDFS任务5：分布式计算框架MapReduce任务6：Zookeeper部署任务7：HadoopHA搭建3030大数据组件运维第7章分布式列存储数据库HBase第8章数据仓库Hive第9章数据迁移工具Sqoop第10章日志采集工具Flume第11章分布式消息队列Kafka任务1：HBaSe组件运维任务2：HiVC组件运维任务3：SqOOP组件运维任务4：FIUnIC组件运维任务5：Kafka组件运维2020大数据平台监控第12章大数据平台管理与监控任务1：平台管理与监控概述任务2：常用监控工具介

12、绍任务3：NagioS服务端安装任务4：NagiOS监控NodeI任务5：Nagios监控Node2任务6：NagioS监控HDFS任务7：NagioS监控HDFS1212（二）课程内容与要求教学情境教学项目教学内容教学目标教学重难点教学建议学时认识大数据第1章大数据和Hadoop概述大数据及其特征；大数据的典型应用；HacJoop的生态体系。素质目标：1培养岗位职业规范和严谨的工作态度；2.培养学生国家使命感、民族精神；知识目标：1 .了解大数据及其特征2 .熟悉大数据典型应用3 .掌握Hadoop体系重点：大数据特征及其应用难点：Hadoop的生态体系教学方法：讲述教学法，案例教学法。教学

13、环境：实训室。2Hadoop集群以及HadoopHA部署第2章Hadoop集群安装部署第3章分布式文件系统HDFS第4章分布式计算框架Hadoop集群搭建；HDFSshell操作；单词计数；Zookeeper集群搭建；HA集群的搭建素质目标：1.培养学生的自主学习能力和探究意识；2.培养小组合作培养团队协作精神；知识目标：1. HadoOP集群搭建2. HDFSshell操作3. 单词计数4. Zookeeper集群搭建重点：5.Hadoop集群搭建难点：HadoopHA集群搭建教学方法：讲述教学法，引导教学法，任务驱动法，案例教学法。教学环境：实训室。30MapReduce第5章分布式协调框

14、架Zookeeper第6早Hadoop高可用集群搭建5.HadoopHA搭建能力目标：提高团队协作能力大数据组件维护第7章分布式列存储数据库HBase第8章数据仓库Hive第9章数据迁移工具Sqoop第10章日志采集工具Flume第11章分布式消息队列KafkaHBase组件运维；Hive组件运维Sqoop组件运维；Flume组件运维；Kafka组件运维。素质目标：1 .培养团结合作意识；2 .培养学生敬业、诚信、友善的社会主义核心价值知识目标：掌握组件的安装和维护能力目标：提高组件运维能力重点：Hive组件的运维；HBase组件的运维；难点：ETL组件的运维教学方法：讲述教学法，引导教学法，任务驱动法，案例教学法。教学环境：实训室。20大数据平台监控第12章大数据平台管理与Nagios监控节点、HDFS和素质目标：1.培养学生严谨细致的职业素养；重点：Nagios监控节教学方法：讲述教学法，引导教12监控DataNodeo2.深刻理解国家信息技占八、9学法，任务术自主可控的重要