Hadoop大數(shù)據(jù)平臺開發(fā)與案例分析高級工程師實戰(zhàn)培訓班

Hadoop大數(shù)據(jù)平臺開發(fā)與案例分析高級工程師實戰(zhàn)培訓班課程 [課程簡介]：培訓目標掌握大數(shù)據(jù)處理平臺（Hadoop、Spark、Storm）技術架構、以及平臺的安裝部署、運維配置、應用開發(fā)；掌握主流大數(shù)據(jù)Hadoop平臺和Spark實時處理平臺的技術架構和實際應用；利用Hadoop+Spark對行業(yè)大數(shù)據(jù)進行存儲管理和分析挖掘的技術應用；講解Hadoop生態(tài)系統(tǒng)組件，包括Storm，HDFS，MapReduce，HIVE，HBase，Spark，GraphX，MLib，Shark， ElasticSearch等大數(shù)據(jù)存儲管理、分布式數(shù)據(jù)庫、大型數(shù)據(jù)倉庫、大數(shù)據(jù)查詢與搜索、大數(shù)據(jù)分析挖掘與分布式處理技術 ...

【時間地點】	2020年1月09-11日上海
【培訓講師】	張老師
【參加對象】	業(yè)務支撐建設維護室、業(yè)務維護室、經營分析室人員；網絡部、網管中心、網優(yōu)中心從事大數(shù)據(jù)相關工作的人員
【參加費用】	￥6800元/人（含教材、培訓費、考證費以及學習用具等費用）食宿統(tǒng)一安排，費用自理。
【會務組織】	森濤培訓網（m.lailaliao.cn）．廣州三策企業(yè)管理咨詢有限公司
【咨詢電話】	020-34071250；020-34071978（提前報名可享受更多優(yōu)惠）
【聯(lián) 系人】	龐先生，鄧小姐；13378458028、18924110388（均可加微信）
【在線 QQ 】	568499978	課綱下載
【溫馨提示】	本課程可引進到企業(yè)內部培訓，歡迎來電預約！

培訓關鍵詞：大數(shù)據(jù)Hadoop培訓

Hadoop大數(shù)據(jù)平臺開發(fā)與案例分析高級工程師實戰(zhàn)培訓班(張老師)課程介紹：

課程介紹
1. 需求理解
Hadoop 設計之初的目標就定位于高可靠性、高可拓展性、高容錯性和高效性，正是這些設計上與生俱來的優(yōu)點，才使得Hadoop 一出現(xiàn)就受到眾多大公司的青睞，同時也引起了研究界的普遍關注。
對電信運營商而言,用戶上網日志包含了大量用戶個性化需求、喜好信息,對其進行分析和挖掘,能更好地了解客戶需求。傳統(tǒng)經營分析系統(tǒng)小型機加關系型數(shù)據(jù)庫的架構無法滿足對海量非結構化數(shù)據(jù)的處理需求,搭建基于X86的Hadoop 平臺,引入大數(shù)據(jù)處理技術的方式,實現(xiàn)高效率、低成本、易擴展的經營分析系統(tǒng)混搭架構成為電信運營商最為傾向的選擇。本課程將全面介紹Hadoop平臺開發(fā)和運維的各項技術，對學員使用該項技術具有很高的應用價值。

2. 培訓課程架構與設計思路
（1）培訓架構：
本課程分為三個主要部分：
第一部分：重點講述大數(shù)據(jù)技術在的應用，使學員對大數(shù)據(jù)技術的廣泛應用有清晰的認識，在這環(huán)節(jié)當中會重點介紹Hadoop技術在整個大數(shù)據(jù)技術應用中的重要地位和應用情況。
第二部分：具體對hadoop技術進行模塊化分拆，從大數(shù)據(jù)文件存儲系統(tǒng)技術和分布式文件系統(tǒng)平臺及其應用談起，介紹Hadoop技術各主要應用工具和方法，以及在運維維護當中的主流做法，使學員全面了解和掌握Hadoop技術的精華。
第三部分：重點剖析大數(shù)據(jù)的應用案例，使學員在案例當中對該項技術有更深入的感觀印象
（2）設計思路：
本課程采用模塊化教學方法，以案例分析為主線，由淺入深、循序漸進、由理論到實踐操作進行設計。
（3）與企業(yè)的貼合點：
本課程結合企業(yè)轉型發(fā)展及大數(shù)據(jù)發(fā)展戰(zhàn)略，圍繞企業(yè)大數(shù)據(jù)業(yè)務及行業(yè)應用市場拓展發(fā)展目標，重點講授Hadoop的應用技術，提升企業(yè)IT技術人員的開發(fā)和運維能力，有很強的貼合度。

培訓目標
掌握大數(shù)據(jù)處理平臺（Hadoop、Spark、Storm）技術架構、以及平臺的安裝部署、運維配置、應用開發(fā)；掌握主流大數(shù)據(jù)Hadoop平臺和Spark實時處理平臺的技術架構和實際應用；利用Hadoop+Spark對行業(yè)大數(shù)據(jù)進行存儲管理和分析挖掘的技術應用；講解Hadoop生態(tài)系統(tǒng)組件，包括Storm，HDFS，MapReduce，HIVE，HBase，Spark，GraphX，MLib，Shark， ElasticSearch等大數(shù)據(jù)存儲管理、分布式數(shù)據(jù)庫、大型數(shù)據(jù)倉庫、大數(shù)據(jù)查詢與搜索、大數(shù)據(jù)分析挖掘與分布式處理技術

培訓大綱

（1）課程框架

時間		培訓內容	教學方式
第一天	上午	第一部分：移動互聯(lián)網、大數(shù)據(jù)、云計算相關技術介紹第二部分：大數(shù)據(jù)的挑戰(zhàn)和發(fā)展方向	理論講授+案例分析
第一天	下午	第三部分：大數(shù)據(jù)文件存儲系統(tǒng)技術和分布式文件系統(tǒng)平臺及其應用第四部分：Hadoop文件系統(tǒng)HDFS最佳實戰(zhàn)	理論講授+案例分析+小組討論
第二天	上午	第五部分：Hadoop運維管理與性能調優(yōu) 第六部分：NOSQL數(shù)據(jù)庫Hbase與Redis	理論講授+案例分析+實戰(zhàn)演練
第二天	下午	第七部分：類SQL語句工具——Hive 第八部分：數(shù)據(jù)挖掘SPARK建�；A介紹	理論講授+案例分析+實戰(zhàn)演練
第三天	上午	第九部分：Kafka基礎介紹第十部分：大數(shù)據(jù)典型應用與開發(fā)案例分析：互聯(lián)網數(shù)據(jù)運營	理論講授+案例分析
第三天	下午	第十一部分：當前數(shù)據(jù)中心的改造和轉換分析-以國內外運營商、互聯(lián)網公司為例第十二部分：課程總結與問題答疑評估培訓	理論講授+案例分析+小組討論

（2）培訓內容介紹

課程模塊	課程主題	主要內容及案例和演示
模塊一	移動互聯(lián)網、大數(shù)據(jù)、云計算相關技術介紹		數(shù)據(jù)中心與云計算技術應用智慧城市與云計算技術應用移動互聯(lián)網、大數(shù)據(jù)與云計算關聯(lián)技術移動云計算的生態(tài)系統(tǒng)及產業(yè)鏈大數(shù)據(jù)技術在運營商、金融業(yè)、銀行業(yè)、電子商務行業(yè)、零售業(yè)、制造業(yè)、政務信息化、互聯(lián)網、教育信息化等行業(yè)中的應用實踐國內外主流的大數(shù)據(jù)解決方案介紹當前大數(shù)據(jù)解決方案與傳統(tǒng)數(shù)據(jù)庫方案的剖析比較 Cloudera Hadoop 大數(shù)據(jù)平臺方案剖析開源的大數(shù)據(jù)生態(tài)系統(tǒng)平臺剖析
模塊二	大數(shù)據(jù)的挑戰(zhàn)和發(fā)展方向		大數(shù)據(jù)時代的挑戰(zhàn) 戰(zhàn)略決策能力技術開發(fā)和數(shù)據(jù)處理能力組織和運營能力大數(shù)據(jù)時代的發(fā)展方向云計算是基礎設施架構大數(shù)據(jù)是靈魂資產分析、挖掘是手段發(fā)現(xiàn)和預測是最終目標大數(shù)據(jù)挖掘在各行業(yè)應用情況電信行業(yè)應用及案例分析互聯(lián)網行業(yè)應用及案例分析金融行業(yè)應用及案例研究銷售行業(yè)應用案例分析
模塊三	大數(shù)據(jù)文件存儲系統(tǒng)技術和分布式文件系統(tǒng)平臺及其應用		Hadoop的發(fā)展歷程 Hadoop大數(shù)據(jù)平臺架構基于Hadoop平臺的PB級大數(shù)據(jù)存儲管理與分析處理的工作原理與機制 Hadoop 的核心組件剖析分布式文件系統(tǒng)HDFS 概述、功能、作用、優(yōu)勢應用范疇、應用現(xiàn)狀發(fā)展趨勢分布式文件系統(tǒng)HDFS架構及原理核心關鍵技術設計精髓基本工作原理系統(tǒng)架構文件存儲模式工作機制存儲擴容與吞吐性能擴展分布式文件系統(tǒng)HDFS操作 SHELL命令操作 I/O流式操作文件數(shù)據(jù)讀取、寫入、追加、刪除文件狀態(tài)查詢數(shù)據(jù)塊分布機制數(shù)據(jù)同步與一致性元數(shù)據(jù)管理技術主節(jié)點與從節(jié)點工作機制大數(shù)據(jù)負載均衡技術 HDFS大數(shù)據(jù)存儲集群管理技術 Hadoop生態(tài)系統(tǒng)組件 Storm HDFS MapReduce HIVE HBase Spark GraphX MLib Shark
模塊四	Hadoop文件系統(tǒng)HDFS最佳實戰(zhàn)		HDFS的設計 HDFS的概念數(shù)據(jù)塊 namenode和datanode 聯(lián)邦HDFS HDFS的高可用性命令行接口 Hadoop文件系統(tǒng) Java接口從Hadoop URL讀取數(shù)據(jù) 通過FileSystem API讀取數(shù)據(jù) 寫入數(shù)據(jù) 目錄查詢文件系統(tǒng) 刪除數(shù)據(jù) 數(shù)據(jù)流剖析文件讀取剖析文件寫入一致模型通過Flume和Sqoop導入數(shù)據(jù) 通過distcp并行復制 Hadoop存檔使用Hadoop存檔工具不足
模塊五	Hadoop運維管理與性能調優(yōu)		第二代大數(shù)據(jù)處理框架 Yarn的工作原理及 DAG并行執(zhí)行機制 Yarn大數(shù)據(jù)分析處理案例分析 Yarn 框架并行應用程序實踐集群配置管理 Hadoop集群配置 Hadoop性能調優(yōu)與參數(shù)配置 Hadoop機架感知策略與配置 Hadoop壓縮機制 Hadoop任務負載均衡 Hadoop 集群維護 Hadoop監(jiān)控管理 HDFS的靜態(tài)調優(yōu)技巧 HDFS 的高吞吐量I/O性能調優(yōu)技巧 MapReduce/Yarn的并行處理性能調優(yōu)技巧 Hadoop集群的運行故障剖析，以及解決方案基于Hadoop大數(shù)據(jù)應用程序的性能瓶頸剖析與提 Hadoop 大數(shù)據(jù)運維監(jiān)控管理系統(tǒng) HUE 平臺的安裝部署與應用配置 Hadoop運維管理監(jiān)控系統(tǒng)Ambari平臺的安裝部配置 Hadoop 集群運維系統(tǒng) Ganglia, Nagios的安裝部署與應用配置
模塊六	NOSQL數(shù)據(jù)庫Hbase與Redis		NOSQL基礎 CAP理論 Base與ACID NOSQL數(shù)據(jù)庫存儲類型鍵值存儲列存儲文檔存儲圖形存儲 HBase分布式數(shù)據(jù)基礎安裝Hbase Hbase應用 HBase的邏輯數(shù)據(jù)模型，HBase的表、行、列族、列、單元格、版本、row key排序 HBase的物理模型，命名空間（表空間）、表模式（Schema）的設計法則 HBase 主節(jié)點HMaster的工作原理，HMaster的高可用配置，以及性能調優(yōu) HBase 從節(jié)點RegionServer（分區(qū)服務節(jié)點）的工作原理，表分區(qū)及存儲I/O高并發(fā)配置，以及性能調優(yōu) HBase的存儲引擎工作原理，以及HBase表數(shù)據(jù)的鍵值存儲結構，以及HFile存儲結構剖析 HBase表設計與數(shù)據(jù)操作以及數(shù)據(jù)庫管理操作 HBase集群的安裝部署、參數(shù)配置和性能優(yōu)化 HBase分布式數(shù)據(jù)庫簡介、發(fā)展歷程、應用場景、工作原理、以及應用優(yōu)勢與不足之處 HBase分布式數(shù)據(jù)庫集群的主從式平臺架構和關鍵技術剖析 HBase偽分布式和物理集群分布式的控制與運行配置 HBase從節(jié)點RegionServer（分區(qū)服務節(jié)點）的工作原理，表分區(qū)及存儲I/O高并發(fā)配置，以及性能調優(yōu) HBase的存儲引擎工作原理，以及HBase表數(shù)據(jù)的鍵值存儲結構，以及HFile存儲結構剖析 HBase表設計與數(shù)據(jù)操作以及數(shù)據(jù)庫管理操作 HBase集群的安裝部署、參數(shù)配置和性能優(yōu)化 ZooKeeper分布式協(xié)調服務系統(tǒng)的工作原理、平臺架構、集群部署應用實戰(zhàn) ZooKeeper集群的原理架構，以及應用配置 Redis內存數(shù)據(jù)庫介紹，以及業(yè)界應用案例 Redis內存數(shù)據(jù)庫集群架構以及核心技術剖析 Redis 集群的安裝部署與應用開發(fā)實戰(zhàn)
模塊七	類SQL語句工具——Hive		安裝Hive 示例運行Hive 配置Hive Hive服務 Metastore Hive與傳統(tǒng)數(shù)據(jù)庫相比讀時模式vs.寫時模式更新、事務和索引 HiveQL 數(shù)據(jù)類型操作與函數(shù) 表托管表和外部表分區(qū)和桶存儲格式導入數(shù)據(jù) 表的修改表的丟棄查詢數(shù)據(jù) 排序和聚集 MapReduce腳本連接子查詢視圖用戶定義函數(shù) 寫UDF 寫UDAF
模塊八	數(shù)據(jù)挖掘SPARK建�；A介紹		Spark簡介 Spark是什么 Spark生態(tài)系統(tǒng)BDAS Spark架構 Spark分布式架構與單機多核架構的異同 Spark集群的安裝與部署 Spark的安裝與部署 Spark集群初試 Spark硬件配置 Spark硬件 Spark硬件配置流程
模塊九	Kafka基礎介紹		Kafka介紹 kafka體系結構 kafka設計理念簡介 kafka通信協(xié)議 kafka的偽分布安裝、集群安裝 kafka的shell操作、java操作 kafka設計理念* kafka producer和consumer開發(fā) Kafka分布式消息訂閱系統(tǒng)的應用介紹、平臺架構、集群部署與配置應用實戰(zhàn) Flume-NG數(shù)據(jù)采集系統(tǒng)的數(shù)據(jù)流模型、平臺架構、集群部署與配置應用實戰(zhàn) Hadoop與DBMS之間數(shù)據(jù)交互工具Sqoop的應用實踐， Sqoop導入導出數(shù)據(jù)以及Sqoop集群部署與配置 Kettle 集群的平臺架構、核心技術、部署配置和應用實戰(zhàn) 利用Sqoop實現(xiàn) MySQL 與 Hadoop 集群之間
模塊十	大數(shù)據(jù)典型應用與開發(fā)案例分析：互聯(lián)網數(shù)據(jù)運營		案例1：貴州數(shù)據(jù)交易中心交易所交易形式：電子交易交易所服務：大數(shù)據(jù)交易、大數(shù)據(jù)清洗建模分析、大數(shù)據(jù)定向采購、大數(shù)據(jù)平臺技術開發(fā) 大數(shù)據(jù)交易安全性探討分析數(shù)據(jù)交易中心商業(yè)模式探討分析案例2：大數(shù)據(jù)應用案例：公共交通線路的智能規(guī)劃 UrbanInsights：為公交公司提供基于訂閱訪問的大數(shù)據(jù)工具以及大數(shù)據(jù)咨詢服務 Urban Insights數(shù)據(jù)源、數(shù)據(jù)收集、數(shù)據(jù)倉庫、數(shù)據(jù)分析——設計運營線路 Urban Insights通過互聯(lián)網數(shù)據(jù)的運營討論：浙江移動大數(shù)據(jù)應用與開發(fā)方向
模塊十一	當前數(shù)據(jù)中心的改造和轉換分析-以國內外運營商、互聯(lián)網公司為例		流商業(yè)大數(shù)據(jù)解決方案比較主流開源云計算系統(tǒng)比較國內外代表性大數(shù)據(jù)平臺比較各廠商最新的大數(shù)據(jù)產品介紹案例分析 Facebook的SNS平臺應用 Google的搜索引擎應用 Rackspace的日志處理 Verizon成立精準市場營銷部 TelefonicaDynamicInsights推出的名為“智慧足跡”的商業(yè)服務中國聯(lián)通的“移動通信用戶上網記錄集中查詢與分析支撐系統(tǒng)”
模塊十二			課程總結與問題答疑

師資介紹
　張老師：阿里大數(shù)據(jù)高級專家，國內資深的Spark、Hadoop技術專家、虛擬化專家，對HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生態(tài)系統(tǒng)中的技術進行了多年的深入的研究，更主要的是這些技術在大量的實際項目中得到廣泛的應用，因此在Hadoop開發(fā)和運維方面積累了豐富的項目實施經驗。近年主要典型的項目有：某電信集團網絡優(yōu)化、中國移動某省移動公司請賬單系統(tǒng)和某省移動詳單實時查詢系統(tǒng)、中國銀聯(lián)大數(shù)據(jù)數(shù)據(jù)票據(jù)詳單平臺、某大型銀行大數(shù)據(jù)記錄系統(tǒng)、某大型通信運營商全國用戶上網記錄、某省交通部門違章系統(tǒng)、某區(qū)域醫(yī)療大數(shù)據(jù)應用項目、互聯(lián)網公共數(shù)據(jù)大云(DAAS)和構建游戲云(Web Game Daas)平臺項目等。

課綱下載

Hadoop大數(shù)據(jù)平臺開發(fā)與案例分析高級工程師實戰(zhàn)培訓班

Hadoop大數(shù)據(jù)平臺開發(fā)與案例分析高級工程師實戰(zhàn)培訓班(張老師)課程介紹：

更多Hadoop大數(shù)據(jù)平臺開發(fā)與案例分析高級工程師實戰(zhàn)培訓班相關課程：