新疆时时彩开奖结果彩控票

全國咨詢熱線:400-618-4000

2019年大數據課程大綱

目前課程版本:6.0   升級時間:2018.09.10   查看詳細

大數據課程設計理念

  •  

    完全面向零基礎的大數據課程

    我們的課程幫助了近500名零基礎的學員高薪就業,近2000名學生正在努力蛻變中。0基礎也能高薪就業的大數據課程。

  •  

    更新潮緊隨技術發展浪潮

    全面升級Spark核心就業項目,新增第四代大數據處理框架Flink,強化推薦系統實戰并擴充至7天。

  •  

    更真實深度還原企業應用場景

    所有項目均是來自企業實戰項目,報表分析、日志分析、推薦系統/廣告系統、反欺詐系統、為就業提供強力保障。

  •  

    更全面典型技術點線面橫向擴展

    課程全面覆蓋大數據技術,數據收集、存儲、計算、挖掘、展現,離線分析/實時分析/內存計算一網打盡。

  •  

    更廣泛就業領域

    大數據時代已然到來,在數據已經在一線企業、中小型企業、傳統企業、互聯網企業全面落地。就業不再局限于互聯網行業。

大數據基礎班課程大綱

學習對象

0基礎0經驗的小白人員;想通過最低的成本來試一下自己是否適合做大數據相關工作的轉型人員。

注:獲取更多免費學習視頻+資料+筆記,請加QQ:2632311208。

上課方式

全日制脫產,每周5天上課, 上兩天課休息一天的上課方式(實際培訓時間可能因法定節假日等因素發生變化)

培訓時間

部分校區可能會根據實際情況有所調整,詳情可詢咨詢老師   點擊咨詢


大數據基礎班課程大綱
所處階段 主講內容 技術要點 學習目標
第一階段:
Java語言編程基礎
計算機基礎 DOS常用命令、Java概述、JDK環境安裝配置、環境變量配置、Java程序入門 核心能力培養:
能夠掌握DOS系統常用基本命令;
熟練使用eclipse編寫java代碼;
熟練使用java語言的常用對象;
使用java編寫單機應用程序;
掌握面向對象編程思想,為以后深入學習JavaEE就業課程打下堅實的基礎。

具備能力及市場價值:
掌握Java基礎知識,為后面的深入學習java課程打下堅實的基礎。

市場價值:
繼續努力學習。
編程基礎 常量與變量、數據類型、運算符、流程控制語句、方法、數組
面向對象 面向對象思想、類與對象、成員變量和局部變量、封裝、 this關鍵字、構造方法
常用類 Object類、Scanner類、Random類、String、StringBuilder類
集合操作 集合概述、集合特點、ArrayList集合
IO操作 字符輸入流、字符輸出流、字符緩沖輸入流、字符緩沖輸出流、 復制文件、集合與文件中數據相互讀寫。

大數據就業班課程大綱

學習對象

本課程適合于計算機專業,有一定Java基礎、通過入學考核的未就業人士。

提示:測試題主要考察您是否具備Java基礎,以便我們統一入學基礎,更好地開展教學工作。如果您感覺測試題很難,我們建議您參加我們的Java基礎班學習。

上課方式

全日制脫產,每周5天上課, 上兩天課休息一天的上課方式(實際培訓時間可能因法定節假日等因素發生變化)

培訓時間

部分校區可能會根據實際情況有所調整,詳情可詢咨詢老師   點擊咨詢

大數據就業班課程大綱
所處階段 主講內容 技術要點 學習目標
第二階段:
JavaWeb核心
前端 HTML、CSS、JavaSript、BootStrap 核心能力培養:
運用常用的網頁開發技術設計網頁;
掌握WEB系統交互原理;
掌握JavaWeb開發核心技術;
運用JavaWeb核心技術完成簡單功能實現;
掌握JavaWeb高級技術,創建更好的Web應用程序;
具備B/S結構軟件開發能力。

具備能力及市場價值:
能夠完成B/S結構網站開發,具備了真實環境的項目部署能力;
能夠完成中小型企業管理系統等傳統項目的開發。

市場價值:
繼續努力學習。
數據庫 MySQL數據庫、MySQL單表操作、MySQL多表操作、MySQL事物、 MySQL存儲引擎、JDBC、JDBCDataSource
Web核心 Tomcat、Http協議、servlet入門、Rquest、Response、JSP、MVC、 Cookie、Session、JSP、ETL、JSTL、Filter、listener
web增強 Jquery、Ajax、ajax跨域、分頁
基礎增強 多線程入門、網絡編程入門、反射、動態代理、注解
第三階段:
網站開發三大框架
項目構建及管理 Maven項目構建、管理、編譯、倉庫配置,SVN服務器部署、 SVN客戶端、自動化部署 核心能力培養:
掌握SSM框架,使用SSH框架開發出結構清晰、可復用性好、維護方便的Web應用程序;
掌握如何使用Maven管理項目工程;
掌握數據庫的相關技術;
掌握系統開發中的性能、可擴展性及維護性的提升;
通過項目實戰熟練掌握SSM框架的使用。

具備能力及市場價值:
能夠使用SSM框架完成傳統企業級項目開發,熟悉多種業務流程,豐富項目開發經驗。

市場價值:
6000-8000元。
數據庫操作框架 mybatis框架原理、mybatis入門案例、mybatis開發DAO方式、 mybatis輸入輸出映射、動態sql、spring整合mybatis
Spring框架 applicationContext、xml配置文件編寫、IoC思想、DI依賴注入、 使用AspectJ切面編程、JdbcTemplate模板使用、聲明式事務管理、SSH整合
SpringMVC框架 springmvc框架原理、springmvc入門案例、springmvc整合mybatis、 參數綁定、json數據交互、攔截器
CRM項目實戰 使用springmvc+spring4+mybatis+svn來開發項目、 使用BootStrap進行布局
第四階段:
大數據娛樂頭條
Linux服務器 VMware虛擬機安裝、linux常用命令、linux用戶權限與網絡安全 核心能力培養:
掌握大數據爬蟲技術開發;
掌握大數據搜索引擎技術開發;
掌握大數據消息隊列使用及調優;
掌握Storm實時數據分析;
掌握分布式系統開發;
掌握互聯網用戶日志分析。

具備能力及市場價值:
能夠獨立開發爬蟲系統;
能夠獨立開發搜索系統;
能夠完成實時數據采集、存儲、計算及商業應用。

市場價值:
8000-10000元。
linux下應用tomcat、linux下應用MySQL、linux下應用nginx、 nginx負載均衡配置
分布式爬蟲實戰 大數據娛樂頭條-項目整體介紹
大數據娛樂頭條-爬蟲基礎、Http協議、HttpClient網絡請求、 Jsoup網頁解析、黑客行為之后臺登錄
大數據娛樂頭條-Java并發、多線程、阻塞隊列、 網易娛樂爬蟲開發實戰
大數據娛樂頭條-Redis基礎、Redis集群、Redis常用API、購物車、 排行榜、Redis持久化
大數據娛樂頭條-分布式爬蟲、代理IP、爬蟲攻防技術、分布式爬蟲開發實戰
分布式搜索 大數據娛樂頭條-lucene基礎、搜索系統原理、Lucene創建索引、 Lucene查詢索引、Lucene分頁、Lucene高亮
大數據娛樂頭條-solr基礎、solr在Linux部署、solr管理界面、 solr創建索引、solr查詢索引、solr高亮、solrj客戶端管理
大數據娛樂頭條-SSM搜索服務、搜索引擎界面、搜索分頁、搜索高亮、 搜索熱詞聯想
大數據娛樂頭條-zookeeper集群、zookeeper原理、dubbox、 搜索服務開發
大數據娛樂頭條-Kafka基礎、Kafka集群、生產分發策略、消息不丟失、 存儲機制、消費者負責均衡、Kafka配置文件詳解
大數據娛樂頭條-爬蟲集成Kafka、爬蟲創建索引、 FreeMarker熱門搜索結果靜態化
大數據娛樂頭條-綜合部署、nginx負載均衡、solrcloud集群、 solrcloud原理分析
搜索性能優化 大數據娛樂頭條-nginx+lua基礎、點擊流日志收集系統部署
大數據娛樂頭條-Storm基礎、Storm架構、Storm編程模型、 Storm實時看板、Storm消息不丟失
大數據娛樂頭條-Storm熱詞統計,提供實時熱詞靜態化
大數據娛樂頭條-Storm爬蟲日志監控項目實戰
大數據娛樂頭條-Storm日志分析項目實戰
JVM與數據庫優化 JVM虛擬機基礎與性能調優
數據庫分析與優化
第五階段:
大數據Hadoop實戰
大數據環境準備 linux基礎、linux的shell編程、大數據環境準備、zookeeper、網絡編程概述 核心能力培養:
掌握離線數據收集、數據存儲、數據計算、任務調度、數據導入導出、數據報表開發技術;
掌握用戶日志分析系統(業務分析、編碼實現、調度配置、數據導出、數據可視化);
掌握數據倉庫管理、元數據管理、數據稽查等常見處理技術掌握Hadoop高可用配置及管理。

具備能力及市場價值:
能夠勝任離線相關工作,包括ETL工程師、任務調度工程師、Hive工程師、數據倉庫工程師等。

市場價值:
12000-14000元。
Hadoop集群部署 Hadoop的發展簡史、Hadoop的版本介紹、 三個公司對Hadoop版本的支持了解、 Hadoop1.x版本與2.x版本的架構比較、 Apache版本Hadoop三種環境構建、 CDH版本的Hadoop重新編譯
HDFS&MapReduce HDFS的來源、HDFS設計目標、Hadoop的架構圖、文件副本機制、 block塊存儲、HDFS的元數據信息、FSimage以及edits、 ScondaryNN的作用、HDFS的文件寫入過程、HDFS的文件讀取過程、 HDFS的API操作、HadoopMapReduce設計構思、 MapReduce框架結構、MapReduce編程規范及示例編寫、 MapReduce程序運行模式
MapReduce優化 MapReduce的分區、ReduceTask的數量設置、 MapReduce排序以及序列化、MapReduce計數器、MapReducecombiner、MapReduce上網流量統計、 MapTask運行機制詳解、Map任務的并行度、ReduceTask工作機制、reduceTask的并行度、MapReduceshuffle過程、shuffle階段數據的壓縮機制
自定義及資源調度 MapReduce實現join、社交粉絲數據分析、mapreduce案例:倒排索引建立、 自定義inputFormat合并小文件、自定義outputFormat、 自定義GroupingComparator求取topN、mapreduce參數優化、 Yarn資源調度
Hive數據倉庫 數據倉庫特征、數據倉庫架構、Hive的概念、Hive架構、Hive部署及使用、 HiveDDL、HiveDML、Hive命令行、Hive參數配置、Hive內置函數、 HiveUDF開發、Hive的數據壓縮、Hive的文件格式、Hive調優、 Hive語句綜合練習
網站流量日志分析 網站流量日志采集、數據分析系統介紹、系統開發架構、Flume實現數據采集、 數據預處理、數據倉庫設計、ETL、統計分析、Sqoop結果導出、 工作流調度azkaban、數據可視化
Impala&Hue impala的介紹、impala安裝準備、制作本地yum源、impala的安裝、 impala基本使用、impala的java開發、Hue的介紹、Hue的安裝、 hue與HDFS集成、hue與yarn集成、配置hue與hive集成、 配置hue與impala的集成、配置hue與mysql的集成
大數據新技術 Oozie介紹、Oozie架構、Oozie的執行流程、Oozie組件、Oozie的安裝、 hue整合Oozie、hadoopHA、hadoopFederation、CDH整體架構、 CDH環境安裝、Kylin、kettle、kudu
第六階段:
大數據Spark實戰
Scala語言基礎 Scala基礎語法、Scala高級特性、Scala的Akka編程實戰 核心能力培養:
掌握Spark基礎、SparkRDD、SparkSQL、SparkStreaming開發技術;
掌握互聯網電商用戶畫像建模、開發、可視化(業務知識、技術開發、架構);
掌握數據數據存儲及存儲(Hbase+Phoenix)。

具備能力及市場價值:
能夠勝任Spark相關工作,包括ETL工程師、Spark工程師、Hbase工程師、用戶畫像系統工程師、大數據反欺詐工程師。
目前企業急缺Spark相關人才。

市場價值:
15000+元。
Spark基礎 Spark概述、Spark集群安裝部署、Spark運行架構、Spark編程模型
SparkRDD RDD概述、RDD特征、RDD算子操作、RDD依賴、RDD緩存、 Spark任務調度、checkpoint、RDD編程實戰
SparkSQL SparkSQL概述、DataFrame、DataFrame常用操作、DataSet介紹、 SparkSQL整合JDBC、SparkonYarn
SparkStreaming 概述、與Storm的對比、SparkStreaming原理、DStream操作實戰、 開窗函數、整合Flume、整合Kafka
項目實戰階段 互聯網電商用戶畫像建模、開發、數據導入、 數據存儲(Hbase+Phoenix)、可視化
項目實戰階段 大數據反欺詐系統、航空領域反爬蟲項目實戰、系統架構、防爬規則、 Nginx+lua+kafak整合、高頻IP檢測、SparkStreaming規則引擎開發、 數據可視化
新技術 flink的簡介、最值函數aggregate和minBy、maxBy、 去重distict和關聯join函數、union合并和rebalance負載均衡、 3種分區方式(hash、range、sort)、source數據源、flink的sink操作、 本地執行和集群執行、廣播變量的操作、分布式緩存的使用、 無重疊數據處理、 窗口劃分、windowTime、同步hbase、flink的source源、 基于mysql的sink操作、flink的容錯、flink對接kafka數據、案例實戰
第七階段:
大數據機器學習實戰
機器學習概念入門 1.基本概念:屬性、屬性的度量、屬性類型、數據集類型、數據集的特性、訓練集、測試集、特征值、監督學習、非監督學習、半監督學習等概念
2.數據的預處理:聚集、抽樣、維度規約、特征子集選擇、特征創建、離散化和二元化、變量變換
3.模型的評估:模型的過分擬合(過擬合),欠擬合,評估分類器的性能(交叉驗證和自助法),模型評估方法、損失函數和風險函數、參數優化等,模型復雜度(奧卡姆剃刀)4.機器學習處理的一般流程分析
核心能力培養:
掌握機器學習算法理論基礎;
熟悉Python語言基礎及數據科學庫;
熟悉機器學習應用場景;
掌握Spark機器學習框架、能使用scikit-learn機器學習庫結合Python完成全棧機器學習建模;
熟悉深度基本概念、流程、常見算法、能夠使用算法解決簡單的業務問題(圖像識別等);
掌握用戶標簽預測全流程;
掌握互聯網行業推薦業務開發;
掌握點擊率預估使用場景及項目全流程開發。


具備能力及市場價值:
能夠勝任機器學習、數據挖掘等相關工作,包括推薦算法工程師、數據挖掘工程師、機器學習工程師,填補人工智能領域人才急劇增長缺口。

市場價值:
18000-30000元。
機器學習數學基礎 初等數學基礎、函數求導以及鏈式求導法則、方向導數、梯度、泰勒級數、 拉格朗日乘子法、線性代數與矩陣、特征值與特征向量、概率分析、 極大似然估計、梯度下降法代碼實踐、牛頓法代碼實戰、 矩陣分解實戰(SVD,PCA,QR)
機器學習語言基礎之Python語言 基礎數據類型、list/tuple/dict/set、列表推導式、生成器推導式、 lambda函數、控制語句、文件讀寫、異常處理分析、面向對象編程、 GUI編程、Python基礎項目實踐
Python數據分析庫實戰 Numpy矩陣運算庫基礎及實戰、Scipy數值運算庫基礎及實戰、 Matplotlib繪圖庫基礎及實戰、Seaborn繪圖庫基礎及實戰、 Pandas數據分析庫基礎及實戰
Spark機器學習庫實戰 SparkML和SparkMLLIB區別、Spark機器學習基礎、Pipeline管道、 特征抽取(TF-IDF、Word2Vec、CountVectorizer)、特征轉換(Tokenizer、 PCA、N-gram、DCT、one-hot、MinMaxScaler、Normalizer、SqlTransformer、VectorAssembler)、特征選擇(VectorSlicer、RFormula、 ChiSqSelector)
機器學習算法之用戶標簽預測項目實戰 用戶畫像標簽預測實戰、KNN、KMeans、決策樹算法模型(ID3、C4.5、 Cart樹)、集成學習算法(Bagging、隨機森林、Adaboost算法、GBDT算法、 XGBOOST算法、LightGBM算法模型)、人才流失模型項目實戰
機器學習算法之推薦系統實戰 基于記憶的CF實戰(Surprise庫實戰)、基于模型的CF實戰(SparkALS實戰)、 基于Native-Bayes分類算法實戰、基于內容推薦(jieba分詞、提取詞向量、 文本分類、特征聚類)、關聯挖掘算法實戰(基于Spark的FP-Growth算法實戰)、推薦項目實戰
機器學習算法之CTR點擊率預估實戰 特征工程實戰、CTR點擊率預估應用場景分析、 邏輯斯特回歸算法理論基礎推導及項目實戰、推薦系統指標分析、 推薦系統架構分析、基于Wideanddeep模型理論及實戰(學會讀學術Paper)
機器學習算法之深度學習基礎及圖片分類實戰 神經網絡和深度學習基礎、MP神經元模型、感知機模型、BPNN模型實戰、 CNN模型實戰圖像識別、Tensorflow基礎、電影評論文本分析、 RNN文本情感分析實戰
機器學習面試必備 機器學習算法串講、機器學習面試題目詳解,剖析結合人工智能實際場景、 機器學習或人工智能類崗位核心技能需求、所需知識和技能、主流機器學習工具和框架的使用方法、開放式問題和系統設計問題, 融匯貫通整個課程知識點、大數據和機器學習部分項目銜接

備注:該課程大綱僅供參考,實際課程內容可能在授課過程中發生更新或變化,具體授課內容最終以各班級課表為準。


基礎差? 可免費學基礎班

申請試讀名額

基礎過關? 可直接就讀就業班

基礎測試

大數據學科項目介紹

  • 爬蟲搜索項目

    項目簡介:

    通過爬蟲技術爬取不同電商網站的商品數據,然后將不同網站的數據輸入到搜索系統引擎中,達到通過一鍵搜索不同網站上的商品信息。

    項目特色:

    項目包含HttpClient、Jsoup、代理IP配置、多線程、Java并發包、Redis、Redis Cluster、Lucene、Solr、Solr Cloud,以及互聯網爬蟲技術案例等。基于以上課程,在企業中可以實現瀏覽器比價插件、企業競品分析等業務,可以用來解決企業內部業務數據的搜索問題,或者是做個類似百度這樣的搜索引擎。

  • 分布式電商項目

    項目簡介:

    圍繞B2B2C電商核心業務,完整實現商家和用戶兩條業務線,商家業務線包括:商家入駐、商家審核、商家發布商品、商品審核、商品展示;用戶業務線包括:用戶跨系統登錄、用戶購物車系統、用戶訂單結算與支付(支付寶)、用戶個人中心;

    項目特色:

    項目包含單點登錄系統、Dubbo服務治理、AngularJS、頁面靜態化、數據庫分庫分表、分布式圖片服務器、分布式消息隊列、分布式緩存解決方案、分布式搜索解決方案等。基于以上課程,在企業中可以實現完整的電商購物系統,做一個類似于京東、百度這樣的高并發的網站,并解決類似于秒殺、雙十一這樣的業務場景。

  • 構建電商數據平臺(離線)

    項目簡介:

    通過多種方式收集不同渠道和系統的數據,然后對數據進行統一的存儲和管理,構建離線數據分析平臺,最后將分析的結果展示到報表系統中。包含數據質量管理、數據倉庫構建、數據倉庫分析工具、定時器、數據報表展示等模塊。

    項目特色:

    項目包含FTP管理規范、Flume、Sqoop、數據庫同步技術、數據質量管理、數據倉庫基礎、Hive、Hadoop HDFS應用及原理、Hadoop MapReduce應用及原理。基于以上課程,在企業中可以實現離線數據基礎分析平臺,適用于幾乎任何大數據相關公司。

  • 構建電商數據平臺(實時)

    項目簡介:

    通過多種方式實時收集不同渠道和系統的數據,然后進行實時的計算,最后將分析的結果實時的反饋到業務系統中。包含數據的實時收集、實時清洗、實時計算等模塊。課程中會涉及到多個實時的分析案例,這些分析案例來自于企業的典型案例。

    項目特色:

    項目包含消息隊列、Flume、Kafka、Storm/JStorm應用及原理、Redis、HBase應用及原理。基于以上課程,在企業中可以實時數據基礎分析平臺,適用于幾乎任何大數據相關公司。

  • 推薦系統應用開發

    項目簡介:

    通過利用離線數據分析技術、實時分析技術,以及Mahout數據挖掘技術開發基于用戶行為數據的推薦系統(猜你喜歡),并整合進分布式電商系統中。

    項目特色:

    項目是對分布式電商、構建電商數據平臺(離線/實時)三個課程中所學技術的綜合運用。推薦系統是當前電商系統必不可少的部分,基于以上課程能夠從零開始構建一個推薦系統,并根據業務的復雜性進行擴展。

  • 升級企業數據分析平臺

    項目簡介:

    使用Spark內存計算技術升級升級基于Hadoop和Storm的數據分析平臺是數據分析的發展趨勢,課程引入Spark技術分別對離線計算平臺和實時計算平臺進行升級和補充,更好的貼近企業實戰。課程中使用Spark和Hbase技術圍繞金融行業構建了用戶畫像系統,可以使用用戶畫像技術對用戶進行風險預測。

    項目特色:

    項目包含Spark、Spark RDD、Spark常用算子、Spark Sql、Spark Streaming、HBase等課程。基于以上課程,可以使用Spark提到Hive的執行引擎,提高計算性能和速度,是企業的主流做法。

教學服務

  • 每日測評

    每晚對學員當天知識的吸收程度、老師授課內容難易程度進行評分,老師會根據學員反饋進行分析,對學員吸收情況調整授課內容、課程節奏,最終讓每位學員都可以跟上班級學習的整體節奏。

  • 技術輔導

    為每個就業班都安排了一名優秀的技術指導老師,不管是白天還是晚自習時間,隨時解答學員問題,進一步鞏固和加強課上知識。

  • 學習系統

    為了能輔助學員掌握所學知識,黑馬程序員自主研發了6大學習系統,包括教學反饋系統、學習難易和吸收分析系統、學習測試系統、在線作業系統、學習任務手冊、學員綜合能力評定分析等。

  • 末位輔導

    末位輔導隊列的學員,將會得到重點關心。技術輔導老師會在學員休息時間,針對學員的疑惑進行知識點梳理、答疑、輔導。以確保知識點掌握上沒有一個學員掉隊,真正落實不拋棄,不放棄任何一個學員。

  • 生活關懷

    從學員學習中的心態調整,到生活中的困難協助,從課上班級氛圍塑造到課下多彩的班級活動,班主任360度暖心鼓勵相伴。

  • 就業輔導

    小到五險一金的解釋、面試禮儀的培訓;大到500強企業面試實訓及如何針對性地制定復習計劃,幫助學員拿到高薪Offer。

新疆时时彩开奖结果彩控票