數(shù)據(jù)科學與人工智能：基于SQL和Python的數(shù)據(jù)挖掘、計算與分析研究【大學組】

專業(yè)：人工智能,計算機科學

項目類型：全球華人導師-香港

開始時間：2024年08月17日

是否可加論文：是

項目周期：6周在線小組科研+5周論文指導

語言：中文

有無剩余名額：名額充足

建議學生年級：大學生

是否必需面試：否

適合專業(yè)：計算機科學機器學習計算機工程數(shù)據(jù)科學數(shù)據(jù)分析深度學習人工智能數(shù)據(jù)工程數(shù)據(jù)結構與算法編程語言數(shù)據(jù)庫和操作系統(tǒng)

地點：無

建議具備的基礎：對數(shù)據(jù)挖掘、人工智能、機器學習、深度學習、數(shù)據(jù)庫及對相關專業(yè)感興趣的大學生，建議具備Python基礎

產(chǎn)出：6周【在線小組科研+全球就業(yè)力大師課】+5周論文指導，共126課時 1500字左右的項目報告 優(yōu)秀學員獲得主導師推薦信（8封網(wǎng)推） 項目結業(yè)證書 EI/CPCI/Scopus/ProQuest/Crossref/EBSCO或同等級別索引國際會議全文投遞與發(fā)表指導或者CNKI檢索的英文普刊全文投遞與發(fā)表指導

項目背景：Hadoop和Spark是當前處理大數(shù)據(jù)計算問題應用最為廣泛的系統(tǒng)及編程框架，具有快速、通用、魯棒、分布式等特點，支持多種編程語言和數(shù)據(jù)源，并提供多個可擴展的組件庫如機器學習、圖處理、流處理等。

項目介紹：本課程將通過大量實例讓學生對Hadoop及Spark有充分了解，并能夠動手編寫程序，為未來面向大數(shù)據(jù)的科研工作打下良好基礎。

項目大綱：MapReduce and Hadoop：簡介大數(shù)據(jù)處理的挑戰(zhàn)和方法、介紹MapReduce編程模型、介紹Hadoop生態(tài)系統(tǒng)的基本概念和架構 Spark基礎與RDD：介紹Spark的概念和特點、深入研究彈性分布式數(shù)據(jù)集（RDD）的概念和原理、學習如何使用Spark進行數(shù)據(jù)處理和轉換操作、實踐編寫基于RDD的Spark應用程序 SparkSQL和MLlib：介紹SparkSQL的基本概念和功能、學習如何使用SparkSQL進行數(shù)據(jù)查詢和分析、探索Spark的機器學習庫（MLlib）的功能和使用方法、實踐構建和訓練Spark的機器學習模型 大數(shù)據(jù)系統(tǒng)的算法設計：學習大數(shù)據(jù)系統(tǒng)中的算法設計方法、探討分布式算法設計的最佳實踐、實踐運用算法設計解決實際大數(shù)據(jù)問題 GraphX/GraphFrames：介紹圖數(shù)據(jù)處理的基本概念和應用場景、學習使用Spark的圖處理庫GraphX/GraphFrames進行圖計算和分析、探索圖算法的實現(xiàn)和優(yōu)化策略、實踐構建和分析大規(guī)模圖數(shù)據(jù) 項目答辯與點評