菁英項目：人工智能 ChatGPT的算法原理： 基于深度學(xué)習(xí)的Bert, Transformer等預(yù)訓(xùn)練大模型研究 及其在智能會話等自然語言處理系統(tǒng)中的應(yīng)用【大學(xué)組】

專業(yè)：人工智能

項目類型：國外小組科研

開始時間：2024年11月02日

是否可加論文：是

項目周期：9周在線小組科研學(xué)習(xí)+5周不限時論文指導(dǎo)學(xué)習(xí)

語言：英文

有無剩余名額：名額充足

建議學(xué)生年級：大學(xué)生

是否必需面試：否

適合專業(yè)：計算機科學(xué)軟件工程信號與信息處理機器學(xué)習(xí)數(shù)據(jù)科學(xué)數(shù)據(jù)分析深度學(xué)習(xí)人工智能自然語言處理

地點：無

建議選修：Python數(shù)據(jù)處理及其數(shù)學(xué)原理

建議具備的基礎(chǔ)：計算機科學(xué)、人工智能、軟件工程、語言學(xué)等專業(yè)或者希望修讀相關(guān)專業(yè)的學(xué)生； 學(xué)生需要具備初等線性代數(shù)基礎(chǔ)，至少會使用一門編程語言實現(xiàn)如貝葉斯分類器等經(jīng)典機器學(xué)習(xí)算法，有深度學(xué)習(xí)項目開發(fā)經(jīng)驗的申請者優(yōu)先；

產(chǎn)出：9周在線小組科研學(xué)習(xí)+5周不限時論文指導(dǎo)學(xué)習(xí) 共125課時 項目報告 優(yōu)秀學(xué)員獲主導(dǎo)師Reference Letter EI/CPCI/Scopus/ProQuest/Crossref/EBSCO或同等級別索引國際會議全文投遞與發(fā)表指導(dǎo)（可用于申請） 結(jié)業(yè)證書 成績單

項目背景：“You are what you say.”語言是思維的表達，思維是語言的內(nèi)容。思維和語言是人類意識的集中體現(xiàn)，更是人與機器的分野。長久以來，人工智能依然停留在“弱人工智能”的階段，無法等同于人類智能，核心原因在于算法無法幫助機器“理解語義邏輯”。也就是說，“人工智能如果不能使用自然語言作為知識的表示基礎(chǔ)，人工智能就實現(xiàn)不了實質(zhì)的跨越。”因此，旨在讓機器以有價值的方式閱讀、解密和理解人類語言，實現(xiàn)人機互動的自然語言處理，是人工智能、機器學(xué)習(xí)的核心研究對象，具有重要的行研價值和廣闊的發(fā)展空間。自然語言處理科學(xué)家更是高精尖科技企業(yè)爭相搶奪的對象。自然語言處理的具體應(yīng)用包括谷歌語音識別、科大訊飛自動翻譯、百度自然語言處理平臺等等。

項目介紹：項目內(nèi)容包括線性回歸、邏輯回歸、決策樹、SVM機器學(xué)習(xí)算法和自然語言處理中的文本分類問題。學(xué)生將深入探究Word2Vec詞向量嵌入、Doc2Vec文本向量生成、基于LSTM和其他RNN的分類算法，了解RNN模型缺陷以及基于Attention的Transformer語言模型如何彌補這些缺陷。學(xué)生將在項目結(jié)束時，提交個性化研究課題項目報告，進行成果展示。
個性化研究課題參考：
基于雙向LSTM語言模型的多義詞消歧
根據(jù)推文內(nèi)容語義與語言習(xí)慣分析判斷用戶所在城市
發(fā)表基于NLP的微博內(nèi)容調(diào)查報告
評估句子片段幽默程度的自注意力算法優(yōu)化

In this course, you will be taken from basic topics of neural networks to advanced topics such as auto-encoders and transfer learning. We will review the topics covered in [AI-1], feedforward networks, gradient descent etc and then dive into convolutional neural networks, transfer learning, and auto-encoders.

項目大綱：自然語言處理及深度神經(jīng)網(wǎng)絡(luò) Introduction to Language Modeling and DNN Word2Vec模型詞嵌入 Word embeddings using the Word2Vec model Doc2Vec: 文檔的向量化表示 Doc2Vec: vectorized representation of documents 數(shù)據(jù)驅(qū)動的分類算法與循環(huán)神經(jīng)網(wǎng)絡(luò)和長短期記憶網(wǎng)絡(luò) Data-driven classification algorithms; recurrent neural networks and LSTM 循環(huán)神經(jīng)網(wǎng)絡(luò)的缺陷；基于Attention的Transformer模型 Drawbacks of RNNs; attention-based transformers 精度優(yōu)化 SOTA 基于遷移學(xué)習(xí)的語言模型Transfer Learning for Language Models 項目回顧與成果展示 Program Review and Presentation 論文輔導(dǎo) Project Deliverables Tutoring