-
Notifications
You must be signed in to change notification settings - Fork 77
Commit
This commit does not belong to any branch on this repository, and may belong to a fork outside of the repository.
docs: 添加人工智能芯片与系统、自然语言处理导论课程内容,更新机器学习课程内容 (#193)
- Loading branch information
1 parent
eb097e5
commit 89ad443
Showing
3 changed files
with
141 additions
and
14 deletions.
There are no files selected for viewing
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Original file line number | Diff line number | Diff line change |
---|---|---|
@@ -1,3 +1,46 @@ | ||
# 人工智能芯片与系统 | ||
<div class="badges"> | ||
<span class="badge is-badge">AI 专业必修</span> | ||
</div> | ||
|
||
\#TODO: 目前还没有内容,待完善。 | ||
## 学习内容 | ||
|
||
2024年人工智能芯片与系统内容如下(参考王则可老师课程大纲) | ||
|
||
- Lec 1 - Lec 5 计算机体系结构相关内容(ROB、Tomasulo、Memory等) | ||
|
||
- Lec 6 - Lec 8 GPU & GPU Optimization | ||
|
||
- Lec 9 - Lec 10 Cache | ||
|
||
- Lec 11 - Lec 13 AI Accelarator | ||
|
||
- Lec 14 Parrallel Training | ||
|
||
- Lec 15 - Lec 16 安排一次Guest Talk和一次课程复习 | ||
|
||
## 授课老师 | ||
|
||
王则可老师。王则可老师上课相对细致,答疑也很耐心负责。虽然可能在授课过程中王老师难免有一些ppt reader的趋势,但是课程内容相对新颖也有不少收获。真正对AI系统和AI芯片感兴趣的同学相信可以在课上学到不少干货,若对这方面的兴趣不高,掌握基本的知识点并在考前认真复习也能够收获一个让自己满意的分数。 | ||
|
||
## 分数构成 | ||
|
||
+ 课堂表现(5%) | ||
- 上课开始前王老师表示会有点名和Quiz,但最终并没有落实,<del>这肯定是个好事</del>。24年就公布分数细节来看大家应该都给满了,但还是建议大家之后好好上课。 | ||
|
||
+ 实验(35%) | ||
> 以下为24年AI芯片和系统课程的五个实验,按照王老师上课的描述,在之后的课程中会考虑再添加一个实验帮助大家更好理解GPU和CUDA | ||
- Lab 1 Pipeline CPU (包含forwarding, 不涉及 ROB 和 Tomasulo 算法,提供代码框架) | ||
- Lab 2 涵盖矩阵运算的Pipeline CPU | ||
- Lab 3 CUDA编程初步(NIDIA 教程) | ||
- Lab 4 CUDA加速(利用reduction和wrapping对求和进行加速,提供pipeline与baseline) | ||
- Lab 5 Ascend C 算子实现(基于ModelArts平台,提供代码框架) | ||
|
||
+ 期末考(60%) | ||
- 半开卷考试,可以携带一张A4纸(打印手写均可)。考试内容涉及到上课讲过的所有内容,考试重点可以参考最后一节复习课。 | ||
|
||
## 学习建议 | ||
|
||
这门课的实验相对简单,也提供实验框架,对比计算机组成(系统 I II III)都轻松不少,建议大家对待实验不要当ddl战士,可以尽快完成。 | ||
|
||
像这样的系统课程需要记忆和理解的知识点也相对较多,比起直接硬背,建议大家可以多进行实操(多写写CUDA代码,在课程要求之上继续学习NVIDIA提供的教程),不仅有助于考试对CUDA的考察,更重要的是在后续的科研中可以对PyTorch的相关接口有更深入的理解。 |
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Original file line number | Diff line number | Diff line change |
---|---|---|
@@ -1,3 +1,62 @@ | ||
# 自然语言处理导论 | ||
<div class="badges"> | ||
<span class="badge is-badge">AI 专业必修</span> | ||
</div> | ||
|
||
\#TODO: 目前还没有内容,待完善。 | ||
|
||
|
||
## 学习内容 | ||
|
||
2024年自然语言处理导论内容如下(参考汤斯亮老师课程大纲) | ||
|
||
- Lec 1 Introduction | ||
|
||
- Lec 2 Deep Learning Basics | ||
|
||
- Lec 3 Word Embedding | ||
|
||
- Lec 4 卷积神经网络与循环神经网络 | ||
|
||
- Lec 5 机器翻译 | ||
|
||
- Lec 6-8 Transformers and Bert | ||
|
||
- Lec 9 Quantization, Pruning, and Distillation | ||
|
||
- Lec 10 Prompting and Fine-tuning | ||
|
||
- Lec 11 Deep Reinforcement Learning | ||
|
||
- Lec 12-13 大模型介绍 | ||
|
||
- Lec 14-15 大模型工具使用和AI Agent | ||
|
||
大模型出来以后NLP的变化很大,按照汤老师的说法,每年的课程内容都会有很大调整。 | ||
|
||
## 授课老师 | ||
|
||
这门课的授课老师是汤斯亮老师,老师讲课幽默风趣,也会每年根据新的NLP热点进行内容的迭代,非常建议大家去上课,会有不少收获。 | ||
|
||
|
||
## 分数构成 | ||
|
||
+ 课程签到(8%) | ||
- 汤老师从2024年开始增加了课程签到,一共会有4次雷达点名。 | ||
|
||
+ 实验(52%) | ||
- Lab 1 Word Embedding & Text Classification | ||
- Lab 2 Machine Translation | ||
- Lab 3 Prompt Tuning | ||
- Lab 4 Chain of Thought | ||
|
||
+ 大作业(35%) | ||
- 5人组队,24年的两个选题分别是基于大模型的视觉推理( Caption、VQA 等)和基于大模型的思维链推理。 | ||
|
||
+ 华为云反馈(5%) | ||
- MindSpore、ModelArts意见反馈 | ||
|
||
## 学习建议 | ||
|
||
这门课程在学习过机器学习和计算机视觉导论之后相对而言难度和工作量不大,也可以学到很多NLP的知识。如果对自然语言处理方向比较感兴趣,可以考虑在大二下抢修这门课程。 | ||
|
||
实验会提供华为云的代金券(初始一人200元,可以后期再用代金券续费),理论上不太需要担心实验和大作业的算力资源问题。但是华为云平台对比colab建设还有很大的提升空间,使用华为云也要求用mindspore框架,相比PyTorch这个框架还是相对难用的,在大作业中还是更推荐到算力平台租用实例更为方便。 |