Skip to content

Commit

Permalink
docs: 添加人工智能芯片与系统、自然语言处理导论课程内容,更新机器学习课程内容 (#193)
Browse files Browse the repository at this point in the history
  • Loading branch information
DaViD-Pigeon authored Jul 8, 2024
1 parent eb097e5 commit 89ad443
Show file tree
Hide file tree
Showing 3 changed files with 141 additions and 14 deletions.
45 changes: 44 additions & 1 deletion docs/major_mandatory/ai_chips_systems/index.md
Original file line number Diff line number Diff line change
@@ -1,3 +1,46 @@
# 人工智能芯片与系统
<div class="badges">
<span class="badge is-badge">AI 专业必修</span>
</div>

\#TODO: 目前还没有内容,待完善。
## 学习内容

2024年人工智能芯片与系统内容如下(参考王则可老师课程大纲)

- Lec 1 - Lec 5 计算机体系结构相关内容(ROB、Tomasulo、Memory等)

- Lec 6 - Lec 8 GPU & GPU Optimization

- Lec 9 - Lec 10 Cache

- Lec 11 - Lec 13 AI Accelarator

- Lec 14 Parrallel Training

- Lec 15 - Lec 16 安排一次Guest Talk和一次课程复习

## 授课老师

王则可老师。王则可老师上课相对细致,答疑也很耐心负责。虽然可能在授课过程中王老师难免有一些ppt reader的趋势,但是课程内容相对新颖也有不少收获。真正对AI系统和AI芯片感兴趣的同学相信可以在课上学到不少干货,若对这方面的兴趣不高,掌握基本的知识点并在考前认真复习也能够收获一个让自己满意的分数。

## 分数构成

+ 课堂表现(5%)
- 上课开始前王老师表示会有点名和Quiz,但最终并没有落实,<del>这肯定是个好事</del>。24年就公布分数细节来看大家应该都给满了,但还是建议大家之后好好上课。

+ 实验(35%)
> 以下为24年AI芯片和系统课程的五个实验,按照王老师上课的描述,在之后的课程中会考虑再添加一个实验帮助大家更好理解GPU和CUDA
- Lab 1 Pipeline CPU (包含forwarding, 不涉及 ROB 和 Tomasulo 算法,提供代码框架)
- Lab 2 涵盖矩阵运算的Pipeline CPU
- Lab 3 CUDA编程初步(NIDIA 教程)
- Lab 4 CUDA加速(利用reduction和wrapping对求和进行加速,提供pipeline与baseline)
- Lab 5 Ascend C 算子实现(基于ModelArts平台,提供代码框架)

+ 期末考(60%)
- 半开卷考试,可以携带一张A4纸(打印手写均可)。考试内容涉及到上课讲过的所有内容,考试重点可以参考最后一节复习课。

## 学习建议

这门课的实验相对简单,也提供实验框架,对比计算机组成(系统 I II III)都轻松不少,建议大家对待实验不要当ddl战士,可以尽快完成。

像这样的系统课程需要记忆和理解的知识点也相对较多,比起直接硬背,建议大家可以多进行实操(多写写CUDA代码,在课程要求之上继续学习NVIDIA提供的教程),不仅有助于考试对CUDA的考察,更重要的是在后续的科研中可以对PyTorch的相关接口有更深入的理解。
49 changes: 37 additions & 12 deletions docs/major_mandatory/machine_learning/index.md
Original file line number Diff line number Diff line change
Expand Up @@ -14,25 +14,50 @@

## 任课教师

机器学习是赵洲老师的课,人很亲和,你和他讨论很多问题,他都很欢迎,包括但不限于AI,职业规划等,事少分多,给分巨好,零基础也可以学,入股不亏。
机器学习是赵洲老师的课,人很亲和,你和他讨论很多问题,他都很欢迎,包括但不限于AI,职业规划等,事少分多,给分巨好,零基础也可以学,入股不亏。但就上课水平来说,赵老师并不会花费太多的时间备课,上课方式也是标准的ppt reader,不建议对授课质量抱有太高的期待。

## 课程教材

教材和作业无关
=== "2022年秋冬学期"

上课只是手段,不是目的,有很多自学ML的方法
教材和作业无关

笔者的方法有点笨,因为基本上AI全忘光了,就从AI入门,主要是学习了CS188和吴恩达机器学习以及CS229
上课只是手段,不是目的,有很多自学ML的方法

- CS188是AI入门,官网有很好的笔记,可以直接对着笔记学,很快
笔者的方法有点笨,因为基本上AI全忘光了,就从AI入门,主要是学习了CS188和吴恩达机器学习以及CS229

- 吴恩达在coursera上的课非常入门,科普,但是缺少很多细节,我觉得可以快速过一遍,可以直接看最新版2022的
- 全网有很多其他人摘录的笔记,比如这个[吴恩达老师机器学习课程笔记-第一周 - 知乎 (zhihu.com)](https://zhuanlan.zhihu.com/p/43490782),可以对着别人的笔记学
- CS229是吴恩达老师授课的一门机器学习课,内容更深更难一点,全网也有笔记,可以直接对着别人笔记学,看不懂的再看视频
- CS188是AI入门,官网有很好的笔记,可以直接对着笔记学,很快

- 吴恩达在coursera上的课非常入门,科普,但是缺少很多细节,我觉得可以快速过一遍,可以直接看最新版2022的
- 全网有很多其他人摘录的笔记,比如这个[吴恩达老师机器学习课程笔记-第一周 - 知乎 (zhihu.com)](https://zhuanlan.zhihu.com/p/43490782),可以对着别人的笔记学
- CS229是吴恩达老师授课的一门机器学习课,内容更深更难一点,全网也有笔记,可以直接对着别人笔记学,看不懂的再看视频

=== "2023年秋冬学期"

2023年秋冬学期选用的教材是周志华老师编写的《机器学习》(经典西瓜书),上课的内容也完全与西瓜书贴合,作业题目也来自西瓜书。当然西瓜书的内容完全被CS229覆盖,可以考虑直接学习CS229,或许会有更大的收获。

## 分数构成
无考试,都是Lab,单人完成

- 10:SVM论文报告
- 20:Transformer论文报告
- 70:基于Mnist数据集的消融实验,最后两周需要展示
=== "2022年秋冬学期"

无考试,都是Lab,单人完成

- 10:SVM论文报告
- 20:Transformer论文报告
- 70:基于Mnist数据集的消融实验,最后两周需要展示

=== "2023年秋冬学期"

+ 课程签到(15%)
- 课程一共15次签到,采用纸质签到的形式,因此想要翘课是不可能的(x)。但只要到教室了就能拿平时分,赵老师也不管你在下面干什么。

+ 作业(20%)
- 一共只有两次作业,每次作业只有5道题目,ddl还放在一个月之后。作业本身没什么难度,最大的困难可能是你忘记了这个作业的存在。
- 作业一对应西瓜书前三讲的内容,作业二对应第四讲到第八讲的内容。

+ 实验(25%)
- 选择的大作业是Kaggle上的叶子分类实验,最后的实验分数就是你分类结果的正确率。

+ 随堂测试(40%)
- 最后一节课进行90min的随堂测试,中文考试可以携带计算器。
- 23年秋冬学期在倒数第二次课程还进行了一次模拟考,但模拟卷和考卷的关联度并不大。
61 changes: 60 additions & 1 deletion docs/major_mandatory/natural_language_processing/index.md
Original file line number Diff line number Diff line change
@@ -1,3 +1,62 @@
# 自然语言处理导论
<div class="badges">
<span class="badge is-badge">AI 专业必修</span>
</div>

\#TODO: 目前还没有内容,待完善。


## 学习内容

2024年自然语言处理导论内容如下(参考汤斯亮老师课程大纲)

- Lec 1 Introduction

- Lec 2 Deep Learning Basics

- Lec 3 Word Embedding

- Lec 4 卷积神经网络与循环神经网络

- Lec 5 机器翻译

- Lec 6-8 Transformers and Bert

- Lec 9 Quantization, Pruning, and Distillation

- Lec 10 Prompting and Fine-tuning

- Lec 11 Deep Reinforcement Learning

- Lec 12-13 大模型介绍

- Lec 14-15 大模型工具使用和AI Agent

大模型出来以后NLP的变化很大,按照汤老师的说法,每年的课程内容都会有很大调整。

## 授课老师

这门课的授课老师是汤斯亮老师,老师讲课幽默风趣,也会每年根据新的NLP热点进行内容的迭代,非常建议大家去上课,会有不少收获。


## 分数构成

+ 课程签到(8%)
- 汤老师从2024年开始增加了课程签到,一共会有4次雷达点名。

+ 实验(52%)
- Lab 1 Word Embedding & Text Classification
- Lab 2 Machine Translation
- Lab 3 Prompt Tuning
- Lab 4 Chain of Thought

+ 大作业(35%)
- 5人组队,24年的两个选题分别是基于大模型的视觉推理( Caption、VQA 等)和基于大模型的思维链推理。

+ 华为云反馈(5%)
- MindSpore、ModelArts意见反馈

## 学习建议

这门课程在学习过机器学习和计算机视觉导论之后相对而言难度和工作量不大,也可以学到很多NLP的知识。如果对自然语言处理方向比较感兴趣,可以考虑在大二下抢修这门课程。

实验会提供华为云的代金券(初始一人200元,可以后期再用代金券续费),理论上不太需要担心实验和大作业的算力资源问题。但是华为云平台对比colab建设还有很大的提升空间,使用华为云也要求用mindspore框架,相比PyTorch这个框架还是相对难用的,在大作业中还是更推荐到算力平台租用实例更为方便。

0 comments on commit 89ad443

Please sign in to comment.