- 1-1 课程内容介绍
- 1-2 课程大纲
- 1-3 课程计划
- 1-4 自然语言处理基础--基础与应用
- 1-5 自然语言处理基础--词表示与语言模型
- 1-6 大模型基础--大模型之旅
- 1-7 大模型基础--大模型背后的范式
- 1-8 大模型基础--实例
- 1-9 编程环境和GPU服务器介绍
- 2-1 课程内容介绍
- 2-2 神经网络基础--大纲介绍
- 2-3 神经网络的基本组成元素
- 2-4 如何训练神经网络
- 2-5 词向量:Word2vec
- 2-6 循环神经网络(RNN)
- 2-7 门控循环单元(GRU)
- 2-8 长短期记忆网络(LSTM)
- 2-9 双向RNN
- 2-10 卷积神经网络(CNN)
- 2-11 演示:使用PyTorch训练模型
- 3-1 课程内容介绍
- 3-2 注意力机制--原理介绍
- 3-3 注意力机制--注意力机制的各种变式
- 3-4 注意力机制--注意力机制的特点
- 3-5 Transformer结构--概述
- 3-6 Transformer结构--输入编码(BPEPE)
- 3-7 Transformer结构--Encoder Block
- 3-8 Transformer结构--Decoder Block
- 3-9 Transformer结构--优化Tricks
- 3-10 Transformer结构--试验结果以及可视化
- 3-11 Transformer结构--Transformer优缺点
- 3-12 预训练语言模型--语言建模概述
- 3-13 预训练语言模型--PLM介绍
- 3-14 预训练语言模型--MLM任务的应用
- 3-15 预训练语言模型--前沿大模型介绍
- 3-16 Transformers教程--Introduction
- 3-17 Transformers教程--使用Transformers的Pipeline
- 3-18 Transformers教程--Tokenization
- 3-19 Transformers教程--常用API介绍
- 3-20 Transformers教程--Demo讲解
- 4-1 课程内容介绍
- 4-2 Prompt-Learning和Delta-Tuning--背景和概览
- 4-3 Prompt-Learning--基本组成与流程介绍
- 4-4 Prompt-Learning--PTM选取
- 4-5 Prompt-Learning--Template构造
- 4-6 Prompt-Learning--Verbalizer构造
- 4-7 Prompt-Learning--训练新范式
- 4-8 Prompt-Learning--应用
- 4-9 Prompt-Learning--总结
- 4-10 Delta-Tuning--背景与介绍
- 4-11 Delta-Tuning--增量式tuning
- 4-12 Delta-Tuning--指定式tuning
- 4-13 Delta-Tuning--重参数化tuning
- 4-14 Delta-Tuning--统一tuning框架及理论联系
- 4-15 Delta-Tuning--总结
- 4-16 OpenPrompt--介绍与用法
- 4-17 OpenDelta--介绍与用法
- 5-1 课程内容介绍
- 5-2 BMTrain--背景介绍
- 5-3 BMTrain--Data Parallel (数据并行)
- 5-4 BMTrain--Model Parallel(模型并行)
- 5-5 BMTrain--ZeRO
- 5-6 BMTrain--Pipeline Parallel (流水线并行)
- 5-7 BMTrain--混合精度训练
- 5-8 BMTrain--Offloading
- 5-9 BMTrain--Overlapping
- 5-10 BMTrain--Checkpointing
- 5-11 BMTrain--使用介绍
- 5-12 BMCook--背景介绍
- 5-13 BMCook--知识蒸馏
- 5-14 BMCook--模型剪枝
- 5-15 BMCook--模型量化
- 5-16 其它模型压缩方法--Weight Sharing
- 5-17 其它模型压缩方法--Low-rank Approximation
- 5-18 其它模型压缩方法--Architecture Search (结构搜索)
- 5-19 BMCook--使用介绍
- 5-20 BMInf--背景介绍
- 5-21 BMInf--深入理解Transformer
- 5-22 BMInf--Quantization (量化)
- 5-23 BMInf--Memory Scheduling
- 5-24 BMInf--BMInf使用介绍
- 6-1 基于大模型文本理解和生成介绍
- 6-2 信息检索--背景
- 6-3 信息检索--定义和评测
- 6-4 信息检索--传统方法
- 6-5 信息检索--神经网络方法(大模型)
- 6-6 信息检索--前沿热点
- 6-7 机器问答--QA介绍
- 6-8 机器问答--阅读理解
- 6-9 机器问答--开放域QA
- 6-10 文本生成--介绍
- 6-11 文本生成--文本生成任务
- 6-12 文本生成--神经网络文本生成
- 6-13 文本生成--受控文本生成
- 6-14 文本生成--文本生成测评
- 6-15 文本生成--挑战
- 7-1 课程内容介绍安排
- 7-2 生物医学自然语言处理介绍
- 7-3 生物医学文本挖掘的任务
- 7-4 生物医学文本挖掘的PLMs
- 7-5 生物医学文本挖掘的知识构建
- 7-6 生物医学文本挖掘的应用
- 7-7 生物医学辅助诊疗--介绍
- 7-8 生物医学辅助诊疗--文本分类
- 7-9 生物医学辅助诊疗--对话
- 7-10 生物医学辅助诊疗总结
- 7-11 生物医学特定物质表征过程
- 7-12 生物医学特定物质表征--DNA
- 7-13 生物医学特定物质表征--Protein
- 7-14 生物医学特定物质表征--Chemicals
- 7-15 Project
- 7-16 生物医学NLP--未来方向
- 8-1 大模型与法律应用Outline
- 8-2 背景介绍
- 8-3 法律智能应用
- 8-4 两条研究路线
- 8-5 数据驱动方法
- 8-6 法律预训练语言模型
- 8-7 知识指导方法
- 8-8 法理量化分析
- 8-9 法律智能未来方向
- 8-10 法律智能未来挑战
- 9-1 脑科学及大模型--主题介绍
- 9-2 人脑与大模型--背景介绍
- 9-3 人脑与大模型--人脑如何构建知识
- 9-4 人脑与大模型--语言处理原则
- 9-5 人脑与大模型--揭示语言的魔力
- 9-6 大模型中的神经元--背景介绍
- 9-7 大模型中的神经元--激活情况分析
- 9-8 大模型中的神经元--转换模型架构MOE
- 9-9 大模型神经元的应用--学到的特定功能
- 9-10 大模型神经元的应用--作为迁移指标
- 9-11 大模型神经元的应用--表示情感
- 9-12 大模型认知能力--介绍
- 9-13 大模型认知能力--下游任务实例
- 9-14 大模型认知能力--挑战与限制
- 9-15 课程总结
课程目录
1-1 课程内容介绍
1-2 课程大纲
1-3 课程计划
1-4 自然语言处理基础--基础与应用
1-5 自然语言处理基础--词表示与语言模型
1-6 大模型基础--大模型之旅
1-7 大模型基础--大模型背后的范式
1-8 大模型基础--实例
1-9 编程环境和GPU服务器介绍
2-1 课程内容介绍
2-2 神经网络基础--大纲介绍
2-3 神经网络的基本组成元素
2-4 如何训练神经网络
2-5 词向量:Word2vec
2-6 循环神经网络(RNN)
2-7 门控循环单元(GRU)
2-8 长短期记忆网络(LSTM)
2-9 双向RNN
2-10 卷积神经网络(CNN)
2-11 演示:使用PyTorch训练模型
3-1 课程内容介绍
3-2 注意力机制--原理介绍
3-3 注意力机制--注意力机制的各种变式
3-4 注意力机制--注意力机制的特点
3-5 Transformer结构--概述
3-6 Transformer结构--输入编码(BPE,PE)
3-7 Transformer结构--Encoder Block
3-8 Transformer结构--Decoder Block
3-9 Transformer结构--优化Tricks
3-10 Transformer结构--试验结果以及可视化
3-11 Transformer结构--Transformer优缺点
3-12 预训练语言模型--语言建模概述
3-13 预训练语言模型--PLM介绍
3-14 预训练语言模型--MLM任务的应用
3-15 预训练语言模型--前沿大模型介绍
3-16 Transformers教程--Introduction
3-17 Transformers教程--使用Transformers的Pipeline
3-18 Transformers教程--Tokenization
3-19 Transformers教程--常用API介绍
3-20 Transformers教程--Demo讲解
4-1 课程内容介绍
4-2 Prompt-Learning和Delta-Tuning--背景和概览
4-3 Prompt-Learning--基本组成与流程介绍
4-4 Prompt-Learning--PTM选取
4-5 Prompt-Learning--Template构造
4-6 Prompt-Learning--Verbalizer构造
4-7 Prompt-Learning--训练新范式
4-8 Prompt-Learning--应用
4-9 Prompt-Learning--总结
4-10 Delta-Tuning--背景与介绍
4-11 Delta-Tuning--增量式tuning
4-12 Delta-Tuning--指定式tuning
4-13 Delta-Tuning--重参数化tuning
4-14 Delta-Tuning--统一tuning框架及理论联系
4-15 Delta-Tuning--总结
4-16 OpenPrompt--介绍与用法
4-17 OpenDelta--介绍与用法
5-1 课程内容介绍
5-2 BMTrain--背景介绍
5-3 BMTrain--Data Parallel (数据并行)
5-4 BMTrain--Model Parallel(模型并行)
5-5 BMTrain--ZeRO
5-6 BMTrain--Pipeline Parallel (流水线并行)
5-7 BMTrain--混合精度训练
5-8 BMTrain--Offloading
5-9 BMTrain--Overlapping
5-10 BMTrain--Checkpointing
5-11 BMTrain--使用介绍
5-12 BMCook--背景介绍
5-13 BMCook--知识蒸馏
5-14 BMCook--模型剪枝
5-15 BMCook--模型量化
5-16 其它模型压缩方法--Weight Sharing
5-17 其它模型压缩方法--Low-rank Approximation
5-18 其它模型压缩方法--Architecture Search (结构搜索)
5-19 BMCook--使用介绍
5-20 BMInf--背景介绍
5-21 BMInf--深入理解Transformer
5-22 BMInf--Quantization (量化)
5-23 BMInf--Memory Scheduling
5-24 BMInf--BMInf使用介绍
6-1 基于大模型文本理解和生成介绍
6-2 信息检索--背景
6-3 信息检索--定义和评测
6-4 信息检索--传统方法
6-5 信息检索--神经网络方法(大模型)
6-6 信息检索--前沿热点
6-7 机器问答--QA介绍
6-8 机器问答--阅读理解
6-9 机器问答--开放域QA
6-10 文本生成--介绍
6-11 文本生成--文本生成任务
6-12 文本生成--神经网络文本生成
6-13 文本生成--受控文本生成
6-14 文本生成--文本生成测评
6-15 文本生成--挑战
7-1 课程内容介绍安排
7-2 生物医学自然语言处理介绍
7-3 生物医学文本挖掘的任务
7-4 生物医学文本挖掘的PLMs
7-5 生物医学文本挖掘的知识构建
7-6 生物医学文本挖掘的应用
7-7 生物医学辅助诊疗--介绍
7-8 生物医学辅助诊疗--文本分类
7-9 生物医学辅助诊疗--对话
7-10 生物医学辅助诊疗总结
7-11 生物医学特定物质表征过程
7-12 生物医学特定物质表征--DNA
7-13 生物医学特定物质表征--Protein
7-14 生物医学特定物质表征--Chemicals
7-15 Project
7-16 生物医学NLP--未来方向
8-1 大模型与法律应用Outline
8-2 背景介绍
8-3 法律智能应用
8-4 两条研究路线
8-5 数据驱动方法
8-6 法律预训练语言模型
8-7 知识指导方法
8-8 法理量化分析
8-9 法律智能未来方向
8-10 法律智能未来挑战
9-1 脑科学及大模型--主题介绍
9-2 人脑与大模型--背景介绍
9-3 人脑与大模型--人脑如何构建知识
9-4 人脑与大模型--语言处理原则
9-5 人脑与大模型--揭示语言的魔力
9-6 大模型中的神经元--背景介绍
9-7 大模型中的神经元--激活情况分析
9-8 大模型中的神经元--转换模型架构MOE
9-9 大模型神经元的应用--学到的特定功能
9-10 大模型神经元的应用--作为迁移指标
9-11 大模型神经元的应用--表示情感
9-12 大模型认知能力--介绍
9-13 大模型认知能力--下游任务实例
9-14 大模型认知能力--挑战与限制
9-15 课程总结