课程目录
1-1 课程内容介绍
1-2 课程大纲
1-3 课程计划
1-4 自然语言处理基础--基础与应用
1-5 自然语言处理基础--词表示与语言模型
1-6 大模型基础--大模型之旅
1-7 大模型基础--大模型背后的范式
1-8 大模型基础--实例
1-9 编程环境和GPU服务器介绍
2-1 课程内容介绍
2-2 神经网络基础--大纲介绍
2-3 神经网络的基本组成元素
2-4 如何训练神经网络
2-5 词向量：Word2vec
2-6 循环神经网络（RNN）
2-7 门控循环单元（GRU）
2-8 长短期记忆网络（LSTM）
2-9 双向RNN
2-10 卷积神经网络（CNN）
2-11 演示：使用PyTorch训练模型
3-1 课程内容介绍
3-2 注意力机制--原理介绍
3-3 注意力机制--注意力机制的各种变式
3-4 注意力机制--注意力机制的特点
3-5 Transformer结构--概述
3-6 Transformer结构--输入编码（BPE,PE）
3-7 Transformer结构--Encoder Block
3-8 Transformer结构--Decoder Block
3-9 Transformer结构--优化Tricks
3-10 Transformer结构--试验结果以及可视化
3-11 Transformer结构--Transformer优缺点
3-12 预训练语言模型--语言建模概述
3-13 预训练语言模型--PLM介绍
3-14 预训练语言模型--MLM任务的应用
3-15 预训练语言模型--前沿大模型介绍
3-16 Transformers教程--Introduction
3-17 Transformers教程--使用Transformers的Pipeline
3-18 Transformers教程--Tokenization
3-19 Transformers教程--常用API介绍
3-20 Transformers教程--Demo讲解
4-1 课程内容介绍
4-2 Prompt-Learning和Delta-Tuning--背景和概览
4-3 Prompt-Learning--基本组成与流程介绍
4-4 Prompt-Learning--PTM选取
4-5 Prompt-Learning--Template构造
4-6 Prompt-Learning--Verbalizer构造
4-7 Prompt-Learning--训练新范式
4-8 Prompt-Learning--应用
4-9 Prompt-Learning--总结
4-10 Delta-Tuning--背景与介绍
4-11 Delta-Tuning--增量式tuning
4-12 Delta-Tuning--指定式tuning
4-13 Delta-Tuning--重参数化tuning
4-14 Delta-Tuning--统一tuning框架及理论联系
4-15 Delta-Tuning--总结
4-16 OpenPrompt--介绍与用法
4-17 OpenDelta--介绍与用法
5-1 课程内容介绍
5-2 BMTrain--背景介绍
5-3 BMTrain--Data Parallel (数据并行)
5-4 BMTrain--Model Parallel（模型并行）
5-5 BMTrain--ZeRO
5-6 BMTrain--Pipeline Parallel (流水线并行)
5-7 BMTrain--混合精度训练
5-8 BMTrain--Offloading
5-9 BMTrain--Overlapping
5-10 BMTrain--Checkpointing
5-11 BMTrain--使用介绍
5-12  BMCook--背景介绍
5-13 BMCook--知识蒸馏
5-14 BMCook--模型剪枝
5-15 BMCook--模型量化
5-16 其它模型压缩方法--Weight Sharing
5-17 其它模型压缩方法--Low-rank Approximation
5-18 其它模型压缩方法--Architecture Search (结构搜索)
5-19 BMCook--使用介绍
5-20 BMInf--背景介绍
5-21 BMInf--深入理解Transformer
5-22 BMInf--Quantization (量化)
5-23 BMInf--Memory Scheduling
5-24 BMInf--BMInf使用介绍
6-1 基于大模型文本理解和生成介绍
6-2 信息检索--背景
6-3 信息检索--定义和评测
6-4 信息检索--传统方法
6-5 信息检索--神经网络方法（大模型）
6-6 信息检索--前沿热点
6-7 机器问答--QA介绍
6-8 机器问答--阅读理解
6-9 机器问答--开放域QA
6-10 文本生成--介绍
6-11 文本生成--文本生成任务
6-12 文本生成--神经网络文本生成
6-13 文本生成--受控文本生成
6-14 文本生成--文本生成测评
6-15 文本生成--挑战
7-1 课程内容介绍安排
7-2  生物医学自然语言处理介绍
7-3 生物医学文本挖掘的任务
7-4 生物医学文本挖掘的PLMs
7-5 生物医学文本挖掘的知识构建
7-6 生物医学文本挖掘的应用
7-7 生物医学辅助诊疗--介绍
7-8 生物医学辅助诊疗--文本分类
7-9 生物医学辅助诊疗--对话
7-10 生物医学辅助诊疗总结
7-11 生物医学特定物质表征过程
7-12 生物医学特定物质表征--DNA
7-13 生物医学特定物质表征--Protein
7-14 生物医学特定物质表征--Chemicals
7-15 Project
7-16 生物医学NLP--未来方向
8-1 大模型与法律应用Outline
8-2 背景介绍
8-3 法律智能应用
8-4 两条研究路线
8-5 数据驱动方法
8-6 法律预训练语言模型
8-7 知识指导方法
8-8 法理量化分析
8-9 法律智能未来方向
8-10 法律智能未来挑战
9-1 脑科学及大模型--主题介绍
9-2 人脑与大模型--背景介绍
9-3 人脑与大模型--人脑如何构建知识
9-4 人脑与大模型--语言处理原则
9-5 人脑与大模型--揭示语言的魔力
9-6 大模型中的神经元--背景介绍
9-7 大模型中的神经元--激活情况分析
9-8 大模型中的神经元--转换模型架构MOE
9-9 大模型神经元的应用--学到的特定功能
9-10 大模型神经元的应用--作为迁移指标
9-11 大模型神经元的应用--表示情感
9-12 大模型认知能力--介绍
9-13 大模型认知能力--下游任务实例
9-14 大模型认知能力--挑战与限制
9-15 课程总结