自然语言处理预训练技术培训

课程大纲：

自然语言处理预训练技术培训

预训练模型目前在自然语言处理领域得以广泛应用，

课程将围绕 BERT，GPT-2，XLNet 等前沿的预训练模型技术，

使用基于 PyTorch 开发的 PyTorch-Transformers 预训练模型库进行实践。

1 BERT 预训练模型

2 XLNet 预训练模型

3 文本生成任务

4 GPT-2 预训练模型

5 文本分类任务

6 序列标注任务

1
BERT 预训练模型及文本分类

1.语言模型和词向量

2.BERT结构详解

3.BERT文本分类

1
Kaggle 电影评论情感分析

1.预训练模型使用

2.Kaggle平台使用

2
GPT-2 预训练模型及文本生成

1.GPT2的核心思想

2.GPT2模型结构详解

3.GPT2进行文本生成

2
Kaggle 各国食谱分类比赛

1.预训练模型使用 2.Kaggle平台使用

3
XLNet 预训练模型及命名实体识别

1.XLNet在BERT和GPT2上的改进

2.XLNet模型结构

3.使用XLNet进行命名实体识别实验

3
Quora 文本相似度分析比赛

1.文本相似度问题转换

2.预训练模型使用

3.Kaggle平台使用

请登录后发表评论

新评论

全部第1节第2节第3节第4节第5节第6节第7节第8节第9节第10节第11节第12节第13节第14节第15节第16节第17节

我的报告 / 所有报告

我要提问