          Python文本分析学术应用培训

5 文本分析

5.1 文本分析概述

5.1.1 自然语言处理的层次

5.1.2 自然语言处理的难点

5.1.3 自然语言处理的流派

5.2 文本分析关键技术

5.2.1 常用文本整理和清洗方法

5.2.1.1 句子拆分

5.2.1.2 词拆分

5.2.1.3 过滤重复的单词

5.2.1.4 删除停用词

5.2.1.5 拼写检查

5.2.1.6 大小写变换

5.2.1.7 文本翻译

5.2.1.8 词干提取

5.2.1.9 提取电子邮件或URL

5.2.2 中文分词技术

5.2.2.1 规则分词

5.2.2.2 统计分词

5.2.2.3 混合分词

5.2.2.4 实战：结巴分词，对爬取的豆瓣数据分析，统计词频，绘制词云图

5.2.3 词性标注与命名实体识别

5.2.3.1 词性标注

5.2.3.2 命名实体识别

5.2.3.3 实战：基于jiebaku 的词性标注和基于HanLP的命名实体识别

5.2.4 文本向量化

5.2.4.1 离散化表示

5.2.4.2 分布式表示

5.2.4.3 实战：利用word2vec计算西游记中人物相似性

5.2.5 关键词提取

5.2.5.1 TF-IDF算法

5.2.5.2 TextRank算法

5.2.5.3 LDA算法

5.2.5.4 实战：基于LDA主题模型进行新闻关键词提取

5.2.5.5 实战：网页相似性分析

5.2.6 文本分类

5.2.6.1 分类算法介绍

5.2.6.2 实战：贝叶斯新闻分类

5.2.6.3 实战：虚假评论分类

5.2.7 文本聚类

5.2.7.1 kmeans算法介绍

5.2.7.2 实战：百度百科数据聚类

5.2.7.3 实战：豆瓣书籍数据聚类

5.2.8 文本情感分析

5.2.8.1 基于规则的情感分析

5.2.8.2 基于机器学习模型的情感分析

5.2.8.3 实战：基于豆瓣电影的情感分析

5.2.8.4 实战：在线情感分析系统