小白小白小小白小小白

NLP

MySQL(1) MySQL基础(1) pytorch(7) 数据结构(7) 未归档(4)

/ 注册

全部文章 / NLP （共10篇）

自然语言处理第二期

数据集下载探索模块：IMDB数据集（英文）和THUCNews数据集（中文）以及召回率、准确率、ROC曲线、AUC、PR曲线等基本概念的辨析数据集数据集：中、英文数据集各一份 THUCNews中文数据集：https://pan.baidu.com/s/1hugrfRu 密码：qfud IMD...

2022-06-16

0 0

自然语言处理第三期

NLP 内容基本文本处理技能 1.1 分词的概念（分词的正向最大、逆向最大、双向最大匹配法）； 1.2 词、字符频率统计；（可以使用Python中的collections.Counter模块，也可以自己寻找其他好用的库） 2.1 语言模型中unigram、bigram、trigram的概...

2022-06-16

0 0

自然语言处理第四期

自然语言处理第四期 TF-IDF原理。文本矩阵化，使用词袋模型，以TF-IDF特征值为权重。（可以使用Python中TfidfTransformer库）互信息的原理。使用第二步生成的特征矩阵，利用互信息进行特征筛选。一、TF-IDF原理 TF-IDF是Term Frequ...

2022-06-16

0 0

自然语言处理第五期

传统机器学习–朴素贝叶斯朴素贝叶斯的原理朴素贝叶斯应用场景朴素贝叶斯优缺点朴素贝叶斯 sklearn 参数学习利用朴素贝叶斯模型结合 Tf-idf 算法进行文本分类一、朴素贝叶斯的原理基于朴素贝叶斯公式，比较出后验概率的最大值来进行分类，后验概率的计算是由先验概率与...

2022-06-16

0 0

自然语言处理第六期

传统机器学习–SVM SVM的原理 SVM应用场景 SVM优缺点 SVM sklearn 参数学习利用SVM模型结合 Tf-idf 算法进行文本分类一、SVM原理 SVM(支持向量机)就是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于...

2022-06-16

0 0

自然语言处理第七期

传统机器学习–LDA pLSA、共轭先验分布；LDA主题模型原理 LDA应用场景 LDA优缺点 LDA 参数学习使用LDA生成主题特征，在之前特征的基础上加入主题特征进行文本分类一、pLSA、共轭先验分布；LDA主题模型原理 LSA（Latent semantic analy...

2022-06-16

0 0

自然语言处理第八期

神经网络基础前馈神经网络、网络层数、输入层、隐藏层、输出层、隐藏单元、激活函数的概念。感知机相关；利用tensorflow等工具定义简单的几层网络（激活函数sigmoid），递归使用链式法则来实现反向传播。激活函数的种类以及各自的提出背景、优缺点。（和线性模型对比，线性模型的局限性，...

2022-06-16

0 0

自然语言处理第九期

简单神经网络文本表示：从one-hot到word2vec。 1.1 词袋模型：离散、高维、稀疏。 1.2 分布式表示：连续、低维、稠密。word2vec词向量原理并实践，用来表示文本。文本表示：从one-hot到word2vec 文本表示的意思是把字词处理成向量或矩阵，以便计算机能进...

2022-06-16

0 0

自然语言处理第十期

卷积神经网络基础卷积运算的定义、动机（稀疏权重、参数共享、等变表示）。一维卷积运算和二维卷积运算。反卷积(tf.nn.conv2d_transpose) 池化运算的定义、种类（最大池化、平均池化等）、动机。 Text-CNN的原理。利用Text-CNN模型来进行文本分类。一...

2022-06-16

0 0

自然语言处理第十一期

循环神经网络基础 RNN的结构。循环神经网络的提出背景、优缺点。着重学习RNN的反向传播、RNN出现的问题（梯度问题、长期依赖问题）、BPTT算法。双向RNN LSTM、GRU的结构、提出背景、优缺点。针对梯度消失（LSTM等其他门控RNN）、梯度爆炸（梯度截断）的解决方案。 Te...

2022-06-16

0 0