使用fastText进行文本分类

fastText文本分类学习笔记

先下载，然后make，得到可执行c文件

$ gitclone https://github.com/facebookresearch/fastText.Git
$ cdfastText
$ make

文本分类，linux命令行：
./fasttext supervised -input train.txt -output model

训练集train.txt的输入格式为：

标签是以字符串label作为前缀的单词，后面的数字对应类别。我们可以将训练数据处理成这种形式，训练自己的文本分类模型。

一旦模型被训练，您可以通过使用以下方法计算测试集上的k的精度和召回率来对其进行评估：

$ ./fasttext test model.bin test.txt k

参数k可选，默认为1

为了预测获得一个文本的k个最可能的标签，使用：
$ ./fasttext predict model.bin test.txt k

其中test.txt包含要按行分类的文本。 这样输出为每一行的k个最可能的标签。

如果要计算句子或段落的向量表示，请使用：
$ ./fasttext print-sentence-vectors model.bin < text.txt

这假设text.txt文件包含您要获取向量的段落，一段为一行。 该程序将在文件中每行输出一个向量表示。

参数的命令以及可用的参数及其默认值：

$ ./fasttext supervised
Empty input or output path.

The following arguments are mandatory:
-input training file path 输入文件路径
-output output file path 输出文件路径

The following arguments are optional:
-verbose verbosity level [2]

The following arguments for the dictionary are optional:
-minCount minimal number of word occurences [5]
-minCountLabel minimal number of label occurences [0]
-wordNgrams max length of word ngram [1] 几元语言模型
-bucket number of buckets [2000000]
-minn min length of char ngram [3] 单词的最小长度
-maxn max length of char ngram [6] 单词的最大长度
-t sampling threshold [0.0001]
-label labels prefix [label] 标签前缀的选择

The following arguments for training are optional: 训练集可选参数
-lr learning rate [0.05]
-lrUpdateRate change the rate of updates for the learning rate [100]
-dim size of word vectors [100]
-ws size of the context window [5]
-epoch number of epochs [5]
-neg number of negatives sampled [5]
-loss loss function {ns, hs, softmax} [ns]
-thread number of threads [12]
-pretrainedVectors pretrained word vectors for supervised learning []
-saveOutput whether output params should be saved [0]