RCNN

Model

Word Representation Learning

使用的双向RNN
$c_l\left(w_i\right)$cl​(wi​)表示词 $w_i$wi​左边上下文, $c_r\left(w_i\right)$cr​(wi​)表示右边上下文, 计算方式如下:

$e\left(w_{i-1}\right)$e(wi−1​)代表第i-1个词的word embedding.
每个词的最终表示:

再接一个全连接作为输出:

Text Representation Learning

对上一层的输出做max-pooling

实验

参数设置

optimizer: SGD
learning rate: 0.01
embedding: 50
hidden layer( $y^{\left(3\right)}的维度$y(3)的维度): 100