文章目录

pytorch中lstm参数如下:

1.batch_first作用

我习惯把batch作为输入第一维, 所以就把batch_first设为True.

结果跑实验报错, 提示维度有问题.调试后才发现batch_first只会影响input和output维度, h_t和c_t的维度仍然是[num_layers * num_directions, batch, hidden_size]

2.output[-1]和h_t区别

之前一直有个疑问, 单隐藏层的lstm, output最后一个time step和h_t有什么区别呢?

看源码才发现, h_t保存了每一层最后一个time step的输出h，如果是双向LSTM，单独保存前向和后向的最后一个time step的输出h。

而outputs保存了最后一层，每个time step的输出h，如果是双向LSTM，每个time step的输出h = [h正向, h逆向] (同一个time step的正向和逆向的h连接起来)。

output维度是[seq_len, batch, num_directions * hidden_size];
而h_t维度是[num_layers * num_directions, batch, hidden_size]

可以用h_t.view(num_layers, num_directions, batch, hidden_size), 这样对于多层lstm就可以得到每一层的h.