牛客题解官

分类

题解(475)

/ 注册

TA的专栏 74篇文章 9人订阅

牛客代码笔记-牛栋

74篇文章 297人学习

全部文章（共763篇）

题解|最优字符串对齐距离

最优字符串对齐距离（Optimal String Alignment Distance）是一种衡量两个字符串之间差异的指标，又称Levenshtein距离/OSA距离，其计算公式为：其中，和是两个字符串，是两个字符之间的距离。这是一个经典动态规划问题，可以使用动态规划来实现。具体的动态规划思路...

2025-02-06

2 71

题解|位置编码计算器

位置编码是Transformer模型中用于处理序列数据的一种技术，它通过将输入序列中的每个位置映射到一个固定长度的向量，从而为模型提供位置信息。其具体步骤如下： 1. 初始化位置编码矩阵创建一个与输入序列长度相同的矩阵，用于存储每个位置的编码向量。 2. 计算位置编码对于输入序列中的每个位...

2025-02-06

0 77

题解|实现一个简单的基于时间反向传播（BPTT）的循环神经网络（RNN）

循环神经网络（RNN）是一种能够处理序列数据的神经网络，其特点是能够将前一时刻的输出作为下一时刻的输入。 BPTT是循环神经网络的一种训练方法，其数学推导可以参考相关资料。大体的更新步骤与BP神经网络类似，但是不同的是需要考虑时间步长的影响。具体原理可以参考相关文献，这里不做赘述。在本题中，用到...

2025-02-06

0 51

题解|实现自定义Dense层

自定义Dense层（Custom Dense Layer）是一种常用的神经网络层，其计算公式为：其中，是权重矩阵，是输入，是偏置，是激活函数。本质是全连接层，通过矩阵乘法和偏置实现线性变换，再通过激活函数实现非线性变换。标准代码如下 class Dense(Layer): def _...

2025-02-06

0 64

题解|RMSProp（Root Mean Square Propagation）

RMSProp（Root Mean Square Propagation）是一种自适应学习率的优化算法，常用于训练神经网络和其他机器学习模型。其主要思想是通过调整每个参数的学习率来加速收敛，特别是在处理非平稳目标时。以下是RMSProp的基本过程：初始化参数：初始化参数 θ 和均方根平方和...

2025-02-06

0 106

题解|SGDM（带动量的随机梯度下降）

SGDM(带冲量的随机梯度下降)是SGD的一种改进，在SGD的基础上增加了冲量，可以加速收敛。简单点说，就是每次更新参数时，不仅考虑当前的梯度，还考虑之前的梯度。使用动量代替梯度。梯度下降以及批量梯度下降的原理不再赘述，这里只给出SGDM的公式：其中，是第次迭代时的参数，是学习率， ...

2025-02-06

0 99

题解|Adam优化器

Adam优化器是一种常用的优化算法，用于训练深度学习模型。它结合了动量法和自适应学习率的方法，能够有效地加速模型的训练过程。其步骤如下： 1. 初始化参数：初始化一阶动量和二阶动量，通常设为 0。初始化学习率。初始化动量衰减系数和，通常设为 0.9 和 0.999。初始化小常...

2025-02-06

0 117

题解|实现长短期记忆（LSTM）网络

长短期记忆（LSTM）网络是循环神经网络的一种，其特点是能够处理长序列数据。LSTM网络的数学推导可以参考相关资料。 LSTM的具体步骤如下：计算遗忘门计算输入门计算细胞状态更新计算输出门其中，是sigmoid函数，表达式为，是tanh函数，表达式为。 5. 计算隐藏状...

2025-02-06

0 81

题解|实现一个简单的循环神经网络

循环神经网络（RNN）是一种能够处理序列数据的神经网络，其特点是能够处理时间序列数据。 RNN的具体步骤如下：计算隐藏状态更新计算输出计算损失反向传播本题只要求实现前向传播，反向传播不要求实现。标准代码如下 def rnn_forward(input_sequence...

2025-02-06

0 34

题解|实现自注意力机制

自注意力机制（Self-Attention Mechanism）是一种能够捕获序列内部元素之间关系的机制，它通过计算序列中每个元素与其他所有元素的相关性来实现信息的有效整合。其基本思想是将输入序列映射为查询(Query)、键(Key)和值(Value)三个矩阵，然后通过计算查询和键的相似度得到注意力...

2025-02-06

0 95