牛客题解官

分类

题解(475)

/ 注册

TA的专栏 869篇文章 60人订阅

牛客代码笔记-牛栋

74篇文章 532人学习

图解HTTP-牛客面经八股

15篇文章 308人学习

图解网络模型-牛客面经八股

21篇文章 362人学习

图解Java基础-牛客面经八股

24篇文章 316人学习

图解Java多线程牛客面经八股

28篇文章 429人学习

图解JVM-牛客面经八股

11篇文章 382人学习

图解Spring-牛客面经八股

17篇文章 482人学习

图解Mybatis牛客面经八股

10篇文章 283人学习

图解Redis-牛客面经八股

17篇文章 328人学习

图解分布式-牛客面经八股

19篇文章 342人学习

图解系统设计-牛客面经八股

17篇文章 350人学习

图解操作系统-牛客面经八股

75篇文章 432人学习

图解数据库基础-牛客面经八股

26篇文章 349人学习

图解SQL-牛客面经八股

32篇文章 363人学习

图解数据库锁-牛客面经八股

32篇文章 344人学习

图解C++基础-牛客面经八股

47篇文章 317人学习

图解C++高级-牛客面经八股

32篇文章 219人学习

图解C++STL-牛客面经八股

17篇文章 305人学习

图解大模型基础-牛客面经八股

53篇文章 397人学习

图解测试基础-牛客面经八股

12篇文章 301人学习

图解测试用例设计-牛客面经八股

18篇文章 336人学习

图解机器学习-牛客面经八股

36篇文章 378人学习

图解Elasticsearch

24篇文章 316人学习

图解机器学习应用-牛客面经八股

26篇文章 360人学习

图解大模型应用-牛客面经八股

23篇文章 299人学习

图解测试开发-牛客面经八股

17篇文章 354人学习

图解Vue-牛客面经八股

44篇文章 269人学习

图解前端开发-牛客面经八股

39篇文章 394人学习

图解TCP/UDP牛客面经八股

43篇文章 347人学习

提示词工程指南

20篇文章 267人学习

全部文章（共1142篇）

题解|位置编码计算器

位置编码是Transformer模型中用于处理序列数据的一种技术，它通过将输入序列中的每个位置映射到一个固定长度的向量，从而为模型提供位置信息。其具体步骤如下： 1. 初始化位置编码矩阵创建一个与输入序列长度相同的矩阵，用于存储每个位置的编码向量。 2. 计算位置编码对于输入序列中的每个位...

2025-02-06

0 154

题解|实现一个简单的基于时间反向传播（BPTT）的循环神经网络（RNN）

循环神经网络（RNN）是一种能够处理序列数据的神经网络，其特点是能够将前一时刻的输出作为下一时刻的输入。 BPTT是循环神经网络的一种训练方法，其数学推导可以参考相关资料。大体的更新步骤与BP神经网络类似，但是不同的是需要考虑时间步长的影响。具体原理可以参考相关文献，这里不做赘述。在本题中，用到...

2025-02-06

0 96

题解|实现自定义Dense层

自定义Dense层（Custom Dense Layer）是一种常用的神经网络层，其计算公式为：其中，是权重矩阵，是输入，是偏置，是激活函数。本质是全连接层，通过矩阵乘法和偏置实现线性变换，再通过激活函数实现非线性变换。标准代码如下 class Dense(Layer): def _...

2025-02-06

0 106

题解|RMSProp（Root Mean Square Propagation）

RMSProp（Root Mean Square Propagation）是一种自适应学习率的优化算法，常用于训练神经网络和其他机器学习模型。其主要思想是通过调整每个参数的学习率来加速收敛，特别是在处理非平稳目标时。以下是RMSProp的基本过程：初始化参数：初始化参数 θ 和均方根平方和...

2025-02-06

1 218

题解|SGDM（带动量的随机梯度下降）

SGDM(带冲量的随机梯度下降)是SGD的一种改进，在SGD的基础上增加了冲量，可以加速收敛。简单点说，就是每次更新参数时，不仅考虑当前的梯度，还考虑之前的梯度。使用动量代替梯度。梯度下降以及批量梯度下降的原理不再赘述，这里只给出SGDM的公式：其中，是第次迭代时的参数，是学习率， ...

2025-02-06

0 224

题解|Adam优化器

Adam优化器是一种常用的优化算法，用于训练深度学习模型。它结合了动量法和自适应学习率的方法，能够有效地加速模型的训练过程。其步骤如下： 1. 初始化参数：初始化一阶动量和二阶动量，通常设为 0。初始化学习率。初始化动量衰减系数和，通常设为 0.9 和 0.999。初始化小常...

2025-02-06

0 232

题解|实现长短期记忆（LSTM）网络

长短期记忆（LSTM）网络是循环神经网络的一种，其特点是能够处理长序列数据。LSTM网络的数学推导可以参考相关资料。 LSTM的具体步骤如下：计算遗忘门计算输入门计算细胞状态更新计算输出门其中，是sigmoid函数，表达式为，是tanh函数，表达式为。 5. 计算隐藏状...

2025-02-06

0 163

题解|实现一个简单的循环神经网络

循环神经网络（RNN）是一种能够处理序列数据的神经网络，其特点是能够处理时间序列数据。 RNN的具体步骤如下：计算隐藏状态更新计算输出计算损失反向传播本题只要求实现前向传播，反向传播不要求实现。标准代码如下 def rnn_forward(input_sequence...

2025-02-06

0 107

题解|实现自注意力机制

自注意力机制（Self-Attention Mechanism）是一种能够捕获序列内部元素之间关系的机制，它通过计算序列中每个元素与其他所有元素的相关性来实现信息的有效整合。其基本思想是将输入序列映射为查询(Query)、键(Key)和值(Value)三个矩阵，然后通过计算查询和键的相似度得到注意力...

2025-02-06

2 248

题解|实现Adam优化算法

Adam优化算法是一种自适应学习率的优化算法，其计算步骤如下：初始化参数计算梯度更新动量更新方差更新参数这里对动量和方差进行了偏差修正，以避免初始阶段的不稳定；对新参数更新的时候加上了，以避免除0错误。标准代码如下 def adam_optimizer(f, g...

2025-02-06

0 155