附上github的源代码地址：https://github.com/w1449550206/Linear-regression-with-tensorflow.git

文章目录

1.线性回归的介绍

根据训练数据，训练一个w1x1+w2x2+…+b = y，有多少个特征，就有多少个权重

2.训练数据的获取

假设随机的一百个点，且只有一个特征，y = wx+b
特征值：训练数据100个样本，100行1列[100, 1]
目标值：y = 0.8*x+0.7 <mark>(造数据用的，一开始是不知道的)</mark>

3.步骤分析

  • 1.准备好数据集，我们制造y=0.8x+0.7的100个样本
  • 2.建立线性模型，随机初始化w1和b1，y=wx+b，目标求出权重w和偏置b <mark>（比如我们随机一个w为0.2，b为0.7，和我们假设已经知道的0.8和0.7差很远，所以接下来要确定损失函数，然后梯度下降优化来找到损失最小的w和b）</mark>
  • 3.确定损失函数（预测值与真实值之间的误差），即均方误差
  • 4.梯度下降优化损失：需要制定学习率（超参数）

4.相关的API

运算

矩阵运算

tf.matmul(x,w)

平方

tf.square(error)

均值

tf.reduce_mean(error)

误差

error = tf.reduce_mean(tf.square(y_predict - y_true))

梯度下降优化

tf.train.GradientDescentOptimizer(learning_rate)
  • learing_rate是学习率，一般为0-1之间比较小的值
  • method: minimize(loss)损失优化
  • return： 梯度下降op
    返回一个节点操作： 
optimizer = tf.train.GradientDescentOptimizer(learning_rate = 0.01).minimize(error)

5.完整代码

1.准备好数据集，我们制造y=0.8x+0.7的100个样本

# 特征值x，目标值y_true
x = tf.random_normal(shape=(100, 1), mean=2, stddev=2)
y_true = tf.matmul(x,[[0.8]])+0.7

2.建立线性模型，目标：求出权重W和偏置b

y = W·X + b

3.随机初始化w1和b1

w_ran =tf.Variable(initial_value=tf.random_normal(shape = (1,1)))
b_ran = tf.Variable(initial_value=tf.random_normal(shape=(1,1)))
y_predict = tf.matmul(x,w_ran)+b_ran

4.确定损失函数（预测值与真实值之间的误差）即均方误差

error = tf.reduce_mean(tf.square(y_predict - y_true))

5.梯度下降优化损失：需要制定学习率（超参数）

optimizer = tf.train.GradientDescentOptimizer(learning_rate = 0.01).minimize(error)

6.初始化变量

init = tf.global_variables_initializer()

7.开启会话进行训练

with tf.Session() as sess:
    #运行初始化变量op
    sess.run(init)
    print("随机初始化的权重为%f， 偏置为%f" % (w_ran.eval(), b_ran.eval()))
    # 训练模型
    for i in range(100):
        sess.run(optimizer)
        print("第%d步的误差为%f，权重为%f， 偏置为%f" % (i, error.eval(), w_ran.eval(), b_ran.eval()))

8.完整代码

import tensorflow as tf

def linear_regression():
    '''
    # - 1.准备好数据集，我们制造y=0.8x+0.7的100个样本
    # - 2.建立线性模型，随机初始化w1和b1，y=wx+b，目标求出权重w和偏置b ==（比如我们随机一个w为0.2，b为0.7，和我们假设已经知道的0.8和0.7差很远，所以接下来要确定损失函数，然后梯度下降优化来找到损失最小的w和b）==
    # - 3.确定损失函数（预测值与真实值之间的误差），即均方误差
    # - 4.梯度下降优化损失：需要制定学习率（超参数）
    :return:
    '''

    # - 1.准备好数据集，我们制造y=0.8x+0.7的100个样本
    # 特征值x，目标值y_true
    x = tf.random_normal(shape=(100, 1), mean=2, stddev=2)
    y_true = tf.matmul(x, [[0.8]]) + 0.7

    ## 2.建立线性模型，目标：求出权重W和偏置b
    # y = W·X + b

    ## 3.随机初始化w1和b1
    w_ran = tf.Variable(initial_value=tf.random_normal(shape=(1, 1)))
    b_ran = tf.Variable(initial_value=tf.random_normal(shape=(1, 1)))
    y_predict = tf.matmul(x, w_ran) + b_ran

    ## 4.确定损失函数（预测值与真实值之间的误差）即均方误差
    error = tf.reduce_mean(tf.square(y_predict - y_true))

    ## 5.梯度下降优化损失：需要制定学习率（超参数）
    optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.01).minimize(error)

    # 初始化变量
    init = tf.global_variables_initializer()

    # 至此整张图就好了

    # 开启会话进行训练

    with tf.Session() as sess:
        # 运行初始化变量op
        sess.run(init)
        print("随机初始化的权重为%f， 偏置为%f" % (w_ran.eval(), b_ran.eval()))
        # 训练模型
        for i in range(2000):
            sess.run(optimizer)
            print("第%d步的误差为%f，权重为%f， 偏置为%f" % (i, error.eval(), w_ran.eval(), b_ran.eval()))
if __name__ == '__main__':
    linear_regression()

6变量的trainable设置观察

trainable的参数作用，指定是否训练

weight = tf.Variable(tf.random_normal([1, 1], mean=0.0, stddev=1.0), name="weights", trainable=False)

还有一些更加复杂的功能进行优化可以进入另一篇博文中查看：https://blog.csdn.net/qq_35456045/article/details/104687223