回归算法

回归算法是机器学习中的经典算法之一，这里主要整理一下线性回归算法与逻辑回归算法。

线性回归算法


我们首先用弄清楚什么是线性，什么是非线性。

  • 线性：两个变量之间的关系是一次函数关系的——图象是直线，叫做线性。

    注意：题目的线性是指广义的线性，也就是数据与数据之间的关系。

  • 非线性：两个变量之间的关系不是一次函数关系的——图象不是直线，叫做非线性。

相信通过以上两个概念大家已经很清楚了，其次我们经常说的回归回归到底是什么意思呢。

  • 回归：人们在测量事物的时候因为客观条件所限，求得的都是测量值，而不是事物真实的值，为了能够得到真实值，无限次的进行测量，最后通过这些测量数据计算回归到真实值，这就是回归的由来。

逻辑回归算法

逻辑回归又称logistic回归分析，是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域。逻辑回归从本质来说属于二分类问题。

二分类问题是指预测的y值只有两个取值（0或1），二分类问题可以扩展到多分类问题。例如：我们要做一个垃圾邮件过滤系统，x是邮件的特征，预测的y值就是邮件的类别，是垃圾邮件还是正常邮件。对于类别我们通常称为正类（positive class）和负类（negative class），垃圾邮件的例子中，正类就是正常邮件，负类就是垃圾邮件。
Sigmoid函数

函数中t无论取什么值，其结果都在[0,-1]的区间内，回想一下，一个分类问题就有两种答案，一种是“是”，一种是“否”，那0对应着“否”，1对应着“是”，那又有人问了，你这不是[0,1]的区间吗，怎么会只有0和1呢？这个问题问得好，我们假设分类的阈值是0.5，那么超过0.5的归为1分类，低于0.5的归为0分类，阈值是可以自己设定的。

总结

机器学习的核心思想就是优化求解，不断的寻找最合适的参数。这个我只是简单的整理两个算法概念问题，但其实回归算法是非常重要的，后面还会经常遇见。