点乘

  • 向量 向量的点乘,也叫向量的内积、数量积,对两个向量执行点乘运算,就是对这两个向量对应位一一相乘之后求和的操作,点乘的结果是一个标量。 点乘的几何意义是可以用来表征或计算两个向量之间的夹角,以及在b向量在a向量方向上的投影。根据这个公式就可以计算向量a和向量b之间的夹角。从而就可以进一步判断这两个向量是否是同一方向,是否正交(也就是垂直)等方向关系。
  • 矩阵 就是矩阵各个对应元素相乘, 这个时候要求两个矩阵必须同样大小。

叉乘

  • 向量 两个向量的叉乘,又叫向量积、外积、叉积,叉乘的运算结果是一个向量而不是一个标量。并且两个向量的叉积与这两个向量组成的坐标平面垂直。 叉乘几何意义:在三维几何中,向量a和向量b的叉乘结果是一个向量,更为熟知的叫法是法向量,该向量垂直于a和b向量构成的平面。在3D图像学中,叉乘的概念非常有用,可以通过两个向量的叉乘,生成第三个垂直于a,b的法向量,从而构建X、Y、Z坐标系。在二维空间中,叉乘还有另外一个几何意义就是:aXb等于由向量a和向量b构成的平行四边形的面积。
  • 矩阵 矩阵的乘法就是矩阵a的第一行乘以矩阵b的第一列,各个元素对应相乘然后求和作为第一元素的值。矩阵只有当左边矩阵的列数等于右边矩阵的行数时,它们才可以相乘,乘积矩阵的行数等于左边矩阵的行数,乘积矩阵的列数等于右边矩阵的列数。

列空间

列空间由矩阵 A 的列向量线性组合填充而成(Span),记为C(A)。 图片说明 P.S. 机器学习场景中,A的行数和列数分别对应样本数和特征(字段)数量,样本数往往远大于特征量(图像问题相反),比如1000个样本10个特征,小学数学多元一次方程组的知识告诉我们:1000个方程只有10个变量是无解的,这种情况被称为超定(Overdetermined)。 本质上,机器学习算法提供的不是数学意义上准确解,而是个实用主义的近似解,毕竟,比无解要好很多。

列空间

图片说明 本质上两者是相同的,只相差一个转置: 图片说明

零空间

零空间(Null Space),也称线性映射的核(Kernel).图片说明 图片说明 图片说明

左零空间

图片说明