文章目录

如何进行电影分类

众所周知，电影可以按照题材分类，然而题材本身是如何定义的?由谁来判定某部电影属于哪 个题材?也就是说同一题材的电影具有哪些公共特征?这些都是在进行电影分类时必须要考虑的问 题。没有哪个电影人会说自己制作的电影和以前的某部电影类似，但我们确实知道每部电影在风格 上的确有可能会和同题材的电影相近。那么动作片具有哪些共有特征，使得动作片之间非常类似， 而与爱情片存在着明显的差别呢？动作片中也会存在接吻镜头，爱情片中也会存在打斗场景，我们 不能单纯依靠是否存在打斗或者亲吻来判断影片的类型。但是爱情片中的亲吻镜头更多，动作片中 的打斗场景也更频繁，基于此类场景在某部电影中出现的次数可以用来进行电影分类。
介绍第一个机器学习算法：K-近邻算法，它非常有效而且易于掌握。

#KNN算法是有监督的学习,数据必须带有目标值
#要求数据的样本要平衡
#要清楚k值的作用:找周围离自己最近的几个数据
#数据处理
#建立模型->训练数据->模型评估->预测数据

#机器学习应对的三种数据:结构化数据,半结构化数据(html),非结构化数据

一、k-近邻算法原理

简单地说，K-近邻算法采用测量不同特征值之间的距离方法进行分类。

  • 优点：精度高、对异常值不敏感、无数据输入假定。
  • 缺点：时间复杂度高、空间复杂度高。
  • 适用数据范围：数值型和标称型。

1.工作原理

存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据
与所属分类的对应关系。输人没有标签的新数据后，将新数据的每个特征与样本集中数据对应的
特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。一般来说，我们
只选择样本数据集中前K个最相似的数据，这就是K-近邻算法中K的出处,通常K是不大于20的整数。
最后 ，选择K个最相似数据中出现次数最多的分类，作为新数据的分类。
回到前面电影分类的例子，使用K-近邻算法分类爱情片和动作片。有人曾经统计过很多电影的打斗镜头和接吻镜头，下图显示了6部电影的打斗和接吻次数。假如有一部未看过的电影，如何确定它是爱情片还是动作片呢？我们可以使用K-近邻算法来解决这个问题。

首先我们需要知道这个未知电影存在多少个打斗镜头和接吻镜头，上图中问号位置是该未知电影出现的镜头数图形化展示，具体数字参见下表。

即使不知道未知电影属于哪种类型，我们也可以通过某种方法计算出来。首先计算未知电影与样本集中其他电影的距离，如图所示。

现在我们得到了样本集中所有电影与未知电影的距离，按照距离递增排序，可以找到K个距
离最近的电影。假定k=3，则三个最靠近的电影依次是California Man、He’s Not Really into Dudes、Beautiful Woman。K-近邻算法按照距离最近的三部电影的类型，决定未知电影的类型，而这三部电影全是爱情片，因此我们判定未知电影是爱情片。

import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
import pandas as pd
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import train_test_split

二、实现过程

1.数据准备阶段

m = pd.read_excel('tests.xlsx',sheet_name=0)
m

2.特征提取

Faeture 特征部分
Labels（target）目标

目标：

#特征的抽取 Features特征部分和Labels（target）目标
fea = m.iloc[:,1:-1]#必须是二维的数据类型
lab = m.iloc[:,-1]#维度不限制，至少是一维的

3.特征的抽取 Feature 特征部分 和 Labels(target) 目标

#Feature 必须是一个二维的数据类型 Labels至少是一维的
fea = m.iloc[:,1:-1]#逗号前面的是行，后面的是列
lab = m.iloc[:,-1]

X_train ,X_test,y_train, y_test = train_test_split(fea,lab,test_size=0.3)

4.切分数据成训练数据和测试数

knn  = KNeighborsClassifier(n_neighbors=5,p=2,n_jobs=2)

n_neighbors是knn中的k值，找几个距离自己最短的邻居
p=2指用欧式距离作为度量（好看）
p=1指的是用曼哈顿距离作为度量
不填默认闵可夫斯基距离
n_jobs开启几个进程

5.数据的训练

进行训练，多的训练，比较少的测试：

knn.fit(X_train,y_train)

训练完成后对模型进行评估

#评估模型，观测模型的准确率
knn.score(X_train,y_train)


观测模型的准确率
1.0说明没有欠拟合，但是过拟合不知道

6.数据的测试

测试得分

#数据的测试 
knn.score(X_test,y_test)


结果也是1.0，没有低于0.8，说明没有过拟合

7.模型的模拟

#假如爱有天意，
给个新电影，new=[3，17]

我们获取到的当前是一维的数据，模型需要二维数组不认识会报错
写成二维列表也可以，好像还是转一下数组比较好
二维列表的话，画图的时候不好取第一列第二列，所以改成了二维数组


#'假如爱有天意'
new = np.array([(3,17)])

#预测
knn.predict(new)

预测结果：

8.图形展示

plt.rcParams['font.family'] = ['SimHei']#设置字体
sns.scatterplot(x='武打镜头',y='接吻镜头',data=m,hue='分类情况',palette='hls')
sns.scatterplot(x=new[:,0],y=new[:,1])

附：欧几里得距离(Euclidean Distance)

欧氏距离是最常见的距离度量，衡量的是多维空间中各个点之间的绝对距离。公式如下：

总结使用sklearn的knn模块进行分类

#1.模型实例
#n_neighbors=5 默认找周围的5个离自己最近的数据
knn=KNeighborsClassifier(n_neighbors=5)
#2.将数据进行训练(把数据保存到内存中)
#X是特征数据
#y是目标数据(标签)
knn.fit(X_train,y_train)
#3.评估 1.0代表100%的准确
knn.score(X_train,y_train)
#准确率 被预测正确的数据数量 / 总数据数量
#4.对测试数据进行评估
knn.score(X_test,y_test)
#5.如果模型的分值高，那么模型可以上线,可以进行预测了
knn.predict(X_test)