推荐系统思路：1、数据预处理（用户画像数据、物品元数据、用户行为数据）2、召回（CB、CF算法）3、LR训练模型的数据准备，即用户特征数据，物品特征数据4、模型准备，即通过LR算法训练模型数据得到w，b5、推荐系统流程：（1）解析请求：userid，itemid（2）加载模型：加载排序模型（model.w，model.b）（3）检索候选集合：利用cb，cf去redis里面检索数据库，得到候选集合（4）获取用户特征：userid（5）获取物品特征：itemid（6）打分(逻辑回归，深度学习)，排序（7）top-n过滤（8）数据包装（itemid->name），返回 项目描述： 对三个数据进...

机器学习实战之Logistic转载：https://blog.csdn.net/suipingsp/article/details/41822313 （一）认识Logistic回归（LR）分类器首先，Logistic回归虽然名字里带“回归”，但是它实际上是一种分类方法，主要用于两分类问题，利用Logistic函数（或称为Sigmoid函数），自变量取值范围为(-INF, INF)，自变量的取值范围为(0,1)，函数形式为： 由于sigmoid函数的定义域是(-INF, +INF),而值域为(0, 1)。因此最基本的LR分类器适合于对两分类（类0，类1）目标进行分类。Sigmoid 函数是个很漂...

mysql 常见面试题转载：https://www.cnblogs.com/williamjie/p/11081592.html附录：https://mp.weixin.qq.com/s/pC0_Y7M7BkoUmlRwneZZdA 一、为什么用自增列作为主键1、如果我们定义了主键(PRIMARY KEY)，那么InnoDB会选择主键作为聚集索引。如果没有显式定义主键，则InnoDB会选择第一个不包含有NULL值的唯一索引作为主键索引。如果也没有这样的唯一索引，则InnoDB会选择内置6字节长的ROWID作为隐含的聚集索引(ROWID随着行记录的写入而主键递增，这个ROWID不像ORACLE的...

有以下几张数据表，请写出Hive SQL语句，实现以下需求。注：分区字段为dt，代表日期。 1、某次经营活动中，商家发起了"异性拼团购"，试着针对某个地区的用户进行推广，找出匹配用户。参考实现：选出城市在北京，性别为男的10个用户名 select user_namefrom user_infowhere city='beijing' and sex='male'limit 10; 2、某天，发现食物类的商品卖的很好，你能找出几个资深吃货吗？参考实现：选出在2019年6月18日，购买的商品类是food的用户名、购买数量、支付金额，并按照购买数量、支付金额倒序排序，取前10个用...

1. 基于内容的推荐算法CB Content-based Recommendations (CB)根据==推荐物品或内容的元数据==，发现物品的相关性，再基于用户过去的喜好记录，为==用户推荐相似的物品==。 通过抽取物品内在或者外在的特征值，实现相似度计算。 比如一个电影，有导演、演员、用户标签UGC、用户评论、时长、风格等等，都可以算是特征。 将用户(user) 个人信息的特征(基 于喜好记录或是预设兴趣标签)，和物品(item)的特征相匹配，就能得到用户对物品感兴趣的程度 在一-些电影、...

推荐系统Demo简介：推荐系统的一种简单实现就是，给定一个用户A，找到所有用户中与A最相似的用户B，把B看过的电影中A没看过的挑出来，再把B评分最高的几部挑出来。数据集下载ml-latest-small(1MB): http://files.grouplens.org/datasets/movielens/ml-latest-small.zip解压缩后用到两个文件 movies.csv 和 ratings.csv 。movies.csv是各种电影的数据，列分别为 电影编号、电影名、所属类型。movieId title genres1 Toy Story (1995) Adventure,Ani...

Linux基础资料： https://www.runoob.com/linux/linux-tutorial.htmlpython ：https://github.com/Yerikshu/one-python-craftsman算法 ：https://github.com/labuladong/***ing-algorithmjava2020最强总结https://blog.csdn.net/ThinkWon/article/details/103592572?depth_1-utm_source=distribute.pc_feed.none-task&request_id=...

一、zk服务命令 启动ZK服务: bin/zkServer.sh start 查看ZK服务状态: bin/zkServer.sh status 停止ZK服务: bin/zkServer.sh stop 重启ZK服务: bin/zkServer.sh restart 连接服务器: zkCli.sh -server 127.0.0.1:2181二、连接zk启动ZooKeeper服务之后，我们可以使用如下命令连接到 ZooKeeper 服务：eg、zookeeper-3.4.8\bin>zkCli.cmd -server 127.0.0.1:2181Linux环境下：eg、zkCli.sh...

推荐Spark重点难点知识总结（一）https://blog.csdn.net/shuhaojie/article/details/75123953Spark重点难点知识总结（二）https://blog.csdn.net/shuhaojie/article/details/74205393 Spark2.x和Spark1.x版本的区别1、Spark2.x实现了对Spark SQL和Hive SQL操作API的统一2、Spark2.x引入了SparkSession的概念，提供了一个统一的切入口来使用Spark的各项功能，统一了旧的SQLContext和HiveContext3、统一了Data...

Hbase是列存储的，Hbase支持行级事务写出hive和hbase的区别共同点：1.hbase 与 hive 都是架构在 hadoop 之上的。都是用 hadoop 作为底层存储区别：2.Hive 是建立在 Hadoop 之上为了减少 MapReduce jobs 编写工作的批处理系统，HBase是为了支持弥补 Hadoop 对实时操作的缺陷的项目 。3.想象你在操作 RMDB 数据库，如果是全表扫描，就用 Hive+Hadoop,如果是索引访问，就用 HBase+Hadoop 。4.Hive query 就是 MapReduce jobs 可以从 5 分钟到数小时不止，HBase 是非常高...

一、查看数据（查看对象的方法对于Series来说同样适用）1.查看DataFrame前xx行或后xx行a=DataFrame(data);a.head(6)表示显示前6行数据，若head()中不带参数则会显示全部数据。a.tail(6)表示显示后6行数据，若tail()中不带参数则也会显示全部数据。2.查看DataFrame的index，columns以及valuesa.index ; a.columns ; a.values 即可3.describe()函数对于数据的快速统计汇总a.describe()对每一列数据进行统计，包括计数，均值，std，各个分位数等。4.对数据的转置a.T5.对轴...