- 博客(4)
- 收藏
- 关注
RSS订阅
原创 An error occurred while calling o23.sql
PySparkSql 报An error occurred while calling o23.sql的错 一般情况款下，可能是是写SparkSql的时候，字段名，或者表名写错了，就会报这个错，改一下字段和名称即可
2020-06-15 16:09:03
3789
原创 GBDT-Xgboost-LightGBM的区别
GBDT-Xgboost-LightGBM的区别 GBDT-Xgboost的区别： 1、分类器的区别 传统GBDT以Cart树作为分类器； Xgboost还支持线性分类器，这个时候Xgboost相当于带有L1和L2正则化项的逻辑斯蒂回归（分类问题）或者线性回归（回归问题） 2、优化 传统GBDT在优化时只用到一阶导数信息 ； Xgboost则对代价函数进行了二阶泰勒展开，同时用到了一阶和二阶导数。还有Xgboost工具支持自定义代价函数，只要函数可一阶和二阶求导 3、Shrinkage（缩减） Shrink
2020-06-02 17:49:04
539
原创 电影推荐系统
什么是推荐系统 推荐系统是在面对用户信息过载的情况下，或者在用户没有明确购买信息的情况下，通过程序或工具自动化实现物品或商品的自动推荐过程。（而不依赖外部专家） 为了能够给用户推荐感兴趣的新奇，我们首先分析该用户的兴趣，从海量信息中选择出用户兴趣相似的信息，并讲这些信息推荐给用户。 推荐系统的任务就是能够连接信息与用户，帮助用户找到其感兴趣的信息，同时让一些有价值的信息能够到达潜在的用户中。 推荐...
2019-12-25 14:29:26
5919
2
原创 zookeeper的集群环境搭建
zookeeper的介绍以及集群环境搭建 ZooKeeper 概述 Zookeeper 是一个分布式协调服务的开源框架。 主要用来解决分布式集群中应用系统的一致性问题，例如怎样避免同时操作同一数据造成脏读的问题。 ZooKeeper 本质上是一个分布式的小文件存储系统。 提供基于类似于文件系统的目录树方式的数据存储，并且可以对树中的节点进行有效管理。从而用来维护和监控你存储的数据的状态变化。通过监...
2019-11-15 20:22:31
168
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人