- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 关于服务器之间的无密码登录自己的实践
整体思路是在开始时安装网上的方式生成秘钥，然后将公钥发送到对应的服务器上，成功了就可以实现了 自己遇到的坑 第一次尝试： 由于从网上拷贝的这个命令ssh-cory-id失效，认为ssh-cory-id这个命令不可用 就用了如下方法： cat ~/.ssh/id_*.pub | ssh root@101.200.57.125 'cat >> .ssh/authorized_keys' ssh-cory-id -i ~/.ssh/id_rsa.pub root@101.200.57.125 手打
2020-09-30 15:56:39
246
1
原创 用户行为收集到hive
文章目录用户日志如何收集离线部分-用户日志收集收集步骤Supervisor进程管理 用户日志如何收集 为用户建立画像提供依据 便于了解分析用户的行为、喜好变化 埋点开发测试流程 一般用户有很多日志，我们当前黑马头条推荐场景统一到行为日志中，还有其它业务场景如(下单日志、支付日志) 埋点参数 就是在应用中特定的流程收集一些信息，用来跟踪应用使用的状况，后续用来进一步优化产品或是提供运营的数据支撑 重要性：埋点数据是推荐系统的基石，模型训练和效果数据统计都基于埋点数据，需保证埋点数据的正确无误
2020-08-15 12:22:55
273
原创 数据库迁移
文章目录应用Sqoop完成业务数据到HIVE的导入数据库迁移需求hive 的shell操作业务数据导入存在的问题两种方式Sqoop迁移实例迁移脚本定时运行 应用Sqoop完成业务数据到HIVE的导入 数据库迁移需求 mysql业务数据库中的数据，同步到hadoop的hive数据仓库中。 为了避免直接连接、操作业务数据 同步一份数据在集群中方便进行数据分析操作 从mysql中迁移5张表到hive数据库中 hive 的shell操作 # 启动hive后 hive> show databases; O
2020-08-15 09:17:28
336
原创 hadoop(HDFS、MapReduce、Yarn)学习
HDFS（学习） 主要内容HDFS（学习）HDFS是什么组件是什么架构是什么应用场景是什么，解决什么问题安装及配置每日一题（力扣）每日liunx练习5条每日sql练习 HDFS是什么 HDFS 是分布式存储，数据冗余， 分布式结构 把数据进行分割，默认是128M，存储3份 组件是什么 master-slave结构 client 负责文件的拆分 name node 元数据存储，监控datanode的状态 dat
2020-08-14 11:08:02
597
原创 机器学习数学基础必备
复习重点： 1-梯度理解 2-凸函数 3-多元函数求极值 4-Hession 矩阵 5-最小二乘法 6-拉格朗日乘子法 7-泰勒公式 8-矩阵基础知识 9-矩阵的特征值和特征向量分解 10-连续型随机变量分布 11-离散型随机变量分布 12-极大似然估计 13-矩估计 14-假设检验 学习要求 1.基本函数的图像，导数 2.导数的运算法则（加减乘除）（常数Cf(x)的倒数） 3.极值和最值求解 4.多元函数求导（层层求导） 这里的结果是有问题的应该是1/e 的叠加 5.偏导数（三元z对x的偏导数，z对y的
2020-08-08 11:30:18
1108
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人