- 博客(95)
- 资源 (10)
- 收藏
- 关注
RSS订阅
原创 大数据学习记录
2021.01.20SSH免密服务 1. 生成ssh公钥和私钥 ssh-keygen-t rsa 2. 把集群里面的公钥发到node1中 ssh-copy-id node1 3. 集群node1向每台机子都执行 scp /root/.ssh/公钥名称 node02:/root/.ssh2.时钟同步安装ntp服务 1. yun install ntp -y 2. 启动定时服务 crontab -e 3. 写入内容 */1 * * * * /usr/sbin.ntpdate ntp
2021-01-30 21:02:28
971
原创 hive高频写入小数据，导致hdfs小文件过多，出现查询效率很低的情况
6分钟，小文件10983。实验证明一次插入都会有一个copy文件生成，ads_sdd_flow_management_result_to_ids_mm写入频率很高，所以小文件很多。–15分钟，小文件10983。
2025-02-14 11:25:07
470
原创 python安装tensorflow一直报错
直到在网上看到，Tensorflow 社区可支持的 Python 版本从 3.6-3.8，且在 windows 中Python 需是 64位(Tensorflow 暂不支持 32 位)…下载一个含amd64的python版本即可，我下载的是python-3.7.0-amd64.exe。前面下载的全部都是32位的，此刻的我是无语的。
2024-09-11 15:28:27
430
1
原创 djiango后台管理系统登录admin显示302重定向
问题描述一登录马上重定向跳转思考马上重定向跳转登录页，可能是因为登录状态失效导致的跳转。解决马上去检查相关配置setting文件发现之前在配置跨域的时候，配置了session相关的配置项，注释掉即可恢复...
2022-05-23 17:38:01
849
原创 uniapp引入谷歌登录原生插件——保姆式教程
1. 需要准备的资料证书、sha1密钥2.注册谷歌后台应用软件包名称为uniapp打包默认的创建sha1：keytool -genkey -v -keystore test.keystore -alias androiddebugkey -keyalg RSA -validity 10000查看sha1密钥：keytool -list -v -keystore debug.keystore3.创建成功后填写客户端id到插件内容4.自定义基座5.最后一步打包信息填写，注意，特别重要包
2022-04-12 10:37:34
2835
1
原创 flink命令行运行报错
报错信息/root/bigdata/flink-1.10.2/bin/flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 /root/jar/bdss-1.0-SNAPSHOT.jar -c sssj.MyredisSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/root/bigdata/flink-1.10.2/lib/slf
2021-12-26 11:50:38
1309
原创 Sqoop的mysqltohive报错
问题描述执行语句bin/sqoop import --connect jdbc:mysql://localhost:3306/gdcmxy --username root --password root --table 2019bigdata --fields-terminated-by '\t' --delete-target-dir --num-mappers 1 --hive-import --hive-database gdcmxy --hive-table 2019bigdataError:
2021-11-09 17:27:37
1844
原创 jinja2.exceptions.UndefinedError: ‘form‘ is undefined
问题jinja2.exceptions.UndefinedError: ‘form‘ is undefined这是因为jinja2模板与其他模板语法冲突解决方法把jinja2模板语法改掉app.jinja_env.variable_start_string = '{['app.jinja_env.variable_end_string = ']}'
2021-08-05 22:55:58
1613
原创 js防抖函数
实现function handle(data) { console.log('防抖：',data); } var canRun = true; function throttle(data,delay) { // 通过闭包保存一个标记 return function () { // 在函数开头判断标记是否为true，不为true则return if (!canRun) {
2021-08-02 10:42:52
262
原创 mysql导入报错 [Err] 1273 - Unknown collation: ‘utf8mb4_0900_ai_ci‘
本地数据库导入服务器数据库报错[Err] 1273 - Unknown collation: ‘utf8mb4_0900_ai_ci’问题判断：编码格式出问题解决方法把sql文件里面utf8mb4_0900_ai_ci替换成utf8mb4_general_ci就好了
2021-07-06 11:38:44
116
原创 网络安全比赛学习记录
2021.04.31sql过滤注入主要考察/**/替换空格，union联接查询，以及对参数的了解主要考察union过滤，可以换成大写或者使用\x74十六进制原理
2021-04-30 21:17:46
170
1
原创 启动HBase正常,但进入shell界面后hmaster挂掉
问题报错解决方法单独再启动hmasterbin/hbase-daemon.sh start master
2021-04-23 16:11:24
859
原创 启动hadoop互信无效
问题描述启动hadoop互信无效解决方法hadoop单点启动编写脚本cd 到hadoop目录vim start.sh脚本 echo "=========启动hadoop集群=========" ./sbin/hadoop-daemon.sh start namenode >/dev/null 2>&1 ./sbin/hadoop-daemon.sh start datanode >/dev/null 2>&
2021-04-23 16:08:56
116
原创 Hbase2.2.2版本启动HRegionserver起不来
报错信息问题描述Hadoop3.1.4搭配上hbase2.2.2，Hbase2.2.2版本启动HRegionserver起不来解决方案做FQDN映射首先修改hosts文件vim /etc/hosts再设置一下主机名vim /etc/hostname测试输入hostname -F应该出现映射域名参考链接：https://www.docin.com/p-236414473.html...
2021-04-22 16:58:11
193
原创 jps不正常显示
错误3211 -- process information unavailable解决办法删除该文件夹rm -rf /tmp/hsperfdata_root
2021-04-14 15:30:35
113
hadoop单点配置
2020-10-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人