
大数据技术
daydayup-2016
我就是我,不一样的烟火
展开
-
【大数据技术】换新电脑了,如何快速迁移MySQL到新电脑上(含程序+数据),这样既快速又高效,省去了“各种安装+各种配置+各种迁移数据”带来的麻烦和时间
只要原电脑上是用解压版安装的MySQL,配置文件,数据等都配置在MySQL安装目录下,正常使用的MySQL,在迁移至新电脑时,可使用我这种方法实现快速迁移快速使用重点步骤:1.在新电脑上将复制包的路径添加到环境变量path里;2.在新电脑上安装mysql服务 (mysqld --install )这样既快速又高效,省去了“各种安装+各种配置+各种迁移数据”带来的麻烦和时间。原创 2024-07-10 15:36:37 · 2099 阅读 · 0 评论 -
【大数据技术】记一次MySQL启动失败,[ERROR] [MY-010958] [Server] I/O error reading the header from the binary log.
在使用清理工具清理电脑的时候,把binlog误删,大家以后也要多注意,[ERROR] [MY-010958] [Server] I/O error reading the header from the binary log.原创 2024-04-13 11:17:19 · 1305 阅读 · 2 评论 -
【大数据技术】记一次大数据事故@用了很久的虚拟机环境突然不能联网了
记一次大数据事故@用了很久的虚拟机环境突然不能联网了原创 2023-11-02 00:45:47 · 264 阅读 · 0 评论 -
spark2.4.5 连接hive3.1.2失败报错ERROR BoneCP: Failed to acquire connection to jdbc:mysql://node1:3306/hive
ERROR BoneCP: Failed to acquire connection to jdbc:mysql://node1:3306/hivemeta?createDatabaseIfNotExist=true&useSSL=false&useUnicode=true&characterEncoding=UTF-8. Sleeping for 7000 ms. Attempts left: 5java.sql.SQLException: No suitable driver found for原创 2023-07-13 00:25:41 · 545 阅读 · 3 评论 -
【大数据技术】hive 窗口函数sum range between的详细介绍
【大数据技术】hive 窗口函数sum range between的详细介绍原创 2023-07-06 15:32:43 · 822 阅读 · 0 评论 -
spark连接MySQL8报错The server time zone value ‘�й���ʱ��‘ is > unrecognized or represents more than one
根据报错信息,确定为timezone引起的问题,经查询及百度搜索知在jdbc版本高于6时,须加上serverTimezone参数,用以设置时区。在spark环境连接MySQL读取数据时发现正确配置用户名密码后,依然报错。spark 为2.4.5。原创 2023-06-28 22:20:22 · 304 阅读 · 0 评论 -
spark代码,诡异的现象
用以前学习用而搭建的local模式spark环境,运行以下代码,则报错,而我很久之前,很清楚的记得这样跑是没有问题的,明明这样写是可以正确读取本地文件的。原创 2023-06-24 01:32:01 · 115 阅读 · 0 评论 -
【MySQL】what,mysql8组合索引不满足最左原则也走索引?有点奇怪
【MySQL】what,mysql8组合索引不满足最左原则也走索引?有点奇怪原创 2022-09-19 16:42:44 · 977 阅读 · 0 评论 -
【大数据技术】搭好的集群使用Spark-SQL连接Hive后,无法再次正常使用hive查询数据
【大数据技术】搭好的集群使用Spark-SQL连接Hive后,无法再次正常使用hive查询数据原创 2022-08-27 00:49:47 · 1274 阅读 · 0 评论 -
【大数据技术】记一次spark连接MySQL读数据失败的排查,显示“No suitable driver”,但实际是driver已经配置好了
显示“No suitable driver”,但实际是driver已经配置好了原创 2022-08-15 14:57:14 · 1422 阅读 · 0 评论 -
【大数据技术】Spark-SQL如何连接MySQL并进行读写数据
【大数据技术】spark SQL如何连接MySQL并读取数据原创 2022-08-13 16:50:37 · 3194 阅读 · 3 评论 -
【大数据技术】表连接的三种join方式详解 hash join、merge join、nested loop
【大数据技术】表连接的三种join方式详解 hash join、merge join、nested loop原创 2022-08-11 00:34:28 · 679 阅读 · 0 评论 -
【大数据技术】AB球队得分流水表,得到连续三次得分的队员名字---某大厂面试题
【大数据技术】AB球队得分流水表,得到连续三次得分的队员名字---某大厂面试题原创 2022-08-06 19:28:01 · 354 阅读 · 0 评论 -
【大数据技术】多维分析,grouping set的用法及案例详细解析,数据分析师利器
【大数据技术】多维分析,grouping set的用法及案例详细解析,数据分析师利器原创 2022-08-05 12:08:37 · 517 阅读 · 0 评论 -
【大数据技术】trans_array的用法及示例详解
【大数据技术】trans_array的用法及示例详解,神器原创 2022-08-05 00:11:23 · 2468 阅读 · 0 评论 -
【大数据技术】hive 跑mapreduce报错
【大数据技术】hive 跑mapreduce报错原创 2022-08-04 21:57:41 · 405 阅读 · 0 评论 -
mysql按某字段的具体内容指定顺序排序
mysql按某字段的具体内容指定顺序排序原创 2020-07-13 20:12:17 · 1287 阅读 · 0 评论 -
【大数据技术】!重要!MySQL里按某字段指定内容顺序排序的几种实现方法
【大数据技术】!重要!MySQL里按某字段指定内容顺序排序的几种实现方法原创 2022-08-03 23:42:59 · 2603 阅读 · 0 评论 -
【大数据技术】!重要#易错!Hive窗口函数里rows between与range between的区别及详细解析
【大数据技术】Hive窗口函数里rows between与range between的区别及详细解析,重要,且易错原创 2022-08-03 17:53:10 · 1142 阅读 · 0 评论 -
【大数据技术】hdfs通过网页端不能删除文件时的解决方法
【大数据技术】hdfs通过网页端不能删除文件时的解决方法原创 2022-07-30 17:04:40 · 1857 阅读 · 0 评论 -
【大数据技术】centos7下配置hive连接mysql,mysql-connector-java-8.0.26-1.el7.noarch.
【大数据技术】centos7下配置hive连接mysql,mysql-connector-java-8.0.26-1.el7.noarch.原创 2022-07-29 18:33:42 · 1168 阅读 · 0 评论 -
【大数据技术】Hive 侧视图lateral view的几种写法分享
【大数据技术】Hive 侧视图lateral view的几种写法分享原创 2022-07-29 00:39:57 · 608 阅读 · 0 评论 -
【大数据技术】本质原因之Hive分区表插入数据报错Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask
【大数据技术】分区表插入数据报错:Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Except1、分区表的分区字段内容里最好不用中文;2、若出现上述报错,可考虑修改元数据保存格式问题,我的元数据保存在mysql里,可尝试修改mysql里Metastroe所在库的字符编码(目前正研究中) ;.........原创 2022-07-28 12:35:49 · 2725 阅读 · 0 评论 -
【大数据技术】hive里求每个班的最高成绩但又需要所有字段时的新解法
【大数据技术】hive里求每个班的最高成绩但又需要所有字段时的新解法,真的不错,神器原创 2022-07-28 00:54:20 · 515 阅读 · 0 评论 -
【大数据技术】hive中cluster by(clustered by)在建表时使用与在sql中使用的区别及对结果的影响(很细微)
【大数据技术】hive中cluster by(clustered by)在建表时使用与在sql中使用的区别及对结果的影响(很细微)原创 2022-07-26 11:50:37 · 2250 阅读 · 0 评论 -
【大数据技术】!注意!hive2和hive3 在使用insert overwrite是只会覆盖到它会写数据的分区,对于其他分区不会有任何影响
【大数据技术】!注意!hive2和hive3 在使用insert overwrite是只会覆盖到它会写数据的分区,对于其他分区不会有任何影响原创 2022-07-25 19:07:54 · 2587 阅读 · 0 评论 -
【大数据技术】hive3建表时报错ParseException line 11:0 missing EOF at ‘comment‘ near ‘‘/xxx‘‘经检查是因为语句顺序不当引起的
【大数据技术】hive3建表是报错ParseException line 11:0 missing EOF at 'comment' near ''/xxx''经检查是因为语句顺序不当引起的,hive建表要按正确的关键字顺序才能建表成功原创 2022-07-25 13:25:14 · 4610 阅读 · 0 评论 -
【大数据技术】!重要! /etc/my.cnf通过notepad++插件进行远程编辑从而保存成了windows格式导致初始化成功后不能成功启动
【大数据技术】/etc/my.cnf通过notepad++插件进行远程编辑从而保存成了windows格式导致初始化成功后不能成功启动原创 2022-07-23 22:26:09 · 311 阅读 · 0 评论 -
【大数据技术】Hadoop3.1.3在网页端上传文件失败的解决方法
【大数据技术】Hadoop3.1.3在网页端上传文件失败的解决方法原创 2022-07-22 19:27:39 · 945 阅读 · 1 评论 -
解答一直以来的疑问: 实用Linux (centos 7)经常会遇到一下,但是一直不太明白是啥意义
解答一直以来的疑问:实用Linux (centos 7)经常会遇到一下,但是一直不太明白是啥意义原创 2022-07-22 17:53:53 · 97 阅读 · 0 评论 -
【postgresql】postgresql round()函数详解
实际日常开发工作中,时时需要按指定格式保留小数位,但有时极易出错,现将使用round函数时的细微差异总结如下:结果可仔细观察代码细微不同所带来的结果不同,在实际开发工作中根据自己需要合理使用round()函数............原创 2022-06-08 16:30:45 · 5084 阅读 · 0 评论 -
【postgresql】几个系统未自带,但经常需要用的自定义函数
postgresql 自定义函数 验证手机号、验证18位身份证号码CREATE OR REPLACE FUNCTION “public”.“check_idcard”(“a_sfz” varchar)RETURNS “pg_catalog”.“bool” AS原创 2022-05-27 23:34:17 · 436 阅读 · 0 评论 -
【大数据技术】大数据技术之数仓宽表和窄表的区别
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键一级目录二级目录三级目录合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如原创 2022-05-05 23:36:05 · 3019 阅读 · 0 评论 -
【postgresql】数据类型bpchar,varchar,char,text之间的区别与联系
bpchar,varchar,char的区别与联系原创 2022-05-12 16:10:13 · 12840 阅读 · 4 评论 -
【postgresql利器】upsert语句的使用,插入更新(insert on conflict do)
postgresql upsert语句的写法原创 2022-04-23 22:06:09 · 1987 阅读 · 1 评论 -
【大数据技术】Hadoop集群分发脚本,还是比较巧妙,可以配置环境变量PATH,让其在任意路径都可执行
【大数据技术】Hadoop集群分发脚本,还是比较巧妙,可以配置环境变量PATH,让其在任意路径都可执行将以上内容保存成xrync.sh,就可以实现集群内一台改动,所有机器全部更新!3、配置脚本所在路径到环境变量PATH后,可在任意路径执行,会更加方便。2、赋予权限chmod777xrync.sh。Note1、记得保存成Unix格式,否则执行出错。...原创 2021-08-03 13:31:01 · 376 阅读 · 1 评论 -
【大数据技术】多台机器配置ssh免密登录的最快捷最不易出错的方法
重点理解之处:A想登录B,就把A上生成的公钥发送到B上A将公钥发给B,不是B可以访问A,而是A可以访问B,所以任何一台机器想要能访问其他机器,那么就把自己的公钥内容发送到别的机器的authorized_keys中去,记住,是追加,不是覆盖在操作过程中,千万不要真的用copy,或是scp发送,这样会对自己机器或者对方机器的原有配置造成覆盖或是丢失,总之会破会两台机器的原有配置,风险太大!按如下方法既安全又操作简单,不易出错,最重要的是不对两台机器的原有配置带来任何的破环具体如下:&g原创 2021-08-03 16:30:55 · 1379 阅读 · 3 评论 -
【大数据技术】我所理解的大数据,数据仓库
很多朋友对大数据开发工程师,BI工程师,数据仓库工程师,数据分析工程师等定位不是很清晰,从网络上找了一张图,觉得不错,希望能解开各位朋友的疑惑!原创 2021-06-14 01:01:53 · 262 阅读 · 1 评论 -
记一次搭建Hbase伪分布式环境时遇到的坑,大坑,出现“ERROR: KeeperErrorCode = NoNode for /hbase/master”
环境:ubuntu1804,hadoop2.7.7,hbase2.1.1在参考网上的步骤配置好环境变量HBASE_HOME,PATH2.原创 2021-06-12 21:35:14 · 6691 阅读 · 7 评论 -
【大数据技术】#实战分析#hive 跑任务时出现的问题,一直困扰我啊,其实数据量很小,也根本不会出现数据倾斜
大家好,如下图,我用hive跑分桶表时出现一下错误,reduce跑到100%时又回退了,真的不知啥情况了,求助各位了原创 2020-07-02 21:07:03 · 799 阅读 · 2 评论