醉无吟-优快云博客

原创 Build Error: go build -o /Users/edy/xxxxx/claim-service-go/cmd/__debug_bin3584396796 -gcflags all=-N

解决，直接终端：go clean -modcache。

2024-12-26 15:22:14 134

原创 jvm线上异常排查流程

比如：1.当元空间的大小设置达到 MetaspaceSize 阈值时，就会触发 Metadata GC Threshold GC。6.然后用 Arthas 的 classloader -a 命令直接导出元空间内加载的所有类，看看到底程序都加载了哪些类。3.jstat -gcutil pid 1000 10 每秒打印一次当前jvm的gc运行情况，一共打印10次。2. jinfo -flags pid（java运行id) 打印出当前设置的jvm内存参数情况。2.young空间太小，创建的对象太多。

2023-10-26 17:57:23 604

原创 git命令实战

将某个分支提交的commit回退到指定commit 去gitlab上面查看commit对应得id，当然你也可以用命令行 git reset --hard commitId git push -f origin 分支名称

2023-06-28 10:07:34 153

原创 iPhone手机如何将短信同步到安卓手机上

4.代开专业模式，就能查看短信模块得数据，并且到导出成 sms.db文件。3.用爱思助手查看备份数据；注：一定要用专业模式查看。5. 用在线 db文件转成csv文件格式;6.用360手机助手加载csv文件。

2023-06-07 17:01:05 4276

原创 First, rewinding head to replay your work on top of it...

First, rewinding head to replay your work on top of it...

2022-12-06 09:58:07 571

原创【转载】SQL查询的底层运行原理分析

SQL 语言无处不在。SQL 已经不仅仅是技术人员的专属技能了，似乎人人都会写SQL，就如同人人都是产品经理一样。如果你是做后台开发的，那么CRUD就是家常便饭。如果你是做数仓开发的，那么写SQL可能占据了你的大部分工作时间。我们在理解 SELECT 语法的时候，还需要了解 SELECT 执行时的底层原理。只有这样，才能让我们对 SQL 有更深刻的认识。本文分享将逐步分解SQL的执行过程，希望对你有所帮助。数据准备本文旨在说明SQL查询的执行过程，不会涉及太复杂的SQL操作，主要涉及两张表：citi

2020-10-21 16:31:16 207

转载【转载】分布式系统中的CAP理论

对于刚刚接触分布式系统的小伙伴们来说，一提起分布式系统，就感觉高大上，深不可测。而且看了很多书和视频还是一脸懵逼。这篇文章主要使用大白话的方式，带你理解一下分布式系统中的CAP理论。保证你能听懂。为了防止被误以为是洗文的嫌疑，我在这里先说明一下：我参考了知乎和博客园上等相关文章，还有下面的图不是我自己画的，我觉得能清晰地表达出意思就是好图，在百度图片上下载了一波。一、什么是分布式系统拿一个最简单的例子，就比如说我们的图书管理系统。之前的系统包含了所有的功能，比如用户注册登录、管理员功能、图书借阅

2020-10-21 15:22:12 126

原创 spark遇到的一些问题及其解决办法

1. ERROR org.apache.spark.storage.DiskBlockObjectWriter: Uncaught exception while reverting partial writes to file /home/work/hdd9/yarn/ttttt-hadoop/nodemanager/usercache/s_sales/appcache/application_1597370851926_759263/blockmgr-7aa07b85-2ee1-4b1b-9eb1-62

2020-08-21 11:36:12 14345

原创 spark dataframe设置分区数不起作用

spark项目中发现从hive读取的数据，dataframe无法进行reparation的设置，非得转成rdd才可以？？？后来经过查阅资料和测试，原来是submit中设置的参数问题：--conf spark.sql.adaptive.enabled=true 谨慎使用原因：由于spark.sql.adaptive.enabled设置成true就是开启动态分区了,自定义分区数将不管用；我们设置成 false 后自定义分区数就管用了！！！相关参数：spark.sql.adapt..

2020-07-03 10:43:36 1453

原创解决在非root账户下安装Hadoop环境免密失败问题

非root用户安装Hadoop环境，在免密的设置上有时候无效，比如出现如下：[root@vm101-138-248-149 ~]# ssh 101.138.248.149 -p 2248root@101.138.248.149's password:Permission denied, please try again.root@101.138.248.149's password:Permission denied, please try again.root@101.138.248.14

2020-05-22 17:07:42 952

原创 hive java.lang.OutOfMemoryError: Java heap space

hive 开启了hiveServer2服务，连接了一段时间就拒绝连接，hive日志报错如下：Exception in thread "org.apache.hadoop.hive.common.JvmPauseMonitor$Monitor@56b9d43f" java.lang.OutOfMemoryError: Java heap spaceException in thread "Tri...

2020-04-09 14:48:29 3640

原创 HADOOP+HIVE安装

本人单机搭建环境，以前搭完就拉到了，只是最近又搭建。。。还是有坑，觉得还是记录一下相关配置吧1.下载linux版的jdk并安装,一定选择的时候选择linux版的，不然他识别不到2.下载hadoop和hive，一定要注意版本，一般不要用最新版本，本次我用的都是3.12的版本3.配置/etc/profile# /etc/profile#jdkexport JAVA_HOME=...

2020-03-22 20:08:02 1695 1

原创 HIVE-CUSTOM 权限设置

公司对外的业务，需要再隔离机上安装Hadoop环境，同时hive来管理表，相对hvie建的表做一些简单的权限控制。hive的权限控制一般企业还是用Kerberos，跟Hadoop账户相关联；下面介绍的是一种在hive层面的控制。进入正题：首先，此方法需要自己编程，当然下面有代码，你自己新建项目。复制。打包。上传到你安装的hive根目录的lib中。 import java.io....

2020-03-22 19:38:16 2243

原创 DefaultContainerExecutor: Exception code 1

当环境搭建完成，运行hive的时候，hive命令行无法执行mapreduce,然后我就去看日志，发现hadoop的namenode的log,如下：org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor: Exception code 1............解决方式：在mapred-site....

2020-03-20 21:31:15 350

原创解决idea断点没有全部生效

有的时候我们打了断点，发现有的断点不能debug,删了在新建都不可以，我个人在spark项目中，写的一些函数，里面的断点都没运行，解决方式就是如下：将红色部分设置成如上即可。...

2020-03-04 23:16:46 3013

原创 spark操作hbase的问题汇总

1.无法访问hbase的regionservice自己就在虚拟机里搭建了Hadoop和HBase，在进行API操作连接时，出现以下错误：Exception in thread "main" org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=36, exceptions:Fri N...

2019-12-03 16:39:50 772

原创 spark-on-hive环境,hive-on-spark环境配置

spark中如果不配置hive环境是无法读取hive表数据的，如下配置：①如果你的hive元数据存在mysql，把mysql-connector-java-8.0.18.jar复制到spark的jars中②在spark的spark-env.sh中添加：export HIVE_HOME=/root/bigdata/hive-2.3.6export HIVE_CONF_DIR=${HI...

2019-11-29 18:20:53 510

原创 linux[Centos]上安装griffin(0.4)

不废话砸直接开始，想看griffin的功能和应用可以去百度，在此我们只讲安装。安装。安装。此安装的环境是在linux下面编译运行。1.griffin依赖很多组件，请一定要保证这些组件正常安装和运行，请一定要保证这些组件正常安装和运行，请一定要保证这些组件正常安装和运行。JDK 1.8 （以上） Maven Mysql 数据库（可以是 PostgreSQL ） npm nodejs...

2019-11-28 15:03:04 1255 6

原创 Exception in thread "main" MetaException(message:Version information not found in metastore. )

当你启动hive的Metastore Server 时候，报错，解决如下：在hive-site.xml中添加：<property> <name>hive.metastore.schema.verification</name> <value>false</value> <description>...

2019-11-26 16:05:00 1126

原创 Starting MySQL.. ERROR The server quit without updating PID file (localhost.localdomain.pid）

用的好好的MySQL，突然自己就崩溃了。。。重启之类的就报错：# service mysqld restartStarting MySQL.. ERROR! The server quit without updating PID file (localhost.localdomain.pid)...插入一个其他问题：bin/./mysqld_safe --defaults-fil...

2019-11-26 15:19:23 1946

原创 hive web界面无法访问问题

今天突然想访问一下hive的web界面，发现无法访问，于是进行了如下友好操作：1.hive的web访问主要是hiveserver2服务的开启，请先配置hive-size.xml <property> <name>hive.server2.thrift.port...

2019-11-19 21:08:39 2935

原创 Centos安装图形化界面

VMware安装的centos没有图像化界面。。。额，感觉当服务器用确实没用，但是我突然想用下浏览器，就试着安装了。好吧，开始正文。1.打开命令行，切换到root权限后输入：yum -y groupinstall "X Window System"2.查看自己可以安装的图形化界面输入：yum grouplist3. 安装可视化界面：yum -y g...

2019-11-19 20:42:20 491 1

原创 Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

今天运行hive shell，发现出现如下问题：解决：1.在hive的配置文件hive-site.xml添加如下配置：<property> <name>datanucleus.schema.autoCreateAll</name> <value>true</value></propert...

2019-11-19 16:47:39 124

原创 Linux安装Mysql_8.0.18

1.下载MySQL，http://dev.mysql.com/downloads/mysql/选择适合你的版本下载即可。2.将下载MySQL包上传到linux，进行解压：tar -xvf mysql.....3.移动并修改文件名: mv /bigdata/mysql-8.0.18-linux-glibc2.12-x86_64.tar /usr/local/mysql4.新...

2019-11-18 20:48:25 1961 1

原创 Problem starting AdminServer on address 0.0.0.0, port 8080 and command URL /commands

zookeeper无法启动，查看启动日志发现是端口被占用：发现8080端口被占用，通过查阅Zookeeper3.5的官方文档，发现这是Zookeeper3.5的新特性：这是Zookeeper AdminServer，默认使用8080端口，它的配置属性如下：我们可以修改在zoo.cfg中修改AdminServer的端口： 1 ad...

2019-11-18 16:46:24 4765

原创算法—堆排序

此文为转载，原文链接：https://www.jianshu.com/p/0d383d294a80--------------------------------------------------------------------------------------------------------------------------------------------------...

2019-10-15 16:12:47 178

原创 Parquet与ORC：高性能列式存储格式(收藏)

Parquet与ORC：高性能列式存储格式(收藏)背景随着大数据时代的到来，越来越多的数据流向了Hadoop生态圈，同时对于能够快速的从TB甚至PB级别的数据中获取有价值的数据对于一个产品和公司来说更加重要，在Hadoop生态圈的快速发展过程中，涌现了一批开源的数据分析引擎，例如Hive、SparkSQL、Impala、Presto等，同时也产生了多个高性能的列式存储格式，例如RCFil...

2019-10-15 16:00:59 455

原创干货丨Tachyon：Spark生态系统中的分布式内存文件系统【转载】

今天查询类似hdfs的底层分布式存储的时候，突然发现的tachyon,读完之后挺有意思的。---------------------------------------------------------------------------------------------------------------------------------------------------------...

2019-10-10 10:07:06 272

原创 Please check the config value of 'hbase.procedure.store.wal.use.hsync'

启动hbase的时候报错：java.lang.IllegalStateException: The procedure WAL relies on the ability to hsync for proper operation during component failures, but the underlying filesystem does not support doing so...

2019-09-29 11:27:02 1643

原创在hbase shell中出现error: KeeperErrorCode = NoNode for /hbase/master

搭建完集群之后，在hbase shell中查看表，出现error: KeeperErrorCode = NoNode for /hbase/master错误排除解决：1.查看jps里面的进程，hbase的HMaster和hadoop的datanode挂掉了2.查看hbase的log，信息如下：org.apache.hadoop.ipc.RemoteException(java.io.I...

2019-09-27 17:45:50 9349

原创 VM虚拟机系统时间同步网络时间(Centos)

本地虚拟机上centos系统的时间与北京时间不一致，如下命令可以直接更改：shell:ntpdate -u ntp.api.bzshell:clock -w执行完上面两步即可，命令行执行date查看当前系统时间，显示正确。注意：若不加上-u参数，会出现以下提示：no server suitable for synchronization found如果没有ntpdate命...

2019-09-27 15:43:23 2304