<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[大壮的博客]]></title><description><![CDATA[项目工作记录]]></description><link>https://blog.youkuaiyun.com/qq_33792843</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; qq_33792843]]></copyright><item><title><![CDATA[fatal: not in a git directory Error: Command failed with exit 128: git]]></title><link>https://blog.youkuaiyun.com/qq_33792843/article/details/128863401</link><guid>https://blog.youkuaiyun.com/qq_33792843/article/details/128863401</guid><author>qq_33792843</author><pubDate>Fri, 03 Feb 2023 11:23:57 +0800</pubDate><description><![CDATA[brew 装redis报错：==>==>==>==>Fetching==>==>==>==>==>解决办法：既可。]]></description><category></category></item><item><title><![CDATA[【Hive实用问题】行列转行、排序]]></title><link>https://blog.youkuaiyun.com/qq_33792843/article/details/115457692</link><guid>https://blog.youkuaiyun.com/qq_33792843/article/details/115457692</guid><author>qq_33792843</author><pubDate>Tue, 06 Apr 2021 15:09:56 +0800</pubDate><description><![CDATA[行列转行、排序



目前工作中因为编码风格的习惯，产生了部分需要适应的hive关键字，这里查阅了人民邮电出版社的《Hive编程指南》一书，同时做出一些介绍和总结，以备温故而知新。

一，行列转换

collect_ws
collect_set
collect_list

collect_set去除重复元素；collect_list不去除重复元素

+------+------------------------------...]]></description><category></category></item><item><title><![CDATA[【HBase数据开发】最新centos安装python3X做数据分析]]></title><link>https://blog.youkuaiyun.com/qq_33792843/article/details/107972992</link><guid>https://blog.youkuaiyun.com/qq_33792843/article/details/107972992</guid><author>qq_33792843</author><pubDate>Thu, 13 Aug 2020 10:06:04 +0800</pubDate><description><![CDATA[Linux下安装Python3

在Linux系统中，一般都自带Python，不过Linux下自带Python大都是 2.x版本，如果我们想要使用python3的话，最好是再重新装一个Python3的环境，让python2和python3共存。

注意：最好不要删除自带的python2，因为可能有其他地方依赖python2，直接删掉的可能会导致其他的问题。





下载python3安装包


本次我们要安装的是 Python 3.6.8，可以在 windows 下载好上传到 Linux服务器，也可以..]]></description><category></category></item><item><title><![CDATA[【HBase数据开发】解决Python类库Happyhbase读取数据中文乱码问题]]></title><link>https://blog.youkuaiyun.com/qq_33792843/article/details/107843382</link><guid>https://blog.youkuaiyun.com/qq_33792843/article/details/107843382</guid><author>qq_33792843</author><pubDate>Thu, 06 Aug 2020 18:18:14 +0800</pubDate><description><![CDATA[首先说问题，我们遇到如下问题，python上传csv数据到hbase，用java读取没问题，但是使用python会遇到乱码问题。

以下是贴图：





这种就很讨厌，所以，来说解决办法：


data = str(value).encode().decode('unicode-escape').encode('raw_unicode_escape').decode()
print (key, str(data))









ok，搞定了






...]]></description><category></category></item><item><title><![CDATA[【HBase数据开发】集群搭建NameNode未格式化]]></title><link>https://blog.youkuaiyun.com/qq_33792843/article/details/107507047</link><guid>https://blog.youkuaiyun.com/qq_33792843/article/details/107507047</guid><author>qq_33792843</author><pubDate>Wed, 22 Jul 2020 10:49:55 +0800</pubDate><description><![CDATA[1.报错如下


Encountered exception loading fsimage
java.io.IOException: NameNode is not formatted.


上午10点28:19.302分	WARN	FSNamesystem	
Encountered exception loading fsimage
java.io.IOException: NameNode is not formatted.
	at org.apache.hadoop.hdfs.server.name]]></description><category></category></item><item><title><![CDATA[【HBase数据开发】zookeeper启动不了]]></title><link>https://blog.youkuaiyun.com/qq_33792843/article/details/107506702</link><guid>https://blog.youkuaiyun.com/qq_33792843/article/details/107506702</guid><author>qq_33792843</author><pubDate>Wed, 22 Jul 2020 10:32:53 +0800</pubDate><description><![CDATA[权限不够

Invalid config, exiting abnormally

service/zookeeper/zkserver.sh: line


Severe unrecoverable error, exiting
java.io.FileNotFoundException: /var/lib/zookeeper/version-2/snapshot.0 (Permission denied)

等等问题，见招拆招好了。

看下报错日志






XX:OnOutOfMemoryErr..]]></description><category></category></item><item><title><![CDATA[【HBase数据开发】开发环境CDH问题-主机运行状况不良]]></title><link>https://blog.youkuaiyun.com/qq_33792843/article/details/107504614</link><guid>https://blog.youkuaiyun.com/qq_33792843/article/details/107504614</guid><author>qq_33792843</author><pubDate>Wed, 22 Jul 2020 09:33:17 +0800</pubDate><description><![CDATA[现象就是晚上来了，发现抛了一个异常，主机运行状况不佳。







删除agent目录下面的cm_guid文件，并重启失败节点的agent服务恢复。

cm_guid文件的内容大概是uuid，用于唯一标示agent隶属于哪一个server。

如图cd到每台主机的目录/var/lib/cloudera-scm-agent下，把cm_guid文件 删除。然后重启代理服务节点

命令： service cloudera-scm-agent restart


重启之后即可：








...]]></description><category></category></item><item><title><![CDATA[【HBase数据开发】数据挖掘项目基石——hbase调研与集成]]></title><link>https://blog.youkuaiyun.com/qq_33792843/article/details/107384689</link><guid>https://blog.youkuaiyun.com/qq_33792843/article/details/107384689</guid><author>qq_33792843</author><pubDate>Fri, 17 Jul 2020 17:33:43 +0800</pubDate><description><![CDATA[一、背景

随着公司业务规模的扩大，需求的不断提升，数据量级也在不停的增长，公司其他兄弟部门也需要越来越多的数据需求。为此，我们部门有如下任务需要完成：

1.找到客户尽量多的数据，多维度分析客户，为客户建立合理的准确的数据标签

2.涉及到合法采集数据的爬虫开发，这个交给算法工程师，用python爬下来，处理一下就行了，并不用我们出马。

3.由于爬取数据格式比较混乱，所以这里计划存储到hbase中，后续由应用开发人员自行处理。

4.相当一部分业务数据，量级已经超过10亿级别，需要后续计划存储到hbas]]></description><category></category></item><item><title><![CDATA[【个人springboot项目】打包部署]]></title><link>https://blog.youkuaiyun.com/qq_33792843/article/details/106661283</link><guid>https://blog.youkuaiyun.com/qq_33792843/article/details/106661283</guid><author>qq_33792843</author><pubDate>Wed, 10 Jun 2020 13:31:11 +0800</pubDate><description><![CDATA[1.jdk不说了，网上一大堆

2.mysql安装稍微说一下


wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm

yum -y install mysql57-community-release-el7-10.noarch.rpm

yum -y install mysql-community-server

systemctl start  mysqld.service

systemctl ]]></description><category></category></item><item><title><![CDATA[【个人springboot项目】Spring Boot替换启动Logo、替换浏览器logo]]></title><link>https://blog.youkuaiyun.com/qq_33792843/article/details/106643093</link><guid>https://blog.youkuaiyun.com/qq_33792843/article/details/106643093</guid><author>qq_33792843</author><pubDate>Tue, 09 Jun 2020 16:35:56 +0800</pubDate><description><![CDATA[Spring Boot替换启动Logo

1.在src/main/resources下新建一个banner.txt





2.打开网站http://patorjk.com/software/taag 生成想要的Logo





成功。



替换浏览器logo



我使用的是这个网站：

http://www.uugai.com/



然后呢得到了png文件。

去这个网站那ico文件

https://tool.lu/favicon/



把这个ico文件放到src/main/re...]]></description><category></category></item><item><title><![CDATA[【sparkstreaming写hdfs调研】调研将kafka消息，从sparkstreaming写入hdfs]]></title><link>https://blog.youkuaiyun.com/qq_33792843/article/details/106474634</link><guid>https://blog.youkuaiyun.com/qq_33792843/article/details/106474634</guid><author>qq_33792843</author><pubDate>Mon, 01 Jun 2020 17:09:14 +0800</pubDate><description><![CDATA[rdd.saveAsTextFile("hdfs://pro-app-175:9000/user/hadoop/spark/data")



Protocol message end-group tag did not match expected tag





显然是我端口弄错了，所以，改成8020即可。

rdd.saveAsTextFile("hdfs://pro-app-175:8020/user/hadoop/spark/data")



这里我们想将来hive可用，所以，...]]></description><category></category></item><item><title><![CDATA[【maxwell】企业级生产maxwell配置与排坑指南]]></title><link>https://blog.youkuaiyun.com/qq_33792843/article/details/106426746</link><guid>https://blog.youkuaiyun.com/qq_33792843/article/details/106426746</guid><author>qq_33792843</author><pubDate>Fri, 29 May 2020 16:02:32 +0800</pubDate><description><![CDATA[本篇不讨论 canal和maxwell的区别，github上面可以看到源码，并且查看项目的基本背景。



首先说报错吧，第一次遇到权限不够的情况：无法找到某某某不用的数据库



这是因为maxwell给予binlog级别，且需要采集mysql实例创建maxwell数据库，所以，需要有全库的 *.* 赋权





其次是及时全库表可读，也会需要   one of super replication

这里要注意，super肯定是不能给的。可以赋 replication权限



然...]]></description><category></category></item><item><title><![CDATA[【kafka】企业级kafka实操]]></title><link>https://blog.youkuaiyun.com/qq_33792843/article/details/106403270</link><guid>https://blog.youkuaiyun.com/qq_33792843/article/details/106403270</guid><author>qq_33792843</author><pubDate>Thu, 28 May 2020 17:09:50 +0800</pubDate><description><![CDATA[kafka实际操作管理



1.查看topic

kafka-topics --list --zookeeper pro-app-175:2181



2.kafka帮助

kafka-topics--help







3.demo创建topic


kafka-topics --create --zookeeper pro-app-175:2181 --replication-factor 2 --partitions 6 --topic log_monitor







...]]></description><category></category></item><item><title><![CDATA[【温故而知新】Java：类加载过程、类加载时机、类加载器、类加载机制理解]]></title><link>https://blog.youkuaiyun.com/qq_33792843/article/details/105816263</link><guid>https://blog.youkuaiyun.com/qq_33792843/article/details/105816263</guid><author>qq_33792843</author><pubDate>Tue, 28 Apr 2020 16:42:20 +0800</pubDate><description><![CDATA[一、类加载过程

加载
			链接
			
		
			验证
			
		
			准备
			
		
			解析
			初始化
		1.加载

加载是指，将类的class文件，读入到内存，并为其创建java.lang.Class文件

本地文件系统加载class文件——绝大部分的示例代码
	jar包中加载——例如jdbc
	网络加载
	java文件的动态加载
类加载器无须“首次使用”加...]]></description><category></category></item><item><title><![CDATA[【温故而知新】谈一谈volatile禁止指令重排]]></title><link>https://blog.youkuaiyun.com/qq_33792843/article/details/105794594</link><guid>https://blog.youkuaiyun.com/qq_33792843/article/details/105794594</guid><author>qq_33792843</author><pubDate>Mon, 27 Apr 2020 17:02:44 +0800</pubDate><description><![CDATA[首先，说一下，翻了一下Java编程思想，在第680页，对原子性、可变性的描述。有兴趣，可以翻一番 thinking in Java

做了以下总结：

1、volatile概念

  volatile是java虚拟机提供的轻量级同步机制

  volatile三个特性：

保证可见性
	不保证原子性
	禁止指令重排


2、volatile禁止指令重排


（1）指令重排有序性：


计...]]></description><category></category></item><item><title><![CDATA[【温故而知新】多线程基本知识]]></title><link>https://blog.youkuaiyun.com/qq_33792843/article/details/105793111</link><guid>https://blog.youkuaiyun.com/qq_33792843/article/details/105793111</guid><author>qq_33792843</author><pubDate>Mon, 27 Apr 2020 16:36:48 +0800</pubDate><description><![CDATA[多线程面试47题



1、并发编程三要素？

1）原子性

原子性指的是一个或者多个操作，要么全部执行并且在执行的过程中不被其他操作打断，要么就全部都不执行。

2）可见性

可见性指多个线程操作一个共享变量时，其中一个线程对变量进行修改后，其他线程可以立即看到修改的结果。

3）有序性

有序性，即程序的执行顺序按照代码的先后顺序来执行。

2、实现可见性的方法有哪些？

synchroni...]]></description><category></category></item><item><title><![CDATA[【温故而知新】synchronized与lock的区别]]></title><link>https://blog.youkuaiyun.com/qq_33792843/article/details/105784445</link><guid>https://blog.youkuaiyun.com/qq_33792843/article/details/105784445</guid><author>qq_33792843</author><pubDate>Mon, 27 Apr 2020 10:26:17 +0800</pubDate><description><![CDATA[1、线程与进程：

一个程序最少需要一个进程，而一个进程最少需要一个线程

线程是程序执行流的最小单位，而进程是系统进行资源分配和调度的一个独立单位

2、Thread的几个重要方法：

我们先了解一下Thread的几个重要方法。

a、start()方法，调用该方法开始执行该线程；

b、stop()方法，调用该方法强制结束该线程执行；

c、join方法，调用该方法等待该线程结束。

d、sl...]]></description><category></category></item><item><title><![CDATA[【足球分队代码】分享一个自己写的足球分组代码]]></title><link>https://blog.youkuaiyun.com/qq_33792843/article/details/105775254</link><guid>https://blog.youkuaiyun.com/qq_33792843/article/details/105775254</guid><author>qq_33792843</author><pubDate>Sun, 26 Apr 2020 19:20:30 +0800</pubDate><description><![CDATA[有时候，大家报名，用一个格式报名，对不拉。





然后这里面队伍，大家实力有高有低，个么都想和厉害的一起，咋办呢？

交给随机分组程序来吧。

分享我写的。


# -*- coding: utf-8 -*-

import random



if __name__ == "__main__":
    print("--------")
    # group =4

    allSo...]]></description><category></category></item><item><title><![CDATA[【温故而知新】Jvm与gc深入理解]]></title><link>https://blog.youkuaiyun.com/qq_33792843/article/details/105769312</link><guid>https://blog.youkuaiyun.com/qq_33792843/article/details/105769312</guid><author>qq_33792843</author><pubDate>Sun, 26 Apr 2020 16:03:02 +0800</pubDate><description><![CDATA[学习了很久，作出以下总结，来温故而知新

一、Jvm内存模型规范（jmm）

1.cpu、高速缓存、主内存

cpu读写磁盘速度较慢。

cup读写朱内存速度目前也有瓶颈。

cpu读写告诉缓存目前最快。



但是遇到一个问题，就是高速缓存的一致性问题。

各个高速缓存与朱内存都存在可见性、一致性问题。



2.内存屏障——volatile 关键字

作用：（1）阻止屏障两侧的指令重排序——...]]></description><category></category></item><item><title><![CDATA[【sqoop隐藏bug】sqoop从mysql导到hive时tinyint(1)格式自动变成Boolean解决方案]]></title><link>https://blog.youkuaiyun.com/qq_33792843/article/details/105690660</link><guid>https://blog.youkuaiyun.com/qq_33792843/article/details/105690660</guid><author>qq_33792843</author><pubDate>Wed, 22 Apr 2020 19:24:21 +0800</pubDate><description><![CDATA[官网原文：

27.2.5. MySQL: Import of TINYINT(1) from MySQL behaves strangely
Problem: Sqoop is treating TINYINT(1) columns as booleans, which is for example causing issues with HIVE import. This is because...]]></description><category></category></item></channel></rss>