<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[data2tech的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/data2tech</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; data2tech]]></copyright><item><title><![CDATA[免费OCR图片文字识别小工具，一键提取图片中文字，支持多语言翻译和发票识别]]></title><link>https://blog.youkuaiyun.com/data2tech/article/details/122454738</link><guid>https://blog.youkuaiyun.com/data2tech/article/details/122454738</guid><author>data2tech</author><pubDate>Wed, 12 Jan 2022 15:36:29 +0800</pubDate><description><![CDATA[最近用周末和下班后的时间，开发了一款图片文字识别的小程序（ 扫描识字宝 ），可以直接拍照或者扫描识别图片上的文字，并支持提取成文档。还加上了图片翻译功能，支持图片上文字提取后翻译成多国语言。也加入了增值税发票的识别功能，未来考虑加入更多其他种类票据的识别功能。我将坚持这个小程序的免费使用，并根据用户的需求不断迭代优化功能，未来会把更多省时省力的小工具加进来，给大家办公带来方便。感兴趣的可以微信扫一扫或者搜一搜（扫描识字宝）试用一下。

以下是我使用过程中的小程序截图：





...]]></description><category></category></item><item><title><![CDATA[证件照换底色很简单，不用PS不用跑照相馆，支持渐变色背景，超级实用！]]></title><link>https://blog.youkuaiyun.com/data2tech/article/details/119522286</link><guid>https://blog.youkuaiyun.com/data2tech/article/details/119522286</guid><author>data2tech</author><pubDate>Mon, 09 Aug 2021 19:49:08 +0800</pubDate><description><![CDATA[手把手教你如何快速地给证件照换背景，一个手机几分钟时间就能搞定，而且免费哦~~

证件照换底色步骤如下：
1、微信搜索小程序【免冠照助手】，或者直接扫下面的小程序二维码。
2、找到自己需要的规格尺寸，选择“开始拍摄”或者“相册选择”。
3、等待小程序抠图完成后，根据自己需要选择蓝底、红底、白底、渐变蓝、渐变灰等底色背景。
4、点击“下载照片”，就制作完成了。
是不是非常简单，我试用了一下，是完全免费的，非常方便呢，大家可以试试哦。

以下是我使用过程中的小程序截图





...]]></description><category></category></item><item><title><![CDATA[ORC文件存储格式和Hive创建ORC表]]></title><link>https://blog.youkuaiyun.com/data2tech/article/details/119341929</link><guid>https://blog.youkuaiyun.com/data2tech/article/details/119341929</guid><author>data2tech</author><pubDate>Tue, 03 Aug 2021 08:40:24 +0800</pubDate><description><![CDATA[首发于： https://www.jwldata.com/archives/134.html
ORC的优点
The Optimized Row Columnar (ORC) file format provides a highly efficient way to store Hive data. It was designed to overcome limitations of the other Hive file formats. Using ORC files improves performa]]></description><category></category></item><item><title><![CDATA[真正免费的证件照小程序，在线一键生成标准免冠证件照，证件照底色更换，证件照尺寸修改]]></title><link>https://blog.youkuaiyun.com/data2tech/article/details/119182701</link><guid>https://blog.youkuaiyun.com/data2tech/article/details/119182701</guid><author>data2tech</author><pubDate>Wed, 28 Jul 2021 16:03:21 +0800</pubDate><description><![CDATA[我们经常在一些职业资格考试、学历考试、求职网申时需要上传免冠证件照，但往往不同的考试需要的背景颜色、规格尺寸等都不一样，而线下跑到照相馆重新拍照或者修图，又费钱又费精力。

今天给大家推荐一款微信小程序“免冠照助手”，能在线一键生成标准免冠证件照，支持多种规格尺寸证件照制作，还能自定义像素尺寸，支持给证件照换底色，证件照尺寸修改等。并且，试用了一下，是真正免费的，只需要用微信扫一扫就能使用了，非常方便，大家可以试试。

以下是我使用过程中的小程序截图





...]]></description><category></category></item><item><title><![CDATA[百度AI开放平台人体分析_人像分割的Python示例代码]]></title><link>https://blog.youkuaiyun.com/data2tech/article/details/117668175</link><guid>https://blog.youkuaiyun.com/data2tech/article/details/117668175</guid><author>data2tech</author><pubDate>Mon, 07 Jun 2021 17:08:19 +0800</pubDate><description><![CDATA[人像分割有些API需要用到opencv处理返回结果。
https://pypi.org/project/opencv-python
pip install requests
pip install numpy
pip install opencv-python

centos7上在用pip安装opencv-python后在进入python交互终端中导入cv2时有如下报错
from .cv2 import * Impor]]></description><category></category></item><item><title><![CDATA[CDH上HDFS配置HA后ZooKeeper无法访问hadoop-ha]]></title><link>https://blog.youkuaiyun.com/data2tech/article/details/117667732</link><guid>https://blog.youkuaiyun.com/data2tech/article/details/117667732</guid><author>data2tech</author><pubDate>Mon, 07 Jun 2021 17:00:01 +0800</pubDate><description><![CDATA[当HDFS配置了NameNode HA后，通过zookeeper-client访问ZooKeeper的/hadoop-ha/nameservice1/ActiveStandbyElectorLock会报错。

报错信息：
[root@ctkf01 ~]# zookeeper-client
[zk: localhost:2181(CONNECTED) 3] ls /hadoop-ha/nameservice1/Act.]]></description><category></category></item><item><title><![CDATA[百度AI鉴权认证_获取token的Python示例代码]]></title><link>https://blog.youkuaiyun.com/data2tech/article/details/117319035</link><guid>https://blog.youkuaiyun.com/data2tech/article/details/117319035</guid><author>data2tech</author><pubDate>Thu, 27 May 2021 08:49:58 +0800</pubDate><description><![CDATA[百度AIP开放平台使用OAuth2.0授权调用开放API，调用API时必须在URL中带上access_token参数，获取Access Token的流程如下：

# encoding:utf-8
 
import requests
 
'''
百度AI鉴权认证机制
https://ai.baidu.com/ai-doc/REFERENCE/Ck3dwjhhu
'''
 
request_url = "https://a]]></description><category></category></item><item><title><![CDATA[CDH上再安装其他版本的Spark客户端]]></title><link>https://blog.youkuaiyun.com/data2tech/article/details/117283334</link><guid>https://blog.youkuaiyun.com/data2tech/article/details/117283334</guid><author>data2tech</author><pubDate>Wed, 26 May 2021 10:40:51 +0800</pubDate><description><![CDATA[假设CDH上已经安装了Spark1.6.0和Spark2.4.0，用spark-shell和spark2-shell可以分别调用两个版本的Spark。现在需要安装第三个版本的Spark客户端，这里讲述这种场景下再安装一个1.6.3版本的Spark客户端。

场景和目标

CDH上已经安装.]]></description><category></category></item><item><title><![CDATA[HDFS SecondaryNameNode的原理和作用]]></title><link>https://blog.youkuaiyun.com/data2tech/article/details/117214395</link><guid>https://blog.youkuaiyun.com/data2tech/article/details/117214395</guid><author>data2tech</author><pubDate>Mon, 24 May 2021 08:49:48 +0800</pubDate><description><![CDATA[NameNode与fsimage、edits文件
NameNode（简称NN）负责管理和保存HDFS中所有的元数据，包括但不限于文件/目录结构、文件权限、块ID/大小/数量、副本策略等等。当NameNode在运行时，元数据都是保存在内存中，以保证响应时间。元数据同时也会持久化到磁盘，dfs.namenode.name.dir参数指定了元数据的磁盘保存路径。NameNode内部有两类文件用于持久化元数据：

fsimag]]></description><category></category></item><item><title><![CDATA[Zeppelin集成Hive的jdbc连接]]></title><link>https://blog.youkuaiyun.com/data2tech/article/details/117064753</link><guid>https://blog.youkuaiyun.com/data2tech/article/details/117064753</guid><author>data2tech</author><pubDate>Thu, 20 May 2021 10:06:44 +0800</pubDate><description><![CDATA[zeppelin集成hive，是通过继承通用jdbc解释器来实现。

创建Interpreter
选择Interpreter

选择Create，Interpreter group选择jdbc，Interpreter Name自己随便起个名。

配置Properties
注意，将jdbc:hive2://X.X.X.X:10000/default的jdbc连接串中的X.X.X.X替换成自己集群hiveserver2的.]]></description><category></category></item><item><title><![CDATA[centos下安装virtualenv和创建python虚拟环境]]></title><link>https://blog.youkuaiyun.com/data2tech/article/details/116997538</link><guid>https://blog.youkuaiyun.com/data2tech/article/details/116997538</guid><author>data2tech</author><pubDate>Tue, 18 May 2021 17:51:02 +0800</pubDate><description><![CDATA[安装virtualenv
sudo pip3 install virtualenv virtualenvwrapper

在当前用户的.bashrc中加入以下这一段
vi ~/.bashrc
 
追加以下环境变量配置
 
# virtualenv for python3
if [ -f /usr/local/Python-3.9.5/bin/virtualenvwrapper.sh ]; then
    expor]]></description><category></category></item><item><title><![CDATA[centos下python pip3配置阿里源]]></title><link>https://blog.youkuaiyun.com/data2tech/article/details/116997450</link><guid>https://blog.youkuaiyun.com/data2tech/article/details/116997450</guid><author>data2tech</author><pubDate>Tue, 18 May 2021 17:47:50 +0800</pubDate><description><![CDATA[用pip官方源，下载速度很慢，可以替换成国内源，会快很多。

更换阿里pip源
mkdir ~/.pip
touch ~/.pip/pip.conf
vi ~/.pip/pip.conf
 
修改文件内容为
 
[global]
index-url=https://mirrors.aliyun.com/pypi/simple
[install]
trusted-host=mirrors.aliyun.com

尝.]]></description><category></category></item><item><title><![CDATA[centos下安装python3]]></title><link>https://blog.youkuaiyun.com/data2tech/article/details/116997334</link><guid>https://blog.youkuaiyun.com/data2tech/article/details/116997334</guid><author>data2tech</author><pubDate>Tue, 18 May 2021 17:42:25 +0800</pubDate><description><![CDATA[安装依赖包
一次性解决python3版本中的依赖(No module)问题
yum install bzip2-devel db4-devel gdbm-devel libpcap-devel ncurses-devel openssl-devel readline-devel sqlite-devel tk-devel xz-devel zlib-devel

编译安装
下载安装包并解压
wget https://www.python.org/ftp/python/3.9.5/Python-3.9.5.t]]></description><category></category></item><item><title><![CDATA[DBeaver通过jdbc连接ClickHouse]]></title><link>https://blog.youkuaiyun.com/data2tech/article/details/116641078</link><guid>https://blog.youkuaiyun.com/data2tech/article/details/116641078</guid><author>data2tech</author><pubDate>Tue, 11 May 2021 09:30:41 +0800</pubDate><description><![CDATA[首发于： https://www.jwldata.com/archives/97.html

DBeaver是一款开源的数据库连接工具，通过配置可以很方便的通过jdbc方式连接访问ClickHouse数据库。

DBeaver下载
DBeaver官网
DBeaver Windows 64 bit (installer)下载链接
其他操作系统可以上官网找对应的下载链接。

创建新连接
DBeaver左上角点击新建连接。

搜索clickhouse。

填写自己的主机IP，用户名，密码等信息。


欢迎关注我的]]></description><category></category></item><item><title><![CDATA[搞懂HDFS体系架构这一篇就够了]]></title><link>https://blog.youkuaiyun.com/data2tech/article/details/116603525</link><guid>https://blog.youkuaiyun.com/data2tech/article/details/116603525</guid><author>data2tech</author><pubDate>Mon, 10 May 2021 17:54:05 +0800</pubDate><description><![CDATA[Hadoop Distributed File System (HDFS)是一种分布式文件系统，具有高容错性，可运行在廉价的硬件上，具有高吞吐量，特别适合存放大规模数据集。HDFS实际架构非常复杂，今天通过一篇文章来浓缩最关键的几个点，结合图和源码等理解HDFS体系架构。

系统设计目标

硬件故障
具有硬件故障检测能力，可自动快速恢复。
流式数据访问
高数据访问吞吐量，而非低延时。
大数据集
需支持大数据集，一]]></description><category></category></item><item><title><![CDATA[ClickHouse更换默认端口和绑定端口到0.0.0.0]]></title><link>https://blog.youkuaiyun.com/data2tech/article/details/116589489</link><guid>https://blog.youkuaiyun.com/data2tech/article/details/116589489</guid><author>data2tech</author><pubDate>Mon, 10 May 2021 10:40:55 +0800</pubDate><description><![CDATA[ClickHouse安装后，默认client连接端口是9000，这个端口跟CDH的cloudera manager agent的默认端口相同。且ClickHouse默认9000端口是绑定在127.0.0.1上的，无法从其他机器连接ClickHouse。


修改config.xml文件权限
chmod u+w /etc/clickhouse-server/config.xml


修改端口和绑定地址
vi /etc]]></description><category></category></item><item><title><![CDATA[单节点ClickHouse的安装]]></title><link>https://blog.youkuaiyun.com/data2tech/article/details/116588688</link><guid>https://blog.youkuaiyun.com/data2tech/article/details/116588688</guid><author>data2tech</author><pubDate>Mon, 10 May 2021 10:25:51 +0800</pubDate><description><![CDATA[单节点的ClickHouse安装非常简单方便，下面介绍在ubuntu和centos上安装单节点ClickHouse。


系统要求
查询CPU是否支持SSE 4.2指令集，一般都是支持的。
grep -q sse4_2 /proc/cpuinfo &amp;&amp; echo "SSE 4.2 supported" || echo "SSE 4.2 not supported"


安装ClickHouse
DEB包安装方式
对于Debian和Ubuntu等系统，使用DEB包安装。
sudo apt-g.]]></description><category></category></item><item><title><![CDATA[初识ClickHouse]]></title><link>https://blog.youkuaiyun.com/data2tech/article/details/114323189</link><guid>https://blog.youkuaiyun.com/data2tech/article/details/114323189</guid><author>data2tech</author><pubDate>Wed, 03 Mar 2021 16:53:41 +0800</pubDate><description><![CDATA[ClickHouse最近几年很火，几家互联网大厂都开始用上了ClickHouse，培训机构也是宣传各种概念，那么ClickHouse到底是什么，跟传统的数据库又有什么区别，下面我们介绍下ClickHouse。

什么是ClickHouse
简单一句话，ClickHouse是一种列式存储数据库管理系统，应用于OLAP场景（online analytical processing of queries）。
Hive ORC, Hive Parquet, Apache HBase, Vertica, Sybas.]]></description><category></category></item><item><title><![CDATA[hive的beeline使用]]></title><link>https://blog.youkuaiyun.com/data2tech/article/details/114280686</link><guid>https://blog.youkuaiyun.com/data2tech/article/details/114280686</guid><author>data2tech</author><pubDate>Tue, 02 Mar 2021 11:17:49 +0800</pubDate><description><![CDATA[Hive CLI是一种重客户端，在新版本中已移除，推荐使用Hive beeline客户端，可以更好地实现安全控制，下面讲讲beeline的使用。

在hive1.1.0中使用Hive CLI会提示WARNING: Hive CLI is deprecated and migration to Beeline is recommended.

无kerberos的hive
beeline
!connect jdbc:hive2://centos:10000 username password

对于没有开启.]]></description><category></category></item><item><title><![CDATA[Centos7.6配置IP重启网卡报错Failed to start LSB: Bring up/down networking]]></title><link>https://blog.youkuaiyun.com/data2tech/article/details/108774454</link><guid>https://blog.youkuaiyun.com/data2tech/article/details/108774454</guid><author>data2tech</author><pubDate>Thu, 24 Sep 2020 14:58:22 +0800</pubDate><description><![CDATA[Sep 24 13:54:48 localhost.localdomainNetworkManager[4451]: &lt;info&gt;[1600926888.0948] audit: op="connection-activate" uuid="5fb06bd0-0bb0-7ffb-45f1-d6edd65f3e03"name="eth0" result="fail" reason="No suitable devicefound for this con..]]></description><category></category></item></channel></rss>