<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[言蹊的专栏]]></title><description><![CDATA[hello world !]]></description><link>https://blog.youkuaiyun.com/andy_wcl</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; andy_wcl]]></copyright><item><title><![CDATA[hadoop文件上传，下载]]></title><link>https://blog.youkuaiyun.com/andy_wcl/article/details/104610931</link><guid>https://blog.youkuaiyun.com/andy_wcl/article/details/104610931</guid><author>andy_wcl</author><pubDate>Mon, 02 Mar 2020 14:28:43 +0800</pubDate><description><![CDATA[上一节我们搭建好了集群，数据从哪里来呢。

通常经过是通过etl工具，如kettle,informatica等将其他系统的数据抽取成文件，然后再利用脚本调用hdfs的命令导入进hdfs集群。

还有一种方式是通过通用组件如sqoop等，今天先讲第一种方式。



HDFS 常用命令

在 Linux 命令行终端，可以使用命令行工具对 HDFS 进行操作。使用这些命令行可以完成 HDFS 文件的上...]]></description><category></category></item><item><title><![CDATA[hadoop系列——hadoop集群动态扩容、缩容]]></title><link>https://blog.youkuaiyun.com/andy_wcl/article/details/104558092</link><guid>https://blog.youkuaiyun.com/andy_wcl/article/details/104558092</guid><author>andy_wcl</author><pubDate>Mon, 02 Mar 2020 10:25:14 +0800</pubDate><description><![CDATA[动态扩容，顾名思义，就是通过增加节点实现集群服务能力的提升。是hadoop，或者说分布式集群的特性之一；

同理，部分节点可能老化，升级换代，节点需要对应的下线处理。今天就分别介绍这两部分操作：

1，动态扩容

1.1，在新增节点配置环境，可以参考Hadoop集群的搭建 里如何配置节点，步骤都是一样的，不在赘述。

1.2，在主节点修改hosts文件，增加新增节点


[hadoop@serve...]]></description><category></category></item><item><title><![CDATA[Elasticsearch系列——（1.2）倒排索引 的实现]]></title><link>https://blog.youkuaiyun.com/andy_wcl/article/details/81632216</link><guid>https://blog.youkuaiyun.com/andy_wcl/article/details/81632216</guid><author>andy_wcl</author><pubDate>Mon, 13 Aug 2018 16:27:29 +0800</pubDate><description><![CDATA[上一遍学习了倒排索引的原理，这里找到一篇文章，详细分析了倒排索引的一些实现原理，转载如下：

 

阅读目录

倒排索引
	搜索引擎如何工作？
	如何建立倒排索引
	总结
回到目录

倒排索引

回到目录

搜索引擎如何工作？

信息检索已经发展的非常成熟了，应该所有人都不陌生。我有幸这几年接触过并且实际做过一些搜索引擎开发的工作，特此总结并分享给大家。实际上，一个成熟的搜索引擎是想当复杂的，比如...]]></description><category></category></item><item><title><![CDATA[Canal系列——问题杂记]]></title><link>https://blog.youkuaiyun.com/andy_wcl/article/details/81632031</link><guid>https://blog.youkuaiyun.com/andy_wcl/article/details/81632031</guid><author>andy_wcl</author><pubDate>Mon, 13 Aug 2018 16:23:04 +0800</pubDate><description><![CDATA[今天碰到一个问题，某个平日正常运行的同步任务，突然报错，显示某个表不存在，如图



开始以为是dba回收了canal用户的权限，后来分析得知，有users表的删除操作，这样导致在读取binlog日志的时候，再去源库里查表字段名字时候报错。

binlog日志是不带字段名称的，如下：

BINLOG '
4T5wWxMqgtqzQAAAAIsBAAAAAIkFAAAAAAEACGZhc3RkYXR...]]></description><category></category></item><item><title><![CDATA[Elasticsearch系列——（1.1）倒排索引原理]]></title><link>https://blog.youkuaiyun.com/andy_wcl/article/details/81631609</link><guid>https://blog.youkuaiyun.com/andy_wcl/article/details/81631609</guid><author>andy_wcl</author><pubDate>Mon, 13 Aug 2018 16:04:41 +0800</pubDate><description><![CDATA[关于es为什么搜索快，大家应该有所了解，但是到底什么是倒排索引？网上找到一篇介绍通俗易懂，转载如下：

　

见其名知其意，有倒排索引，对应肯定，有正向索引。

     正向索引（forward index），反向索引（inverted index）更熟悉的名字是倒排索引。

     在搜索引擎中每个文件都对应一个文件ID，文件内容被表示为一系列关键词的集合（实际上在搜索引擎索引库中，关键词也...]]></description><category></category></item><item><title><![CDATA[Elasticsearch系列——（2.1）Elasticsearch5.6.8 安装部署]]></title><link>https://blog.youkuaiyun.com/andy_wcl/article/details/80235363</link><guid>https://blog.youkuaiyun.com/andy_wcl/article/details/80235363</guid><author>andy_wcl</author><pubDate>Mon, 14 May 2018 11:01:28 +0800</pubDate><description><![CDATA[1，

官网下载安装 https://www.elastic.co/cn/ 

官方中文指导文档https://www.elastic.co/guide/cn/elasticsearch/guide/current/running-elasticsearch.html

 

2，es特点：

无需配置，开箱即用

./bin/elasticsearch

如果你想把 Elasticsearch ...]]></description><category></category></item><item><title><![CDATA[storm(一)集群安装部署]]></title><link>https://blog.youkuaiyun.com/andy_wcl/article/details/80251126</link><guid>https://blog.youkuaiyun.com/andy_wcl/article/details/80251126</guid><author>andy_wcl</author><pubDate>Thu, 10 May 2018 17:23:04 +0800</pubDate><description><![CDATA[1、安装环境：安装包：apache-storm-1.1.2.tar.gz机器：10.1.221.223    storm110.1.221.224    storm210.1.221.225    storm3集群JDK环境：jdk-8u131-linux-x64.tar.gz（具体安装步骤见：《Linux安装JDK步骤》）集群主机之间设置免密登陆：设置方式见：《Linux之ssh免密登录》zoo...]]></description><category></category></item><item><title><![CDATA[storm(二)集群提交拓扑]]></title><link>https://blog.youkuaiyun.com/andy_wcl/article/details/80251409</link><guid>https://blog.youkuaiyun.com/andy_wcl/article/details/80251409</guid><author>andy_wcl</author><pubDate>Thu, 10 May 2018 17:22:52 +0800</pubDate><description><![CDATA[准备工作：将开发好的jar包上传到服务器nimbus节点上，如package目录下启动Storm集群执行命令storm jar ./wordCountByAndy.jar  com.andy.learning.storm_helloworld.SimpleTopology testtask1
解释下这条命令中的各个参数：jar:运行你的storm job./wordCountByAndy.jar:...]]></description><category></category></item><item><title><![CDATA[JDBC连接ORACLE的2种URL格式]]></title><link>https://blog.youkuaiyun.com/andy_wcl/article/details/79986178</link><guid>https://blog.youkuaiyun.com/andy_wcl/article/details/79986178</guid><author>andy_wcl</author><pubDate>Wed, 18 Apr 2018 11:17:37 +0800</pubDate><description><![CDATA[今天jdbc链接数据库报错，java.sql.SQLException: Listener refused the connection with the following error: ORA-12505, TNS:list百度了下，原因如下，jdbc连接oracle数据库两种方式，使用sid和servicename的写法略有区别。使用jdbc连接oracle时url有2种格式格式一: Ora...]]></description><category></category></item><item><title><![CDATA[windows下eclipse连接远程hadoop集群的开发配置]]></title><link>https://blog.youkuaiyun.com/andy_wcl/article/details/79582656</link><guid>https://blog.youkuaiyun.com/andy_wcl/article/details/79582656</guid><author>andy_wcl</author><pubDate>Fri, 16 Mar 2018 16:20:17 +0800</pubDate><description><![CDATA[1，百度下载eclipse插件hadoop-eclipse-plugin-2.7.3.jar，放入eclipse安装目录下的plugins下，重启eclipse2，配置hadoop在windows下的安装目录windows--&amp;gt;preference--&amp;gt;Hadoop Map/Reduce3,windows--&amp;gt;showview--&amp;gt;others--&amp;gt;Map/Reduc...]]></description><category></category></item><item><title><![CDATA[hbase-1.2.6安装部署]]></title><link>https://blog.youkuaiyun.com/andy_wcl/article/details/79558981</link><guid>https://blog.youkuaiyun.com/andy_wcl/article/details/79558981</guid><author>andy_wcl</author><pubDate>Wed, 14 Mar 2018 19:43:23 +0800</pubDate><description><![CDATA[1，前言：hbase 是hadoop database的缩写，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。2，安装2.1，hbase官网下载安装包,根据官方建议，使用stable版本2.2，新建hbase安装目录，解压安装包到当前目录mkdir -p /opt/hbase
chown hadoop:hadoopG...]]></description><category></category></item><item><title><![CDATA[Hive2.x环境搭建]]></title><link>https://blog.youkuaiyun.com/andy_wcl/article/details/79539480</link><guid>https://blog.youkuaiyun.com/andy_wcl/article/details/79539480</guid><author>andy_wcl</author><pubDate>Tue, 13 Mar 2018 14:45:41 +0800</pubDate><description><![CDATA[与 Hadoop 类似，Hive 也有 3 种运行模式：
    1. 内嵌模式
    将元数据保存在本地内嵌的 Derby 数据库中，这是使用 Hive 最简单的方式。但是这种方式缺点也比较明显，
因为一个内嵌的 Derby 数据库每次只能访问一个数据文件，这也就意味着它不支持多会话连接。

    2. 本地模式
    这种模式是将元数据保存在本地独立的数据库中（一般是 MySQL），这用...]]></description><category></category></item><item><title><![CDATA[hadoop集群搭建]]></title><link>https://blog.youkuaiyun.com/andy_wcl/article/details/79497624</link><guid>https://blog.youkuaiyun.com/andy_wcl/article/details/79497624</guid><author>andy_wcl</author><pubDate>Mon, 12 Mar 2018 13:04:11 +0800</pubDate><description><![CDATA[最近为了解决30亿+清单级数据的查询工作，尝试用presto解决。方案1：采用deepgreen, 优化表分布，建立索引方案2：采用hadoop+presto回顾一下hadoop集群的搭建过程：1.1，准备机器10.1.240.183 base018310.1.240.184 base018410.1.240.185 base018510.1.240.186 base018...]]></description><category></category></item><item><title><![CDATA[oracle数据导出工具sqluldr2安装及使用]]></title><link>https://blog.youkuaiyun.com/andy_wcl/article/details/79472605</link><guid>https://blog.youkuaiyun.com/andy_wcl/article/details/79472605</guid><author>andy_wcl</author><pubDate>Wed, 07 Mar 2018 17:33:34 +0800</pubDate><description><![CDATA[sqluldr2是一款Oracle数据快速导出工具，包含32、64位程序，sqluldr2在大数据量导出方面速度超快，能导出亿级数据为excel文件，另外它的导入速度也是非常快速，功能是将数据以TXT/CSV等格式导出1，下载sqluldr2,选择linux64位版本https://pan.baidu.com/s/1JCH8Rn-aCFyqEyouXE0k7Q2,将sqluldr2_linux64...]]></description><category></category></item><item><title><![CDATA[linux下快速安装oracle客户端]]></title><link>https://blog.youkuaiyun.com/andy_wcl/article/details/79470705</link><guid>https://blog.youkuaiyun.com/andy_wcl/article/details/79470705</guid><author>andy_wcl</author><pubDate>Wed, 07 Mar 2018 15:18:49 +0800</pubDate><description><![CDATA[1，首先Oracle官网下载安装包： http://www.oracle.com/technetwork/database/features/instant-client/index-097480.html根据访问数据的版本下载对应客户端。每种包又分.zip、.rpm两种格式包，zip包相当于解压后免安装版，rpm包需要安装版。2，安装解压缩到/usr/local/oracleunzip inst...]]></description><category></category></item><item><title><![CDATA[Maven开发02-Maven常用命令大全与pom文件讲解]]></title><link>https://blog.youkuaiyun.com/andy_wcl/article/details/77865569</link><guid>https://blog.youkuaiyun.com/andy_wcl/article/details/77865569</guid><author>andy_wcl</author><pubDate>Wed, 06 Sep 2017 14:02:55 +0800</pubDate><description><![CDATA[林炳文Evankaka原创作品。转载请注明出处http://blog.youkuaiyun.com/evankaka
摘要：本文主要讲解是Maven使用过程中一些常用的命令，并配上图片说明，最后还讲了pom.xml文件的一些构造。
一、Maven常用命令
1.1、Maven 参数 
-D 传入属性参数 
-P 使用pom中指定的配置 
-e 显示maven运行出错的信息 
-o 离线执行命令,即]]></description><category></category></item><item><title><![CDATA[maven开发01-安装与配置、实现maven版helloworld]]></title><link>https://blog.youkuaiyun.com/andy_wcl/article/details/77800729</link><guid>https://blog.youkuaiyun.com/andy_wcl/article/details/77800729</guid><author>andy_wcl</author><pubDate>Wed, 06 Sep 2017 13:46:26 +0800</pubDate><description><![CDATA[一、maven开发01-安装与配置
1、下载maven安装包

去https://maven.apache.org/下载apache-maven-3.5.0-bin.zip，解压即可使用。

2、maven环境变量配置

新建环境变量MAVEN_HOME（值为maven的根目录）、

然后在PATH环境变量里加入%MAVEN_HOME%\bin;即可。

3、检验是否配置成功]]></description><category></category></item><item><title><![CDATA[呐喊！！]]></title><link>https://blog.youkuaiyun.com/andy_wcl/article/details/9501065</link><guid>https://blog.youkuaiyun.com/andy_wcl/article/details/9501065</guid><author>andy_wcl</author><pubDate>Fri, 26 Jul 2013 22:01:43 +0800</pubDate><description><![CDATA[由于csdn不支持粘贴截图！
决定搬迁到博客园！


http://www.cnblogs.com/andy-wcl/]]></description><category></category></item><item><title><![CDATA[Tomcat中webapps下的项目如何导入到eclipse中]]></title><link>https://blog.youkuaiyun.com/andy_wcl/article/details/9492039</link><guid>https://blog.youkuaiyun.com/andy_wcl/article/details/9492039</guid><author>andy_wcl</author><pubDate>Fri, 26 Jul 2013 11:38:07 +0800</pubDate><description><![CDATA[网上下载的项目，没有源代码，启动tomcat后，可以运行，尝试将项目导入到eclipse
那么用反编译软件将class文件都解析成java文件

于是去tomcat\webapps\ROOT下寻找


如图，发现WEB-INF下面没有存放编译后的.class文件的class文件夹，
可是项目又能正常运行！！

纳闷代码被放到哪里去了！！
后来打开lib文件夹，豁然开朗！！
在]]></description><category></category></item><item><title><![CDATA[java 错误]]></title><link>https://blog.youkuaiyun.com/andy_wcl/article/details/9468275</link><guid>https://blog.youkuaiyun.com/andy_wcl/article/details/9468275</guid><author>andy_wcl</author><pubDate>Thu, 25 Jul 2013 14:06:31 +0800</pubDate><description><![CDATA[The hierarchy of the type DateIntervalTypeEnum is inconsistent
编写java程序时，出现The hierarchy of the type is inconsistent 错误。
可能的原因：自己的类继承于某个类，这个类或者这个类继承的类或者再往上继承的某个类所在的jar包没有被引入。]]></description><category></category></item></channel></rss>