- 博客(36)
- 资源 (18)
- 收藏
- 关注
RSS订阅原创 DataX编译笔记
DataX编译笔记DataX简介获取源码DataX 编译和使用环境本文编译环境编译DataX常见问题Maven 仓库配置问题tablestore-streamclient版本问题odpsreader里odps-sdk-core依赖问题Maven打包编译参考DataX简介DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、SQL Server、Oracle、Po...
2019-12-13 20:17:25
1081
原创 Linux批量修改多个文件内容
Linux批量修改多个文件内容参考单个文件批量替换或者修改文件内容，用vim相当舒爽。但是重复修改N个文件相同的内容就很烦了。这个时候就可以使用sed这个流编辑神器进行处理。sed作为一种流编辑器，它是文本处理中常用的工具，配合正则表达式使用一起使用，可谓江湖神器。简单了解了下sed原理，它在处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed...
2019-05-13 20:58:22
15324
1
原创 git stash命令
git stash命令git stash是一个很实用特性，在日常团队项目中，可能会遇到这样场景：比如项目成员推送了当前项目新特性，你需要拉取，但是不想把这些特性合并到当前开发分支，需要checkout到其他分支去拉取，而当前开发分支又不想提交，那么这时就可以使用stash特性解决这个问题。stash字面意思存放，贮藏，在git里的含义是把当前暂存区内容存放起来，通常理解为保存当前工作进度，st...
2018-08-05 20:57:15
2473
原创 HBase regionserver启动JVM警告
HBase regionserver启动JVM警告解决方案在启动HBase时，出现JVM警告，如下：starting regionserver, logging to /usr/local/hbase/logs/hbase-lake-regionserver-node-04.outJava HotSpot(TM) 64-Bit Server VM warning: ignoring ...
2018-05-06 18:05:39
625
原创 U盘安装Ubuntu Server CD-ROM挂载失败
U盘安装 Ubuntu Server 发生Failed to copy file from CD-ROM问题解决方案使用UltraISO制作Ubuntu Server安装盘，在安装过程中出现[!!] Load installer components from CD警告，这一步应该是安装文件检查步骤，没有检测到完整镜像文件而提示警告。ubuntu社区里也有很多人安装server出现加载镜像文件...
2018-05-03 20:43:24
12077
2
原创 MySql的TIMESTAMP自动更新和初始化
MySql的TIMESTAMP\DATETIME自动更新和初始化概述很多时候，在设计表的过程中，考虑将行数据的创建时间和最后更新时间记录，希望数据库服务器自己管理，而不是在应用程序中控制创建时间和最后更新时间字段。在MySQL中，就可以借助DEFAULT CURRENT_TIMESTAMP 和 ON UPDATE CURRENT_TIMESTAMP 轻松实现，不过也需要一些注意的坑。...
2018-04-20 21:47:01
3968
原创 Git 撤销修改
Git 撤销修改情景一：提交完了才发现漏掉了几个文件没有添加，或者提交信息写错 通过git commit --amend或，提交命令尝试重新提交。这个命令会将暂存区中的文件提交，如果自上次提交以来你还未做任何修改（例如，在上次提交后马上执行了此命令），最近提交snapshot会保持不变，加-m参数，可以修改的最近一次提交信息,如：git commit --amend -m 'chang...
2018-04-01 17:54:10
900
原创 ODPS MapReduce JobClient的runJob与submitJob区别
ODPS MapReduce JobClient的runJob与submitJob区别ODPS MapReduce SDK提供两种任务提交方式，runJob与submitJob,两个函数功能都比较类似，都是向阿里伏羲(Fuji)系统提交Job,但用法有些差别。static RunningJob runJob(JobConf job)阻塞（同步）方式提交MapReduce作业后立即返回...
2018-03-15 15:41:36
683
原创 ODPS MapReduce基础
ODPS MapReduce基础执行MapReduce Job(jar)命令jar -libjars [resoucre_name] -classpath [local_package_path] [MainClass] [arguments1] [arguments2]...;resoucre_name指发布到odps上的资源文件，即MapReduce任务jar包名称，如wor...
2018-03-15 15:27:07
798
原创 Hadoop BindException
Hadoop BindExceptionHadoop节点daemon无法启动，报BindException,启动日志如下：2018-03-12 10:16:56,057 INFO org.apache.hadoop.http.HttpServer2: HttpServer.start() threw a non Bind IOExceptionjava.net.BindExcepti...
2018-03-13 17:19:39
768
原创 U盘安装 Ubuntu 16.04 LTS 提示：gfxboot.c32: not a COM32R image
U盘安装 Ubuntu 16.04 LTS 提示：gfxboot.c32: not a COM32R image这是一个Ubuntu的bug，在Ubuntu 14.01 LTS里也出现过1。解决办法很简单，在boot输入install，就可以进入安装界面。Ubuntu社区里有网友说可以按Tab，Tab之后会出现live, live install等等之类的选择。但按Ubuntu Bug #13
2018-01-16 09:52:12
4491
原创 Java排序Comparator实现接口发生异常
在JDK8环境下,通过实现Comparator接口，对HashMap根据value降序排序出异常:Comparison method violates its general contract!
2017-12-27 17:21:56
4389
原创 VIM字符匹配交换
Vim中可以通过模式匹配实现复杂的字符匹配和替换，《Learning the vi and Vim Editors》书中称之为Pattern-Matching。例如使用\(\)缓冲区模式可以实现不同缓冲区hold buffer之间交替，在vim中最多可支持9个hold buffer1。例1：将me and you字符串替换为you and me,可以使用如下命令：C1 :%s/\(
2017-12-11 14:19:54
2189
1
原创 求两个正整数均值(防溢出)
两个整数平均数(防溢出，向下取整)已知两个整数a、b，a和b的值均没有出现溢出，而a + b有可能出现溢出，例如在归并排序中，通过mid = (low + high)/2求中位值，就可能整数溢出问题。现在需要在防止溢出的情况下求a和b的平均值，该平均值取其实际值的向下取整。
2017-12-11 09:40:50
1690
原创 ycmd server SHUT DOWN
Vim YouCompleteMe异常异常信息如下：The ycmd server SHUT DOWN (restart with ':YcmRestartServer'). Unexpected error while loading the YCM core library. Use the ':YcmToggleLogs' command to check the logs.
2017-12-11 09:10:28
16512
原创 Hive外部表
Hive外部表Hive中表与外部表的区别:Hive 创建内部表时，会将数据移动到数据仓库指向的路径；Hive 创建外部表，仅记录数据所在的路径， 不对数据的位置做任何改变；在删除表的时候，内部表的元数据和数据会被一起删除， 而外部表只删除元数据，不删除数据。这样外部表相对来说更加安全些，数据组织也更加灵活，方便共享源数据。
2017-10-27 17:00:36
12736
3
原创 Python2.x 中文md5编码问题
在Python2.x中采用hashlib进行md5加密中文字符时UnicodeEncodeError: 'ascii' codec can't encode cha
2017-09-19 12:57:12
1364
原创 SpatialHadoop2.x源码编译
官方地址下载的SpatialHadoop2.4版二进制包可以在Hadoop1.x下运行，但在Hadoop2.x上可视化组件就会出问题，可能导致namenode名称节点的元数据WebUI无法打开。原因是官网SpatialHadoop2.4安装包不兼容Hadoop2.x。SpatialHadoop2.4可视化组件和SpatialHadoop1.X有出入，如果要在Hadoop2.x上使用需要编译最新源码。
2016-10-28 19:40:17
855
原创 SpatialHadoop 2.4源码配置pom.xml异常
从github获取的SpatialHadoop 2.4源码配置，出现Maven配置依赖项错误。
2016-10-16 16:41:02
789
原创 Hadoop namenode重新格式化需注意问题
hadoop重新格式化意味着集群的数据会被全部删除，格式化前需考虑数据备份或转移问题。格式化前需要进行一些特别的文件删除操作，否则将导致格式化后hadoop无法正常启动。
2016-10-15 11:25:15
38227
3
转载 CentOS 7 下Firewall防火墙配置用法详解
centos 7中防火墙是一个非常的强大的功能了，但对于centos 7中在防火墙中进行了升级了，下面我们一起来详细的看看关于centos 7中防火墙使用方法。 FirewallD 提供了支持网络/防火墙区域(zone)定义网络链接以及接口安全等级的动态防火墙管理工具。它支持 IPv4, IPv6 防火墙设置以及以太网桥接，并且拥有运行时配置和永久配置选项。
2016-10-14 09:37:40
1141
原创 Hadoop 数据节点DataNode异常
使用start-all.sh脚本或者先后执行start-dfs.sh、start-yarn.sh脚本启动Hadoop后，通过jps命令检测DataNode节点进程发现有DataNode进程，数秒后DataNode进程莫名其妙“消失”了，只有Jps、NodeManager两个进程。简而言之就是DataNode进程异常，由于某种原因导致无法启动或者启动后数据节点DataNode进程自动关闭。
2016-09-27 13:13:47
13087
11
原创 .NET定时任务执行管理器开源组件–FluentScheduler
简单，易用，轻量级.NET定时任务执行管理器开源组件–FluentScheduler
2016-08-16 10:23:48
8821
原创 Oracle修改表空间大小
问题描述 在向orale数据库导入数据的时候报 ORA-01658: 无法为表空间 XXX中的段创建 INITIAL 区错误。 这是由于表空间对应的数据文件中数据量超过Oracle在创建表空间的时候数据文件初始化大小值,当数据量达到这个值,再向数据库中导入数据就会报错。解决方案 解决办法就是扩展表空间，可以选择将表容量扩大,比如扩展到5000MB,或者当表空间不够时每次自动增加一定的容量,如
2016-07-21 10:01:02
22181
原创 Linux某个用户无法登录系统
Linux某个用户无法登录系统，其原因可能是该用户的主目录因为其他管理员用户的某些操作变更了目录权限，导致该用户没有访问此目录。
2016-04-28 09:58:26
5995
转载 SpatialHadoop实例：面向空间数据的高效MapReduce框架
原作：Ahmed Eldawy；Mohamed F.Mokbel （UMN） 翻译：Leo（CAU） 译文来源：SpatialBall《SpatialHadoop实例：面向空间数据的高效MapReduce框架》摘要：本文实例介绍了SpatialHadoop平台，它是第一个基于成熟MapReduce对空间数据具有原生支持的框架。SpatialHadoop是对Hadoop的做了一个全面的扩展，使其核
2016-03-28 14:42:44
728
原创 ArcEngine无法读取中文路径栅格数据集
ArcEngine或ArcObjects无法读取中文路径栅格数据集，原因是权限不足，这里的权限指的是ArcEngine/ArcObjects开发License验证权限。最简单直接的方法就是在操作栅格数据集的窗体加License控件，当然如果嫌License控件累赘，可以使用代码进行License绑定。...
2015-12-13 22:24:13
966
原创 ArcEngine修改字段名称
修改字段名称需注意设置锁模式为执行模式锁（esriExclusiveSchemaLock），当其他应用已经锁定要素类，不管是（esriExclusiveSchemaLock，还是esriSharedSchemaLock），都无法修改当前要素类锁类型，即无法修改字段名称。当字段修改完成后应该将当前的执行模式锁（esriExclusiveSchemaLock）改为共享锁（esriExclusiveSc...
2015-12-13 22:22:51
3715
3
原创 使用ArcObjects或者ArcEngine对ArcGIS要素类重命名
将要素类转IDataset再进行重命名，需要注意可能存在要素类被锁和同名情况，因此要加CanRename判断和catch。 需要注意以下两点： 1、对SDE要素类进行重命名需要较高的开发权限，经过测试似乎只有将License绑定为Advanced级别开发License【注：测试使用ArcGIS10.1系列产品，使用License控件进行验证，ArcSDE for Oracle 11g】。如果没...
2015-12-13 22:20:11
4048
1
原创 Centos7安装时引导错误以及解决方案
使用U盘刻录方式安装CentOS7.1，但是发现安装初始化时候发生错误，使用UltraISO刻录安装时就可能出现初始化引导错误
2015-07-18 22:17:46
39331
原创 ArcGIS栅格计算器
栅格计算器用于在工具中创建和执行“地图代数”表达式，即空间内栅格点集的变换和运算。与其他地理处理工具一样，栅格计算器可以在“模型构建器”中使用。栅格计算是栅格数数据空间分析中数据处理和分析中最为常用的方法，而ArcGIS栅格计算提供了简便强大的栅格运算功能。除了提供基本的加减乘除等基本的栅格运算外，还提供了基于数学函数的栅格运算和多语句的同时输入和运行。不过栅格计算器工具专门用于应用程序（仅作为 ...
2015-07-07 21:51:00
45958
1
原创 uploadify大文件上传IO Error问题解决方案
Uploadify上传大文件会报IO错误，这是由于webconfig节点设置问题，需要在system.web和system.webServer节点做设置，设置如下：（1）<httpRuntime maxRequestLength="1073741824" executionTimeout="3600" />（2）<validation validateIntegr...
2015-07-06 21:15:49
2579
原创 ArcEngine批量添加XY数据
使用ArcGIS Desktop “添加XY数据”或者“创建XY事件图层”工具 可以导入Excel坐标数据，生成临时图层并添加至ArcMap、ArcGlobe或者ArcScene中。在ArcEngine中可以利用GP工具（MakeXYEventLayer）将某个 x,y 坐标表添加到地图、globe 或 scene 中。该数据表中必须包含两个字段：一个用于 x 坐标，一个用于 y 坐标。Excel...
2015-02-08 14:47:31
4257
4
ESRI FileDatabase文件地理数据库结构导出工具
2017-02-22
Twain_32.8BA
2017-01-16
spatialhadoop 2.4.1
2016-10-28
Code-First Development with Entity Framework
2015-08-17
Programming Entity Framework, 2nd Edition
2015-08-17
Programming Entity Framework DbContext
2015-08-17
Tortoise+SVN简明操作指南.pdf
2013-05-07
jquery_uploadify_v3.2版 jquery.uploadify.js
2013-05-07
MVC4与MVC汉化包
2013-04-07
MVC3与MVC汉化包
2013-04-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人