- 博客(49)
- 资源 (4)
- 收藏
- 关注
RSS订阅
转载 GitHub 五万星登顶，程序员命令行最全技巧宝典！
一个项目 Get 所有命令行技巧！作者 | 唐小引封图 | 优快云出品 | 优快云（ID：优快云news）最近两天，「The Art of Command Line（命令行的艺术）」这个开源项目雄踞了 GitHub TOP 榜，直接以 51,727 Star 登上榜首。对于所有的程序员来说，使用命令行已经成为了一项日常技能，但常常却是面向搜索...
2019-06-06 10:53:15
138
原创 phoenix创建表在hbase中无法正常显示列名，会对hbase列进行编码存储
phoenix创建表0: jdbc:phoenix:hadoop01:2181:/hbase> create table "phoenix_02"(id varchar primary key,"cf"."name" varchar,"cf"."age" varchar);No rows affected (2.881 seconds)0: jdbc:phoenix:hadoop01:...
2019-07-13 09:58:20
1867
3
原创 org.apache.phoenix.exception.PhoenixIOException: org.apache.hadoop.hbase.DoNotRetryIOException: Unab
org.apache.phoenix.exception.PhoenixIOException: org.apache.hadoop.hbase.DoNotRetryIOException: Unable to load configured region split policy 'org.apache.phoenix.schema.MetaDataSplitPolicy' for table ...
2019-07-12 22:07:41
2455
1
原创 - MySQL server has gone away [ERR] /*[ERR] /* SQLyog Ultimate v12.08 (64 bit) MySQL - 5.5.27 : Datab
导入sql文件时出错，原因是导入文件过大，而mysql默认设置大小较小进入MySQL安装目录下，找到my.ini默认C:\ProgramData\MySQL\MySQL Server 5.7下调大max_allowed_packet值之后重启mysql服务即可...
2019-07-12 15:25:49
704
转载 kafka的索引机制
概述数据文件的分段和索引kafka解决查询效率的手段之一是将数据文件分段存储，可以配置每一个文件的大小。每一个端单独放在一个.log的文件中，数据文件命名是20个字符的长度，以每一个分段文件开始的最下offset来命名，其他位置用0填充。最初始的文件是00000000000000000000.log命名的，比如下一个log中的第一条消息的offset是18987，则该log文件的命名是0000...
2019-07-02 20:31:48
354
原创 No kafka server to stop无法使用命令关闭问题
关闭失败修改kafka-server-stop.sh将 PIDS=$(ps ax | grep -i ‘kafka.Kafka’ | grep java | grep -v grep | awk '{print KaTeX parse error: Expected 'EOF', got '}' at position 2: 1}̲')修改为 PIDS=(jps -lm | gre...
2019-07-02 17:46:48
4403
原创 Python爬虫学习-----豆瓣top250（Xpath解析）
解析数据利用的是xpath处理数据利用jsonfrom urllib.request import urlopen as urfrom lxml import etree as etimport timeimport jsonlast_no=[]last_img=[]last_title_cn=[]last_title_en=[]last_other=[]last_body...
2019-06-24 23:00:33
476
原创 python爬虫学习-实现翻译软件
from urllib.request import urlopen as urfrom bs4 import BeautifulSoup as bfsimport requestsdef getResult(keyword):#发起请求 url = "https://cn.bing.com/dict/search?q=" + keyword#获取源码 conte...
2019-06-21 22:22:01
202
原创 国内pip源
阿里云http://mirrors.aliyun.com/pypi/simple/中国科技大学https://pypi.mirrors.ustc.edu.cn/simple/豆瓣(douban)http://pypi.douban.com/simple/清华大学https://pypi.tuna.tsinghua.edu.cn/simple/中国科学技术大学http://py...
2019-06-20 21:31:13
159
原创 Python安装插件时报错：Traceback (most recent call last):AttributeError: module 'pip' has no attribute 'main'
安装插件beautifulsoup4时遇到如下问题：Traceback (most recent call last):File “D:\soft\PyCharm 2017.3.3\helpers\packaging_tool.py”, line 192, in mainretcode = do_install(pkgs)File “D:\soft\PyCharm 2017.3.3\hel...
2019-06-20 21:29:37
5880
1
原创 wordcount多种写法（单机版、MapReduce、Hive、Spark、Scala）
单机版public class WordCount { public static void main(String[] args) throws IOException { Map<String, Integer>[] maps=new HashMap[5]; int a=0; for (...
2019-06-11 20:25:58
1361
3
原创 第一次启动nginx报错nginx: [emerg] bind() to 0.0.0.0:80 failed (98: Address already in use) nginx: [emerg] b
Starting nginx: nginx: [emerg] bind() to 0.0.0.0:80 failed (98: Address already in use)nginx: [emerg] bind() to 0.0.0.0:80 failed (98: Address already in use)nginx: [emerg] bind() to 0.0.0.0:80 fail...
2019-06-06 10:36:25
1289
原创 sqoop操作时显示java.sql.SQLException: Access denied for user 'root'@'hadoop01' (using password: YES)
error：java.sql.SQLException: Access denied for user ‘root’@‘hadoop01’ (using password: YES)at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:964)at com.mysql.jdbc.MysqlIO.checkErrorPacket...
2019-05-24 12:56:14
3481
原创 hdfs四大机制
1、心跳机制 1、datanode定期向namenode发送存活状态以及可用空间，默认时间3s<property> <name>dfs.heartbeat.interval</name> <value>3</value> <description>Determines datanode heartbeat i...
2019-05-23 21:59:21
429
原创 hive中rank() dense_rank()和row_number()区别
rank()每个窗口，相同数据排名一样，下一个排名会累加前一个排名的人数dense_rank()每个窗口，相同数据排名一样，下一个排名不会累加前一个排名的人数，整个排名是顺序的row_number()每个窗口，排名依次递增...
2019-05-22 12:02:46
1582
原创 hive中get_json_object()和json_tuple()
将每一行数据存储为string，属性名lineget_json_object()select get_json_object(line,'$.movie') as movie, get_json_object(line,'$.rate') as rate, get_json_object(line,'$.timeStamp') as time, get_json_object(li...
2019-05-21 21:19:13
9584
原创 hive静态分区和动态分区区别
静态分区 SP（static partition） 1、静态分区是在编译期间指定的指定分区名 2、支持load和insert两种插入方式 2.1load方式 1）会将分区字段的值全部修改为指定的内容 2）一般是确定该分区内容是一致的时候才会使用 2.2insert方式 1）必须先将数据放在一个没有设置分区的普通表中 2）该方式...
2019-05-20 22:51:26
8157
原创 hive动态插入数据SemanticException [Error 10096]: Dynamic partition strict mode requires at least one stati
FAILED: SemanticException [Error 10096]: Dynamic partition strict mode requires at least one static partition column. To turn this off set hive.exec.dynamic.partition.mode=nonstrict解决：set hive.exec....
2019-05-20 10:47:35
3222
原创 hive启动中常见问题
1、Caused by: java.net.ConnectException: Connection refused解决：启动hadoop2、 FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate ...
2019-05-18 09:01:47
689
原创 yarn作业执行流程
yarn作业执行流程1、客户端向ResourceManager 发送运行job的请求，申请资源2、ResourceManager 向客户端返回一个job_id以及共享资源的路径 /tmp/hadoop-yarn/staging/hadoop/.staging/job_id 共享资源包含三点信息 1）jar 包 job.jar- 2）切片信息 3）job.xm...
2019-05-15 21:09:00
367
原创 mapreduce执行流程 shuffle
mapreduce流程1、数据底层存储 将所要存储的文件进行分块存储，每块默认128M，不够128M的部分单独成一块，存储在节点上将所要存储的文件进行分块存储，每块默认128M，不够128M的部分单独成一块，存储在节点上2、计算切片大小，进行逻辑划分，根据切片的个数来决定maptask个数，切片最大不会超过128*1.1M3、maptask执行 利用FileInputFormat加载...
2019-05-15 21:04:32
286
原创 Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: use
Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=Admin, access=WRITE, inode="/":fanger:supergroup:drwxr-xr-x at org.apache.hadoop.hdfs.server.n...
2019-05-05 16:48:13
3546
原创 系统找不到指定的路径。Error: JAVA_HOME is incorrectly set.Please update D:\s
在控制台中输入hadoop version后提示Error: JAVA_HOME is incorrectly set. Please update 错误如果java -version可以正常查看，hadoop version时出现错误，此时需要配置hadoop的解压文件下，hadoop-2.7.6\etc\hadoop\hadoop-env.cmd我的jdk的路径：C:\Progr...
2019-05-05 15:43:25
4890
1
原创 linux下时间同步服务器
Unix/linux类：ntp.aliyun.comntp1.aliyun.comntp2.aliyun.comntp3.aliyun.comntp4.aliyun.comntp5.aliyun.comntp6.aliyun.comntp7.aliyun.com
2019-04-29 21:09:05
146
转载 CentOS开机提示kernel panic - not syncing: Attempted to kill init! 解决方法
1.重新启动linux 系统，看见如图见面迅速按E键2.看见如图界面在按E键编辑3.如图界面使用上下键选择第二个在按E键4.在最后一行后面添加 enforcing=0 按回车保存退出5.在此页面按B键重新启动即可 文章转载自：https://blog.youkuaiyun.com/ym01213/article/details/80032...
2019-04-29 20:25:02
3155
转载 关于PrintWriter中的print与println方法的区别
今天在写一个关于socket的程序，无意间把PrintWriter中的print与println混淆了，于是写了个小demo测试了一下，代码如下： 服务端代码：package com.city.server;import java.io.BufferedReader;import java.io.InputStreamReader;import java.io.PrintWriter;...
2019-04-27 20:55:58
2073
原创 linux下设置mysql为utf-8编码
CREATE DATABASE `表名` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci
2019-04-22 09:14:43
408
原创 linux下启动mysql出现Warning: Using a password on the command line interface can be insecure. ERROR 2002 (
错误：Warning: Using a password on the command line interface can be insecure.ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (2)解决：ps -aux |greap ...
2019-04-22 09:02:42
2164
转载 十大经典排序算法总结（Java语言实现）
最近在看排序算法，对此做个总结。参考文章：https://www.cnblogs.com/onepixel/articles/7674659.htmlhttps://www.cnblogs.com/guoyaohua/p/8600214.html目录一、算法的分类1、概念...
2019-04-19 14:29:19
158
原创 linux系统设置时区
先查看一下时间，发现是utc 时区不正确，所以需要修改时区tzselect-----》选择亚洲（Asia）---》选择中国（China）--》选择北京时间（BeijingTime）---》yes---》1，此时时区还没有设置，执行TZ='Asia/Shanghai';export TZ 之后查看date，即可发现时区已经改为cst或者可以修改配置文件来修改时区...
2019-04-16 20:21:51
437
原创 linux脚本中包含函数时一直报错syntax error near unexpected token `{
在notepad++中编写shell文件，执行时总是提示错误：syntax error near unexpected token `{这是由于windows和linux编码不一致导致的，可先查看编写的shell脚本的编码显示出CR LF ，则需要将windows格式转换为linux格式更改后字符格式变为LF继续执行即可...
2019-04-14 17:24:03
1365
1
原创 集群自动部署ssh: Could not resolve hostname 节点1,节点2: Temporary failure in name resolution lost connection
在集群自动部署jdk时，已经设置好了ssh免密登录以及相关的send.sh sh send.sh时 出现如下错误错误：ssh: Could not resolve hostname 节点1,节点2: Temporary failure in name resolutionlost connection前提是此时/etc/hosts 和DNS已经配置好，但仍出现问题在send....
2019-04-14 16:52:24
2240
原创 mybatis整合spring时出现：Access denied for user 'admin'@'localhost' (using password: YES), mergedContextC
错误：Could not get JDBC Connection; nested exception is java.sql.SQLException: Access denied for user 'admin'@'localhost' (using password: YES), mergedContextConfiguration = [MergedContextConfiguration@...
2019-04-12 22:37:36
6056
4
原创 mybatis整合spring时出现：Error creating bean with name 'org.mybatis.spring.mapper.MapperScannerConfigurer
mybatis整合spring时出现如下错误错误：Error creating bean with name 'org.mybatis.spring.mapper.MapperScannerConfigurer#0' defined in class path resource [applicationContext.xml]: Cannot resolve reference to be...
2019-04-12 22:37:10
20554
6
原创 java 中静态代理与动态代理（jdk动态代理、cglib动态代理）的实现
代理：一种常用的设计模式，通俗讲就是为其他对象提供一个代理，使其能够通过代理访问某个对象（被代理）。首先创建一个用户接口类，接口实现类//用户接口类public interface UserDao { void addUser(); void deleteUser();}//用户实现类public class UserDaoImpl implements UserDao{...
2019-04-11 19:38:56
150
原创 使用Ajax后显示XML解析错误，语法错误
出现以上错误的原因是因为编码出现了问题，response编码和jsp的不一致了，添加以下代码即可解决response.setCharacterEncoding("utf-8");response.setContentType("text/html;charset=utf-8");...
2019-04-09 19:05:05
3287
原创 MySQL 50道练习题及答案
练习题参考知乎https://zhuanlan.zhihu.com/p/50662216以下是根据自己思路编写的代码，部分参考了知乎，途中遇到了不少问题整个实践过程中总是忘记指定字段所在的表名，出现如下错误ERROR 1052 (23000): Column ‘’ in field list is ambiguous，指定列重复，即两张表存在相同字段，没有在表字段前指明表名，导致指代不清...
2019-03-30 21:16:37
7163
4
原创 第三部分-Hadoop使用和Hbase使用
第三部分：Hadoop使用和Hbase使用一、实验目的和要求理解Hadoop和Hbase的工作原理，安装部署HBase，掌握HDFS文件系统和Hbase的操作命令。二、实验内容和原理Hadoop文件系统:HDFS，是Hadoop Distributed File System的简称，是Hadoop抽象文件系统的一种实现。Hadoop抽象文件系统可以与本地系统、Amazon S3等集成，甚...
2019-03-30 15:32:04
888
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人