aichanteng5936-优快云博客

转载记一次sqoop安装后测试的问题

运行命令：sqoop import --connect "jdbc:mysql://x.x.x.x:3306/intelligent_qa_bms?useUnicode=true&characterEncoding=utf-8&zeroDateTimeBehavior=convertToNull" --username root --password xxxx ...

2019-07-18 11:57:00 427

转载 hue搭建

1.安装依赖：sudo yum -y install gcc-c++ asciidoc cyrus-sasl-devel cyrus-sasl-gssapi krb5-devel libxml2-devel libxslt-devel mysql-devel openldap-devel python-devel sqlite-devel openssl-devel gmp-deve...

2019-07-04 11:55:00 190

转载 hdfs删除丢失块数据

hdfs fsck -delete转载于:https://www.cnblogs.com/tianziru/p/11124616.html

2019-07-03 09:53:00 1619

转载 CDH删除节点（安全）

经过验证，最快最安全的删除CDH节点的方式，简单概括如下：1、选中该机器，并停止该机器上的所有角色2、去对应的服务中删除该机器中每一个角色3、通过命令行，关闭该机器的的agent服务，并将该机器从集群中移除4、成功将该机器从集群中移除（移除也可以直接选中该机器，然后解除授权，但速度太慢，不建议使用，上述删除每个服务的方法速度较快）转载于:https://www.cnb...

2019-07-03 09:03:00 709

转载 hashMap原理

HashMap 的基本组成成员HashMap 是 Map 的一个实现类，它代表的是一种键值对的数据存储形式。Key 不允许重复出现，Value 随意。jdk 8 之前，其内部是由数组+链表来实现的，而 jdk 8 对于链表长度超过 8 的链表将转储为红黑树。put 方法的具体实现所谓的数组+链表+红黑树的存储结构是如何形成的，又是在何种情况下将链表转换成红黑树...

2019-01-21 16:31:00 91

转载 LeetCode 刷题1---两数之和

/** 给定一个整数数组 nums 和一个目标值 target，请你在该数组中找出和为目标值的那两个整数，并返回他们的数组下标。你可以假设每种输入只会对应一个答案。但是，你不能重复利用这个数组中同样的元素。示例: 给定 nums = [2, 7, 11, 15], target = 9 因为 nums[0] + nums[1] = 2 + 7 = 9 所以返回 [0, 1] */...

2019-01-12 21:25:00 93

转载 shell脚本传参执行spark-submit

读取多个目录下的本地文件，多个目录通过循环遍历的方式，以参数传递：#!/bin/bashi=0while [ $i -lt 10000 ] do echo "i=$i" spark-submit --class com.link.fblx.readFromPath --driver-memory 20G --executor-memory 20G --num-execut...

2019-01-09 16:56:00 602

转载 RSA host key has changed

转载于:https://www.cnblogs.com/tianziru/p/5522440.html

2016-05-24 10:03:00 122

转载 sshd: no hostkeys available — exiting

在开启SSHD服务时报错.sshd re-exec requires execution with an absolute path用绝对路径启动,也报错如下:Could not load host key: /etc/ssh/ssh_host_keyCould not load host key: /etc/ssh/ssh_host_rsa_keyCould not load hos...

2016-05-24 09:39:00 11353

转载 MySQL问题

# mysql -u root mysqlERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: NO)解决：[root@ZHT02 ~]# /etc/init.d/mysql stopShutting down MySQL.. SUCCESS! [root@ZHT02 ~]...

2016-05-18 13:41:00 75

转载异常解决

解决方法：Update the permission of your /tmp/hive HDFS directory using the following command hadoop fs -chmod 777 /tmp/hiveIf so can you remove /tmp/hive on both local and hdfs. ...

2016-05-18 09:28:00 184

转载 MySQL连接不上

access denied for user root @localhost解决办法：create user 'root'@'localhost' identified by '你的密码';grant all privileges on *.* to root@'localhost';转载于:https://www.cnblogs.com/tianziru/p/55...

2016-05-17 17:27:00 142

转载工作时总结

昨天配置安装hadoop，格式化namenode的时候总是报错：显示连接不上journalnode：8485的错误信息，很烦，重启，怎么弄都不行，后来才恍然大悟：namenode格式化的时候必须先把三台journalnode分别启动起来。另外hmaster不可以只配置在standby的namenode机器上，否则会启动不起来，报错信息：把配置改成集群中的两台代名：...

2016-05-17 11:14:00 99

转载笔记

vnc配置解决：一、Linux主机安装VNC服务1、安装vnc-serverVNC分为服务端和客户端，linux服务器主机需要安装vncserver，centos7下一般使用tigervnc。root下执行命令：#yum install -y tigervnc-server安装完毕后需要配置。2、配置vnc-server进入目录#cd /lib/syste...

2016-05-17 11:07:00 99

转载注意

注意：在Hadoop中，主机名不要包含下划线“_”，但可以有横线“-”。否则启动Hadoop时报错：ERROR org.apache.hadoop.HDFS.server.namenode.NameNode: java.io.IOException: Incomplete HDFS URI, no host: HDFS://namenode:9000 Incomplete HD...

2016-05-04 09:43:00 89

转载向Redis里存入数据

实现思路：1、从Redis缓存获取URL统计网址清单2、逐条拼凑SQL统计语句，暂时不能支持批量计算，因为按单个网址统计。3、发送到HIVE JDBC执行SQL并等待返回结果4、逐条接收SQL查询结果，动态添加到LIST集合中。5、遍历LIST集合数据，转换成JSON对象，并推送到Redis缓存中。6、 Over。转载于:https://...

2016-04-14 16:54:00 868

转载 maven项目变成web项目

具体步骤如图所示：第一步：建议一个Maven Webapp项目第二步：右击项目，选择属性，找到project facets，点击tuntimes标签选择apache tomcat v6.0选中Project Facet中的Dynamic Web Module确认第三步：转换成功转载于:https://www.cnblogs.com/tianziru/p/...

2016-04-13 11:31:00 102

转载错误：Several ports (8005, 8080, 8009) required by Tomcat v7.0 Server at localhost are already in use....

Severalports(8005,8080,8009)requiredbyTomcatv7.0Serveratlocalhostarealreadyinuse.Theservermayalreadyberunninginanotherprocess,orasystemprocessmaybeusingtheport.T...

2016-04-13 11:01:00 83

转载报错：Maven创建An internal error occurred during: "Retrieving archetypes:". Java heap space

在Eclipse中创建Maven的Web项目时出现错误：An internal error occurred during: "Retrieving archetypes:". Java heap space，可以通过以下步骤来解决问题。1. 找到Eclipse的根目录下的eclipse.ini文件并打开2.修改文件中的以下配置-Dosgi.requiredJavaVersi...

2016-04-13 10:05:00 101

转载异常： java.lang.ClassNotFoundException: org.springframework.web.util.IntrospectorCleanupListener

如果出现这个错误信息，如果你的项目是Maven结构的，那么一般都是你的项目的Maven Dependencies没有添加到项目的编译路径下解决办法：①选中项目->右键Properties->选择Deployment Assemby->选择Add->选中Java Build Path Entries->Next->选择Maven Depen...

2016-04-13 09:47:00 793

转载 3.16总结

上午配置网卡驱动，jdk，maven，tomcat，eclipse下午查阅了好多的大数据架构，流程转载于:https://www.cnblogs.com/tianziru/p/5285384.html

2016-03-16 21:58:00 90

转载 3.15总结

今天第一天入职，安装了64位操作系统，以及万能网卡驱动，认识了项目需求，技术架构，框架springMVC+hibernate；大数据技术选型还没定，明天让我交一个初稿，只是新认识项目，每天写成果和博客，坚持，调整心态，相信自己，我要不断的通过努力提高自己，增长知识。今天学习：F12：U盘启动转载于:https://www.cnblogs.com/tianziru/p/5281...

2016-03-15 22:58:00 98

转载 Mahout聚类和kafaka相关知识

1.说几种距离测度Mahout：欧式距离测度；平方欧式距离测度；曼哈顿距离测度；余弦距离测度；加权距离测度2.K-means算法参数：3.TF-IDF加权公式：4.聚类是什么？聚类是一种无监督的机器学习任务，可以自动将数据划分成类cluster。并不需要提前告知所划分的组是什么样的，因为我们可能都不知道我们在寻找什么，所以聚类是用来知识发现的而不是预测...

2016-01-18 20:46:00 106

转载 apache反向代理和负载均衡

正向代理：正如我们用的游戏加速代理，大多的个人PC把请求发给正向代理服务器，代理服务器通常配置高端的带宽，替我们请求相应的服务负载均衡中的反向代理：通常意义上，是一个请求转发的代理。类似一个收发室的管理人员，外来的很多邮件，传到收发室，然后由管理员分配给不同的办公室。通过这样的操作，可以使每台服务器避免过多的负载导致宕机。而转发的这个过程，通常也有很多种不同的算法。总结：正向代理...

2015-12-27 22:41:00 81

aichanteng5936的博客