- 博客(9)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 pip install scrapy 报错error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++
building 'twisted.test.raiser' extension error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-toolshttp...
2019-06-12 14:51:18
1153
原创 idea maven项目中引入ojdbc依赖包红色波浪线问题
在orcale官网上面下载jdbc驱动包地址：https://www.oracle.com/technetwork/database/features/jdbc/default-2280470.html下载改好名字ojdbc7-12.1.0.2 之后cmd里面找到jar位置用mvn install:install-file -DgroupId=com.oracle -Dartifact...
2019-06-12 14:47:56
2265
1
原创 在新的集群里面添加新的节点，主机
1、首先在新的主机环境中安装JDK（orcale官方版本），关闭防火墙，修改selinux（关闭），ntp与主机同步，修改hosts、与主机配置免密登录2、上传cloudera-manager.tar.gz文件到/opt目录解压，修改agent配置文件：vi /opt/cm-5.5.0/etc/cloudera-scm-agent/config.iniserver_host=Maste...
2018-12-06 19:42:52
1264
原创 CDH5.5.X安装及出现的问题解决
一定要细心CDH：（Cloudera`s Distribution ,inclluding Apache Hadoop）,是Hadoop众多分支中的一个，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多的补丁，稳定Cloudera Manager 则是为了便于在集群中进行 Hadoop 等大数据处理相关的服务安装和监控管理的组件，对集群中主机、Hado...
2018-12-06 19:38:16
2013
转载 Sqoop工具的使用和详解
Sqoop是用来进行数据导入导出的工具，一般用在hadoop这个框架中，常用的应用场景有将mysql数据库中的数据导入HDFS或者Hive、Hbase，或者从后者中导出到关系型数据库中，下面将进行几段代码的演示导入和导出的过程。将mysql中的数据导入到hadoop集群上（HDFS）：首先将脚本命令贴出：./sqoop import --connect jdbc:mysql://localhost...
2018-07-05 17:10:23
1701
原创 Spark入门和安装部署集群搭建
一、Spark的概述： spark是什么 spark是基于内存的计算框架，计算速度非常快。如果想要对接外部的数据，比如HDFS读取数据，需要事先搭建一个 hadoop 集群。 为什么要学习spark * 1、spark运行速度比mapreduce快很多 * spark的job中间处理结果可以保存在内存中。mapreduce每次任务的结果输出都会保存在磁盘 * ...
2018-06-27 17:14:59
8110
原创 linux连不上网问题总结
最低级的错误没有关闭防火墙 1) 重启后生效 开启： chkconfig iptables on 关闭： chkconfig iptables off 2) 即时生效，重启后失效 开启： service iptables start 关闭： service iptables stop1、检查当前环境配置的IP信息 ...
2018-06-27 17:00:20
55345
1
原创 JMS主要特性
Java消息传递服务（Java Messaging Service （JMS）） JMS是最成功的异步消息传递技术之一。定义了构建消息传递系统的API。面向Java平台的标准消息传递API 在Java或JVM语言比如Scala、Groovy中具有互用性 无需担心底层协议 有queues和topics两种消息传递模型 支持事务 能够定义消息格式（消息头、属性和内容...
2018-04-18 22:47:22
528
原创 怎么选择日志的级别
日志的级别有： 1.FATAL（CRITICAL） 2.ERROR 3.WARN 4.INFO 5.DEBUG它们的权重从大到小，当我们设置好log级别后，比它权重低的其他log都会被忽略。FARA：代表发生了最严重的的错误，会导致整个服务停止（或者需要整个服务停止），也就是服务死掉了ERROR：代表发生了必...
2018-03-29 08:04:23
6946
Introduction to Algorithms(算法导论)+算法导论中文版
2019-04-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人