Lucky的专栏

1、在Ubuntu环境下安装svn需要一下依赖包 subversion-1.8.10.tar.gz:http://download.youkuaiyun.com/detail/luo849278597/8208909sqlite-amalgamation-3071501.zip:http://download.youkuaiyun.com/detail/luo849278597/8208923m4

1、下载mysql二进制文件mysql-5.6.20-linux-glibc2.5-i686.tar.gz,官方网址:

上一篇我们介绍了单机模式搭建Hadoop的环境，很简单，这一篇我们来介绍集群模式的Hadoop的搭建，有很多部分是和部署单机是一样的，在这一篇就会省略带过。搭建环境：在这里我们使用的是本地局域网内的服务器，分别是2G内存、50G硬盘、CentOS6.0的环境172.16.139.128 Master172.16.139.129 Slave1172.16.139.130 Slave2

本人自学Hadoop也有一段时间了，由于最近工作不太忙，想利用业余空闲时间来实现一下基于Hadoop的ETL，不过本人不太清楚别人是怎么实现的，而且网上资料有限，可能会是一个坑，不过感觉和大家分享下，还是有些帮助的，也借此做下笔记。现在阶段的大数据的ETL主要分为三个阶段：抽取、转换、加载，如图这三个阶段具体到实际项目中也就是数据的导入、数据的分析以及数据的导出。数据的导入：一

在这里我们直接给出代码，然后对代码解析分析来学习：conf/import.xml think_task think_task_child think_user_task think_user_task think_task bin/import.sh#!/bin/bash#get the environmentif [ -f ~/.bash

conf/sqoop.xml jdbc:mysql://master:3306/db_cda root 123 --> 1 '\\\\N' '\\\\N' true true true jdbc:mysql://master:330

conf/hive.xml create table if not exists think_statistics(date_type_name string,date_name string,type int,type_name string,count int) row format delimited fields terminated by '\\t' lines termi

conf/export.xml think_statistics bin/export.sh#!/bin/bash#get the environmentif [ -f ~/.bashrc ];then . ~/.bashrcfi#file exitif [ -z $1 ];thenecho 'USAGE:COMMAND FILENAME'exit 0

conf/flow.sh ../conf/import.xml ../conf/hive.xml ../conf/export.xmlbin/flow.sh#! /bin/bash#get the environmentif [ -f ~/.bashrc ];then . ~/.bashrcfi#file exitif [ -z $1 ];thenech

随着互联网大数据的兴起，Hadoop这个专门用于大数据处理的框架也越来越被人重视起来，可以说Hadoop这个框架是现阶段进行大数据处理的标配，作为一个冲锋于互联网的先锋军，学习一下Hadoop这个框架都是有必要的。当然学习也是要一步一步的，在学习Hadoop集群搭建之前我们先学习一下在单机环境下的Hadoop的搭建，这一节我们要学习的是Linux下Hadoop单机环境的搭建。

使用OpenSSL来签证书1、生成根证书所用的密钥openssl genrsa -des3 -out ca.key 10242、去除CA密钥的口令openssl rsa -in ca.key -out ca.key3、生成CA即ROOT CA证书并自签openssl req -new -x509 -key ca.key -out ca.crt -conf

服务器要求：jdk-8u121-linux-x64.tar.gz、kafka_2.12-0.10.2.1.tgz、spark-1.3.1-bin-hadoop2-without-hive.tgz1、生产者—SpringMVC+Kafka1.1、准备工作所需资源：kafka_2.10-0.8.2.2.jar、kafka-clients-0.10.0.0.jar，把这两个jar包导入到项目

前言最近闲来无事逛了一下Mysql官方，发现Mysql出新版本了，于是本着尝鲜的心态打算用下，原先想着拿着以前安装Mysql的经验安装本不会有太大问题的，不料竟然一度陷入了一个大坑中，花费了不少时间才跳出啦，于是分享出本人这次入坑的经历，希望能对于同样入坑的同学有一些帮助，哈哈..........，不废话了，开始出坑！工作准备 官网：https://dev.mysql.com/down

随着Hadoop的深入学习，渐渐用到了Hadoop相关的家族成员Hive、Spark、Sqoop等，其中Hive主要是为了使我们在进行大数据开发的时候更加快捷高效，而且又因为它的类SQL的特性使我们很容易上手；而Spark这个工具是极为高效的大数据的处理引擎，据说是可以达到Hadoop的MapReduce处理速度的几十倍，但是由于它不像Hive使用类SQL的语法，因此学习的成本要高很多，因此在Ha

1、访问http://localhost:8983点击菜单Core Admin->Add Core,会出现以下页面见我们需要手动创建Core目录，该目录下要包含conf/solrconfig.xml、conf/schema.xml这连个基本文件2、配置solrconfig.xml因为我的项目需要加速数据库中数据的访问速度，因此需要加入结构化数据的数据导入句柄 //我们

1、安装openssltar -zxvf openssl-1.0.2-latest.tar.gz ./config --prefix=/usr/local/openssl -fPIC no-gost no-shared no-zlibmake dependmake install

安装libgd./configure -prefix=/usr/local/gd-2.1.0 -with-jpeg=/usr/local/jpeg6 -with-png=/usr/local/ -with-zlib=/usr/local/ -with-freetype=/usr/local/freetype安装xpmyum install libXpm-devel.x86_64

1、下载安装PHP所依赖的支持文件libxml2

./configure: error: the HTTP gzip module requires the zlib library.You can either disable the module by using --without-http_gzip_moduleoption, or install the zlib library into the system, or buil

1、到官方http://www.memcached.org/downloads下载二进制安装包，我下载的是

1、到官方http://www.redis.io/download下载redis-2.8.17.tar.gz2、sudo tar

1、xi nj[Desktop Entry]Categories=Development;Comment[zh_CN]=Comment=Exec=/usr/local/soft/eclipse/eclipseGenericName[zh_CN]=IDEGenericName=IDEIcon=/usr/local/soft/eclipse/icon.xpmMi

最近自己在空闲的时候试着在linux

1、Nginx服务器需要依赖两个依赖包：pcre-8.10.zip 、zlib-1.2.3.tar.gz ，但是我们只需要他们的源码路径，而不要他们的安路径，所以这两个依赖包不需要安装2、分别解压这两个依赖包；3、解压 nginx-1.7.5.tar.gztar -zxvf nginx-1.7.5.tar.gz4、安装配置./configure --prefix=/usr/

CentOS 7.0默认使用的是firewall作为防火墙，这里改为iptables防火墙。1、关闭firewall：systemctl stop firewalld.service #停止firewallsystemctl disable firewalld.service #禁止firewall开机启动2、安装iptables防火墙yum install

1、Linux配置IP地址1）ifconfig命令临时配置IP地址ifconfig 命令 查看Linux网络状态ifconfig eth0 192.168.0.200 netmask 255.255.255.0 临时配置eth0网卡的IP地址与子网掩码2）setup工具用具配置IP地址3）修改网络配置文件/etc/sysconfig/network-scri

在Mac通过ssh localhost 拒绝访问的问题，可能是由于sshd服务未开启1、开启sshd服务sudo launchctl load -w /System/Library/LaunchDaemons/ssh.plist2、查看ssh的服务是否开启sudo launchctl list |grep ssh3、sudo ssh localhost连接本地loc

ssh -l root -p 2222 122.yum install httpd httpd-devel subversion mod_dav_svn mod_auth_mysql

Linux系统启动的过程大概可以分为5步：1、首先加载Linux系统的内核文件，也就是boot首先读取/boot目录下的内核文件；2、第二步是，运行Linux下的init进程，这个进程是所有进程的起点，这个进程程序就是/etc/inittab这个文件;Linux系统有7个运行级别(runlevel)：运行级别0：系统停机状态，系统默认运行级别不能设为0，否则不能

1、到官方网站下载linux环境下的软件vao

Tomcat的优化分成两块：ü   Tomcat启动命令行中的优化参数即JVM优化ü   Tomcat容器自身参数的优化（这块很像ApacheHttp Server）这边讨论的JVM优化是基于Oracle Sun的jdk1.6版有以上，其它JDK或者低版本JDK不适用。1、Tomcat 启动行参数的优化：Tomcat 的启动参数位于tomcat的安装目录\bin目录下，如果你是

今日编译apache时出错：#./configure --prefix……检查编辑环境时出现：checking for APR... noconfigure: error: APR not found .  Please read the documentation解决办法：1.下载所需软件包：wget http://archive.apache.org/dist/apr/

最近在阿里云服务器使用Docker启动Tomcat，发现tomcat服务器启动过程很慢。但是在本地启动很快，一直找不到问题所在，查看Tomcat服务器启动日志发现打印出这么一段日志：二月 12, 2018 9:20:02 上午 org.apache.catalina.util.SessionIdGeneratorBase createSecureRandom信息: Creation of Sec...