u011579204的专栏

原创 datanode启动不来

日志原因java.io.IOException: Incompatible clusterIDs in /tmp/hadoop-hadoop/dfs/data: namenode clusterID = CID-ff33b7bd-5743-4d92-9ab2-ed8855b0b46a; datanode clusterID = CID-f13855bb-a561-4675-bef5-2c9ef8...

原创 spark安装

hadoop版本hadoop2.9.2spark版本spark-2.3.3conf/spark-env.shexport SPARK_DIST_CLASSPATH=$(hadoop classpath)export HADOOP_CONF_DIR=/home/hadoop/hadoop-2.9.2/etc/hadoopexport SPARK_MASTER_IP=localhost...

原创 bigflow 在centos7下的使用

编译步骤：root权限顺畅些。git clone https://github.com/baidu/bigflow.gitcd bigflow/build_supportsh build_deps.shsource ./environmentmkdir -p ../build && cd ../build && cmake ..makemake r...

原创 编译错误: /bin/sh: 1: pushd: not found的问题

ubuntu虚拟机环境中报如下错误：查看原因：进入/bin目录，查看sh的链接文件，显示如下：表示sh命令链接到的是dash，但是pushd命令需要在bash的环境中执行。解决：sudo dpkg-reconfigure dash 将dash设置为No。执行sudo dpkg-reconfigure dash 命令，将dash设置为No。root@parallels-Para...

原创 hadoop账号赋予root权限

赋予root权限sudo nano /etc/sudoershadoop ALL=(ALL) ALLalias ll='ls -l'

原创 Mac报错:Error: The following directories are not writable by your user: /usr/local/share/man/man8

解决方案sudo chown -R `whoami`:admin /usr/local/binsudo chown -R `whoami`:admin /usr/local/share

原创 cmake源码包安装

源码包http://www.cmake.org/cmake/resources/software.htmltar -xzvf cmake-2.8.9.tar.gzcd cmake-cmake-2.8.9./bootstrapmakemake install

原创 Permissions 0644 for '/root/.ssh/id_rsa.pub' are too open

根据翻译应该是权限太大，ssh自身的安全策略把操作命令拒绝了，权限降低即可chmod 0600 ~/.ssh/id_rsa.pub

原创 ssh-keygen -t rsa -C "310540428@qq.com" cat /root/.ssh/id_rsa.pub 写入到gitup

ssh-keygen -t rsa -C "用户名自取"cat /root/.ssh/id_rsa.pub写入到gitub

原创 mac安装wget源码包

tar -zxvf wget-1.10.1.tar.gz./configuremakemake install

原创 环境变量设置坏了怎么办

切换到root环境/usr/bin/sudo -i编辑对应的某用户目录下的~/.bashrc删除掉出错的环境变量source

原创 hadoop streaming job cli模式

/home/hadoop/hadoop-2.9.2/bin/hadoop jar /home/hadoop/hadoop-2.9.2/share/hadoop/tools/lib/hadoop-streaming-2.9.2.jar -input /user/input/file.1 -output /user/output8 -mapper "python3 mapper.py" -redu...

原创 mac安装hadoop

首先在终端输入:ssh localhost，如果终端有返回Last login: Mon Jul 8 16:33:56 2019说明你之前成功配置了SSH keys,如果没有返回该内容，请按下述步骤新建一个配置: ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/author...

原创 mac安装docker

brew cask install dockerdocker --version

原创 ubuntu设置root密码

打开终端输入：sudo passwdPassword: <--- 输入你当前用户的密码Enter new UNIX password: <--- 新的Root用户密码Retype new UNIX password: <--- 重复新的Root用户密码passwd：password updated successfully...

原创 docker安装hadoop源码

下载hadoop源码包https://hadoop.apache.org/releases.html运行脚本

原创 ubuntu docker安装

1, 安装dockersudo install docker.io2, 安装以下包以使apt可以通过HTTPS使用存储库（repository）：sudo apt-get install -y apt-transport-https ca-certificates curl software-properties-common3, 添加Docker官方的GPG密钥：curl -...

原创 mac连接samba

第一种方式1、wget "http://hetu.baidu.com:80/api/tool/getFile?toolId=1145&amp;fileId=925" -O "samba-3.5.8.tar.gz" 2、解压tar zxvf samba-3.5.8.tar.gz 3、执行 cd samba-3.5.8/source3 4、执行 ./configure &amp;&amp; make ...

原创 No goals have been specified for this build. You must specify a valid lifecycle phase or a goal in t

出现此错误在pom.xml 里面 build 添加&lt;defaultGoal&gt;compile&lt;/defaultGoal&gt;如

原创 IntelliJ IDEA项目导入Jar包

原创 FastDFS 在 CentOS 下配置安装部署

1、下载安装包wget https://github.com/happyfish100/libfastcommon/archive/V1.0.7.tar.gzwget https://github.com/happyfish100/fastdfs/archive/V5.05.tar.gz2、编译   cd libfastcommon-1.0.7   ./make.sh  ./make.sh ins...

转载 shel自动统计网站访问日志

shell脚本，可以用来统计每天的访问日志，了解网站情况。脚本统计了：1、总访问量2、总带宽3、独立访客量4、访问IP统计5、访问url统计6、来源统计7、404统计8、搜索引擎访问统计(谷歌，百度)9、搜索引擎来源统计(谷歌，百度)#!/bin/bashlog_path=/home/www.centos.bz/log/access.

转载 R 语言 Windows 环境 安装与Windows下制作R的package

1.1    预装的软件 （所有软件都可以在 http://www.biosino.org/R/R-doc/Rm/ 和 http://www.biosino.org/R/requiredSoftWares下载）1.1.1          R 软件（R的官方下载：http://www.r-project.org/index.html；或者在我创建的一个本地非官方下载：http://www.bi

转载 Windows + IDEA + SBT 部署Spark源码阅读环境

Windows + IDEA + SBT  部署Spark源码阅读环境Spark源码阅读环境的准备Spark源码是有Scala语言写成的，目前，IDEA对Scala的支持要比eclipse要好，大多数人会选在在IDEA上完成Spark平台应用的开发。因此，Spark源码阅读的IDE理所当然的选择了IDEA。本文介绍的是Windows下的各项配置方法（默认已经装了java，J

原创 hive递归子目录作为输入

在hive-cli中设置参数：set hive.mapred.supports.subdirectories=true;set mapreduce.input.fileinputformat.input.dir.recursive=true;

原创 hive结合python

CREATE TABLE IF NOT EXISTS user(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';CREATE TABLE IF NOT EXISTS job(id int, position string, user_id int) ROW FORMAT DELIMITED FIEL

转载 hive sql讲解

Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需要的内容，这套SQL 简称Hive SQL，使不熟悉mapreduce 的用户很方便的利用SQ

转载 Hive 中如何使用符合数据结构 maps，array，structs

在Hive 中如何使用符合数据结构  maps，array，structs 1. Array的使用 创建数据库表，以array作为数据类型 create table  person(name string,work_locations array)ROW FORMAT DELIMITEDFIELDS TERMINATED BY '\t

原创 hive操作(四)

1、内部表a、无分区load数据：load data inpath '/home/file' overwrite into table search_urls_outer  会将hadoop文件夹下的/home/file移到/user/hive/warehouse/search_urls_outer /file当drop table search_urls_outer 时，远数

原创 hive操作(三)

从本地导入到hive中insert overwrite local directory '/home/source/load_local.txt' select * from t_hive2;导hdfs文件到hive中load data inpath '/user/hive/warehouse/t_hadoop/load_f.txt' overwrite into table t_hi

原创 sqoop基本 操作

列出 hive的 所有库 sqoop list-databases --connect jdbc:mysql://localhost --username hive --password hive列出所有的表 sqoop list-tables --connect jdbc:mysql://localhost/hive_metadata --username hive --passwo

原创 sed删掉换行符

cat urfile | sed 'N;s/\n/ /'

原创 sed 替换多个空格为一个

sed -i 's/[ ][ ]*/ /g'  file.txt

原创 excel 补全所有空格

首先选中A列，按F5键，再按“定位条件„”按钮，选择空值，这样就把所有空列选中了，但是光标停留的位置是A3格上； 然后直接输入“=A2”，再按Ctrl + 回车首先全选中所有列，按F5键，再按“定位条件„”按钮，选择空值，这样就把所有空列选中了， 然后直接输入“你想要替换的值”，再按Ctrl + 回车

原创 hadoop常见操作命令

1、查看指定目录下内容hadoop dfs –ls [文件目录]eg: hadoop dfs –ls /user/wangkai.pt2、打开某个已存在文件hadoop dfs –cat [file_path]eg:hadoop dfs -cat /user/wangkai.pt

原创 shell遍历建文件夹 及 文件

文件夹#!/bin/shHADOOP=/home/hadoop/hadoop/binfor i in {3..1}do    getd=$(date +%Y%m%d -d "  ${i} days ago")    hadoop fs -mkdir /work/hpsouce/${getd}done文件 #!/bin/shHADOOP

原创 shell 统计nginx访问日志的前10

awk '{print $1}' access.log | sort | uniq -c | sort -nr | head -n 10

原创 下载地址：

tomcat下载地址：http://www.apache.org/dist/tomcat/tomcat-6/v6.0.44/bin/

原创 Cannot delete .... . Name node is in safe mode

如何关闭安全模式呢？bin/hadoopdfsadmin -safemode leave原因:在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。运行期

原创 java环境配置

C:\Program Files\Java\jdk1.8.0_51   .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;    %JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;