
linux
文章平均质量分 57
power0405hf
这个作者很懒,什么都没留下…
展开
-
Linux 文件操作
1.查找文件find ../ -name *.log -print2.移动文件夹mv a ../../b原创 2015-08-24 14:47:25 · 380 阅读 · 0 评论 -
Shell 查找与替换
1.文本查找 searching传统上,有3种程序可以用来查找整个文本文件。 1. grep 基本正则表达式 2. egrep 扩展正则表达式 3. fgrep 快速grep,匹配固定字符串而非正则表达式,它使用优化算法,能更有效的匹配固定字符串。 后来这三个都整合到了grep中。1.简单的grep who | grep -F austen使用-F选项查找固定字符串austen,事实上转载 2017-06-16 23:21:10 · 1445 阅读 · 0 评论 -
Linux 查看磁盘空间
1.查看磁盘剩余空间 df -h2.当前文件夹下的磁盘使用情况 du –max-depth=1 -h #当前文件夹下,子文件夹的大小h参数:显示K,M,G等容量单位 du -sh #当前文件夹的总大小 du -h –max-depth = 0–max-depth=0和-s是一样的指定文件夹下的磁盘使用情况 du -sh /opt/oracle 磁盘过大时需原创 2015-12-04 09:58:25 · 1627 阅读 · 0 评论 -
Linux mysql 启动
1.检查是否已经有mysql2.chkconfig mysql 服务原创 2016-01-21 20:35:32 · 733 阅读 · 0 评论 -
Linux Vim 基本操作
1.编辑在命令行下输入切换到打开VIM,按下i进入编辑模式,开始编辑文本,按下esc进入命令模式。初步使用:打开在图形界面下打开VIM,按下i建,进入编辑模式,编辑文字, 保存并且退出:按下esc建进入命令模式,按下:wq,注意命令此命令有冒号。 不保存退出: 按下:esc键,键入 :q!查找替换/word 查找文件为WOED 的字符。向下 ?word 向上寻找一个味WORD 的字符。原创 2015-08-24 22:27:16 · 351 阅读 · 0 评论 -
杀掉YARN上面的SparkSubmit任务
yarn application -kill appid //appid不需要引号就可以结束YARN上面跑的出现异常无法关闭的任务了。 :)原创 2016-01-04 19:34:24 · 25600 阅读 · 1 评论 -
提交Python 代码到Spark
没有设置spark环境变量的话:cd /spark路径/bin./spark-submit /usr/qy/test_pyspark.pytest_pyspark.py:#!/usr/bin/env python# -*- coding: utf-8 -*-# Wicle Qian# 2015.11.19# test the python in Spark without pysparkfr原创 2015-11-21 15:10:20 · 11152 阅读 · 0 评论 -
linux 基本命令
1.文件相关当前工作目录 pwd普通用户操作时,进入的是/home/user_name目录,这也是唯一一个允许用户写文件的地方。 cd 更改当前目录 cd ./bin = cd bin cd .. #后退 cd #将工作目录改成主目录 cd- #将工作目录变成先前的工作目录 cd ~username #将工作目录变成用户username的主目录原创 2015-11-18 22:23:24 · 531 阅读 · 0 评论 -
Scala Hbase 问题汇总 stack overflow
1.object hbase is not a member of package org.apache.hadoop when compiling scala 在Scala工程中使用HBase API,import hbase时, import org.apache.hadoop.hbase出现编译错误解决(大概,没有尝试): 使用sbt构建工程时,添加依赖: hbase-clien原创 2015-11-18 14:33:57 · 2232 阅读 · 0 评论 -
source ~/.bashrc ~/.bash_profile
1.sourcesource的作用是用来执行一个脚本 source a.sh 和直接执行 ./a.sh的区别: 调用./a.sh来执行shell是在一个子shell里运行的,所以执行后,结构并没有反应到父shell里,但是source不同它就是在本shell中执行的,所以可以看到结果。 比如你在一个脚本里export $KKK=111 ,如果你用./a.sh执行该脚本,执行完毕后,你运行 ec原创 2015-11-18 11:23:40 · 3192 阅读 · 0 评论 -
linux 压缩解压缩命令
打包就是把若干文件或文件夹放到一个tar文件中,但是不会压缩文件大小。压缩就是在打包的基础上压缩文件的大小。tar 解压/压缩命令格式:tar [主选项+辅选项] 文件或者目录 tar czvf a.py 将文件gzip压缩,打包成xxx.tar.gz-c:create,把文件打包 -t:查看tarfile里面的文件 -x:把文件解包 这三个是只能同时存在一个,因为不可能同时打原创 2015-11-16 22:16:45 · 378 阅读 · 0 评论 -
linux find命令
1.全硬盘查找 find / -name a.py2.特定文件夹查找 find /etc -name a.py3.根据部分文件名查找find /etc -name '*hadoop*'4.根据文件的特征查找# 查找一个大小为1500字节的文件 # c表示字节find / -size 1500c# 查找一个size大于1000字节的文件find / -size +1000c#原创 2015-11-16 16:30:30 · 657 阅读 · 0 评论 -
Spark 使用Python在pyspark中运行简单wordcount
Spark入门(Python版) Spark1.0.0 多语言编程之python实现 Spark编程指南(python版)进入到spark目录, 然后采用默认的设置运行pyspark ./bin/pyspark配置master参数,使用4个Worker线程本地化运行Spark(local[k]应该根据运行机器的CPU核数确定) ./bin/pyspark –master local[原创 2015-11-19 21:49:52 · 34779 阅读 · 0 评论 -
Linux C hello world
在linux环境下写一个C语言的hello world程序:首先检查有没有gcc编译器 gcc -v # 查看gcc的版本新建c文件> mkdir ./C> cd ./C > vim hello.c> #写c程序#include <stdio.h>int main(){ printf("hello world\n"); return 0;}shift+z+z原创 2015-10-23 20:27:53 · 470 阅读 · 0 评论 -
Linux Vim 基本操作
1.编辑在命令行下输入切换到打开VIM,按下i进入编辑模式,开始编辑文本,按下esc进入命令模式。初步使用:打开在图形界面下打开VIM,按下i建,进入编辑模式,编辑文字, 保存并且退出:按下esc建进入命令模式,按下:wq,注意命令此命令有冒号。 不保存退出: 按下:esc键,键入 :q!查找替换/word 查找文件为WOED 的字符。向下 ?word 向上寻找一个味WORD 的字符。转载 2015-08-20 22:41:54 · 381 阅读 · 0 评论 -
Shell 查找与替换
1.文本查找 searching传统上,有3种程序可以用来查找整个文本文件。 1. grep 基本正则表达式 2. egrep 扩展正则表达式 3. fgrep 快速grep,匹配固定字符串而非正则表达式,它使用优化算法,能更有效的匹配固定字符串。 后来这三个都整合到了grep中。1.简单的grep who | grep -F austen使用-F选项查找固定字符串austen,事实上转载 2017-06-16 23:21:54 · 1799 阅读 · 0 评论