大数据中常用脚本--cut

最新推荐文章于 2024-05-15 10:36:01 发布

原创

最新推荐文章于 2024-05-15 10:36:01 发布 · 890 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#linux #cut #大数据

1.简介

1.1 国际惯例

按照国际惯例先来理论的介绍。

cut是在Linux里非常常用的一个命令，cut命令是一个选取命令，其功能是将文件中的每一行”字节” ”字符” ”字段” 进行剪切，选取我们需要的，并将这些选取好的数据输出至标准输出。执行过程：选取命令通常是针对一行一行的数据来进行分析的，并不是整篇信息分析。

2.常用选项

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Learn_ZhangK

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

大数据常用shell脚本之分发脚本

广彐水厂

05-23

640

一、前置准备 CentOS7、jdk1.8、hadoop-2.7.7 想要完成本期视频中所有操作，需要以下准备： Hadoop完全分布式集群环境搭建-视频教程二、简单了解 basename：会删掉所有的前缀包括最后一个（‘/’）字符，然后将字符串显示出来 dirname：从给定的包含绝对路径的文件名中去除文件名（非目录部分），然后返回剩下的路径（目录的部分） Shell数组用括号来表示，元素用空格符号分割，Shell中使用@ 或 * 可以获取数组中的所有元素 rsync是根据自己独特的算法

大数据常用脚本（持续更新）

FreedomZzzzz的博客

10-24

1081

1.zkmanager启动脚本 ./zkmanager.sh #! /bin/bash for host in hdp-1 hdp-2 hdp-3 do echo "${host}:${1}ing...." ssh $host "source /etc/profile;/root/apps/zookeeper-3.4.6/bin/zkServer.sh $1" done sleep 2 ...

参与评论您还未登录，请先登录后发表或查看评论

我常用的大数据执行脚本，共享给大家

m0_37845836的博客

08-21

1524

首先到238执行： cd /usr/local/hbase-1.2.1/bin/ ./stop-hbase.sh 碰到报错，到238，239，240 cd /usr/local ./stophbase.sh 执行完之后，使用 ps axu |grep hbase 查看是否还有残余进程。。有的话，根据查看到的pid 执行 kill -9 $pid （这里的$p

大数据开发常用Shell脚本

blackrock233的博客

02-18

2541

数据仓库集群搭建时一些常用脚本，方便集群的启调停

大数据常用shell脚本之fl脚本

广彐水厂

05-25

1334

一、前置准备 CentOS7、jdk1.8、zookeeper-3.5.7、kafka-2.4.1、flume-1.9.0 想要完成本期视频中所有操作，需要以下准备： Flume安装及基本使用-视频教程 Kafka集群环境搭建-视频教程 大数据常用shell脚本之分发脚本编写-视频教程 大数据常用shell脚本之zk脚本编写-视频教程 大数据常用shell脚本之ha-hadoop脚本编写-视频教程 大数据常用shell脚本之kf脚本编写-视频教程二、简单了解 nohup可以在你退出帐户/关闭终端之

大数据集群和工作中常用的Shell脚本--更新中

weixin_43605446的博客

05-15

465

以三台服务器组成的集群为例-注意脚本需要授权。

大数据学习之路-Linux基础

weixin_43441789的博客

01-29

4143

Linux基础与Shell编程1. Linux概述2. 系统安装3. Linux目录与结构4. VI/VIM编辑器4.1 打开和新建文件4.2 VI三种工作模式末行模式命令一般模式编辑模式指令模式5 网络配置和系统管理操作5.1 配置网络ip地址5.2 配置主机名5.3 服务管理5.4 关机重启命令6 常用基本命令6.1 帮助命令6. 2 文件目录类6.3 时间日期类6.4 用户管理命令6.5 用户组管理命令6.6 文件权限类6.7 搜索查找类6.8 压缩和解压类6.9 磁盘分区类6.10 进程线程类6.1

大数据开发扩展shell--尚硅谷shell笔记

weixin_55008454的博客

03-23

1122

1/bin/sh/bin/bash/bin/dash/bin/tcsh/bin/csh2bash和sh的关系-rwxr-xr-x. 1 root root 941880 5月 11 2016 bashlrwxrwxrwx. 1 root root 4 5月 27 2017 sh -> bash3Centos默认的解析器是bash/bin/bash1）常用系统变量HOMEHOME、HOMEPWD、SHELLSHELL、SHELLUSER等2）案例实操。

大数据学习之路-Hive

weixin_43441789的博客

03-09

1098

Hive1. Hive基本概念1.1 什么是Hive1.2 Hive的优缺点1.2.1 优点1.2.2 缺点1.3 Hive架构原理1.4 Hive和数据库比较1.4.1 查询语言1.4.2 数据更新1.4.3 执行延迟1.4.4 数据规模2. Hive安装2.1 Hive安装地址2.2 MySql安装2.3 Hive安装部署2.4 Hive元数据配置到MySql2.4.1 拷贝驱动2.4.2 配置Metastore到MySql2.5 启动Hive2.5.1 初始化元数据库2.5.2 启动Hive2.5.

大数据平台用于生成数据跑批脚本的脚本(version2.0)

热门推荐

BabyFish13

06-01

1万+

一、脚本文件路径 [hs@master script_generate]$ pwd /home/hs/opt/dw-etl/script_generate [hs@master script_generate]$ tree -f . ├── ./batch_table.list ├── ./etl_table_list_update.sh ├─

shell脚本-大数据

12-30

shell脚本-大数据

大数据常用Shell脚本（二）

weixin_43646427的博客

09-15

272

一、read命令等待用户输入，赋值给后面的变量 t 代表间隔多少s p 代表提示信息 name用于接收输入的变量 read -t 7 -p "请输入你想打印的文字：" name echo $name 二、常用命令 cut：从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段输出在linux输入tab，在单引号中 ‘’ 先按ctrl+v，再按tab #cut.txt内容，以tab分隔============================ dong shen guan zhen wo wo

大数据常用shell脚本之kf脚本

广彐水厂

05-23

462

一、前置准备 CentOS7、jdk1.8、zookeeper-3.5.7、kafka-2.4.1 想要完成本期视频中所有操作，需要以下准备： Kafka集群环境搭建-视频教程 大数据常用shell脚本之分发脚本编写-视频教程 大数据常用shell脚本之zk脚本编写-视频教程 大数据常用shell脚本之ha-hadoop脚本编写-视频教程二、脚本源码 #!/bin/bash #作者：小康 #描述：Kafka集群启动停止以及查看状态脚本 #微信公众号：小康新鲜事儿 USAGE="使用方法：sh kf

脚本处理大数据文件

Tank_War的博客

08-21

949

cut unique sed paste 处理文件

大数据学习：shell脚本

X_Serendipity的博客

12-14

796

shell脚本

大数据里常用shell命令

weixin_42474635的博客

04-22

463

hrm -rf 文件名删除有内容的目录 tar -zxf hadoop-2.7.7.tar.gz -C …/modules 将文件解压到某目录下 rm -rf /root/.local/share/Trash/files 清空回收站 source 保存(生效)文件 hive里进入mysql数据命令mysql -u root -p liunx环境变量配置失败，命令无效 nano /etc/p...

大数据之shell常用命令

水滴的博客

06-11

225

shell 常用命令

大数据中常用脚本--解压

Learn_ZhangK的博客

05-08

642

1.解压tar –xvf file.tar //解压 tar包 tar -xzvf file.tar.gz //解压tar.gz tar -xjvf file.tar.bz2 //解压 tar.bz2 tar –xZvf file.tar.Z //解压tar.Z unrar e file.rar //解压rar unzip file.zip //解压zip 2.压缩tar –cvf jpg...

大数据中常用脚本--awk

Learn_ZhangK的博客

05-08

771

[root@www ~]# last -n 5 <==仅取出前五行 root pts/1 192.168.1.100 Tue Feb 10 11:21 still logged in root pts/1 192.168.1.100 Tue Feb 10 00:46 - 02:28 (01:41) root pts/1 192.168.1.100 Mon Feb 9 11:41 - 18:30 (06:48) dmtsai pts/1 192

数据开发常用的shell脚本