Shell编程基础系列(2)------一些基本的命令

本文介绍Shell编程中的基础命令,包括与文件和目录相关的操作,如ls、chgrp、chown、chmod等,以及文件内容处理指令,如cat、tac、more、less等。同时涵盖常见压缩文件格式及Shell编程中的一些实用技巧。

 Shell编程基础系列(2)------一些基本的命令

常使用Tab自动命令补全的功能

1.与文件和目录有关的命令:

(1)ls

(2)chgrp

(3)chown

(4)chmod

(5)cp

(6)touch----创建一个空文件;

(7)mv

(8)rm

(9)cd----Change Directory:切换目录;

(10)pwd----Print Working Directory:显示当前的目录;若是有P的选项,表示显示的是非连接文件的路径,(P=physical);

(11)mkdir <>rmdir(仅能删除一个空的目录)----rm -r 目录名(删除目录及其下所有的文件与目录);

2.与文件内容有关的指令:

(1)cat----concatenate:由第一行开始显示文件内容;

(2)tac----最后一行开始显示;

(3)more----一页一页的显示;

(4)less----与more类似,但是更好的是可以向前翻页;

(5)head && tail;

(6)od----二进制方式读取文件内容

(7)file---查看文件的类型;

3.一些常见的压缩文件:

(1)*.Z:compress程序压缩文件;(不再流行)

(2)*.gz: gzip程序压缩的文件;

(3)*.bz2: bzip2程序压缩的文件;

(4)*.tar: tar程序打包的文件,并没有进行压缩过;

(5)*.tar.gz: tar程序打包,gzip压缩过;

(6)*.tar.bz2:tar程序打包,bzip2压缩过。

 

 

多源数据接入 支持校园各业务系统数据接入:包括教务系统(学生成绩、课程信息)、学工系统(奖惩记录、资助信息)、后勤系统(宿舍分配、能耗数据)、图书馆系统(借阅记录、馆藏信息)、一卡通系统(消费数据、门禁记录)等。 接入方式:提供数据库直连(MySQL、SQL Server)、文件导入(CSV、Excel、JSON)、API 接口调用等多种方式,支持实时同步与定时批量同步。 数据标准化与治理 建立校园数据标准体系:统一数据格式(如日期格式、学号编码规则)、定义核心数据元(如 “学生” 包含学号、姓名、专业等必选字段)、规范代码集(如性别代码 “1 - 男,2 - 女”)。 数据清洗:自动检测并处理缺失值、重复值、异常值(如成绩 > 100 分),通过规则引擎实现数据校验(如 “学生年龄需在 16-30 岁之间”)。 元数据管理:记录数据来源、格式、更新频率、负责人等信息,生成数据血缘图谱,追踪数据从产生到应用的全生命周期。 二、数据共享与交换核心功能 分布式数据存储 基于 Hadoop HDFS 实现海量数据存储:结构化数据(成绩、消费记录)存入 HBase,非结构化数据(文档、图片、视频)直接存储于 HDFS,日志类数据通过 Flume 采集至 HDFS。 支持数据分片与副本机制,确保数据高可用(默认 3 副本存储),满足校园 PB 级数据存储需求。 数据交换引擎 构建点对点数据交换通道:各部门系统可通过交换引擎向平台上传数据或申请获取授权数据,支持同步 / 异步交换模式。 交换流程管理:定义数据交换规则(如 “学工系统每日向平台同步新增学生信息”),记录交换日志(成功 / 失败状态、数据量),失败时自动重试。 数据脱敏:对敏感数据(如身份证号、银行卡号)在交换过程中进行脱敏处理(如显示 “110********5678”),兼顾共享与隐私保护。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值