大数据训练作业(4)

这篇博客介绍了如何使用shell脚本进行目录操作,包括创建目录、切换工作目录、复制并重命名目录、修改属主和权限。同时讲解了shell脚本中的变量使用、位置参数和文件描述符等概念。

学习主题:shellscript编程(类似与javascript:解释器是:浏览器)

1:写一个shel1 脚本,功能如下:

(1)创建目录 答案:mkdir /tmp/scripts

(2)切换工作目录至此目录中 答案: cd /tmp/scripts

(3)复制/etc/pam.d 目录至当前目录,并重命名为test 答案:mv /etc/pam.d /tmp/test

(4)将当前目录的test 及其里面的文件和子目录的属主改为hadoop 答案:#chown hadoop:hadoop test/

(5)将test 及其子目录中的文件的其它用户的权限改为没有任何权限 答案:#chmod o-x test/

$变量

本地变量要有local 关键字 ,只能在当前方法使用

位置: $1,2,2,2,{11}

定位:a1,a2,a{11}

举例: abc=sxt

​ echo $abc 输出结果为sxt

​ 错误: echo $abcaixukun 输出结果为abccaixukun

​ 正确:echo ${abc}caixukun 输出结果为 sxtcaixukun

​ 要加中括号

echo $#:位置参数的个数

echo $$:输出当前进程 ,当前

### 关于大数据课堂作业的题目与资料 在大数据领域,课堂作业的设计通常围绕着核心技术和应用场景展开。以下是几个常见的大数据课堂作业方向及其相关内容: #### 1. **数据分析与可视化** 数据分析是大数据的核心之一,通过Python或其他工具实现数据清洗、转换和可视化是非常重要的技能。例如,可以设计一个基于Pandas和Matplotlib的数据分析任务[^1]。 ```python import pandas as pd import matplotlib.pyplot as plt # 加载数据 data = pd.read_csv('data.csv') # 基本统计描述 summary = data.describe() # 可视化部分数据分布 plt.figure(figsize=(8, 6)) plt.hist(data['column_name'], bins=20, color='blue', alpha=0.7) plt.title('Data Distribution of Column Name') plt.xlabel('Value') plt.ylabel('Frequency') plt.show() ``` #### 2. **分布式计算框架实践** 学生可以通过学习Hadoop或Spark来掌握大规模数据处理的能力。例如,编写一段Spark程序用于单词计数[^2]。 ```scala val textFile = spark.sparkContext.textFile("input.txt") val wordCounts = textFile.flatMap(line => line.split(" ")) .map(word => (word, 1)) .reduceByKey(_ + _) wordCounts.collect().foreach(println) ``` #### 3. **机器学习模型训练** 利用Scikit-learn库构建简单的分类器或回归模型也是常见的大数据课程作业之一。这有助于学生理解如何利用大数据进行预测建模[^5]。 ```python from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression from sklearn.metrics import accuracy_score X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) model = LogisticRegression() model.fit(X_train, y_train) predictions = model.predict(X_test) print(f'Accuracy: {accuracy_score(y_test, predictions)}') ``` #### 4. **NoSQL数据库操作** 探索MongoDB等NoSQL数据库的操作方法可以帮助学生更好地理解和应用非关系型数据库技术[^3]。 ```javascript db.createCollection("users"); db.users.insertOne({name: "Alice", age: 25}); let result = db.users.find(); while(result.hasNext()) { printjson(result.next()); } ``` --- ### 注意事项 选题时应考虑项目的复杂程度以及个人的兴趣点。过难的任务可能会影响最终成果的质量;而过于简单的内容则容易导致内容单薄,在撰写报告时遇到困难[^4]。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值