- 博客(12)
- 收藏
- 关注
RSS订阅原创 Spark SQL编程初级实践
以自己学号（your student number）为第一条数据，生成20条数据（后面数据your student number依次递增1，name和age随机），详细格式如下。配置Spark通过JDBC连接数据库MySQL，编程实现利用DataFrame插入如表5-2所示的10行数据到MySQL中（学号递增，其他字段随机），最后打印出age的平均值。读取文件处理为RDD，接着转换为DataFrame，并按“id:1,name:Ella,age:36”的格式打印出DataFrame的所有数据。
2024-04-27 08:00:00
2157
1
原创 Pandas数据分析
start指定起始日期，end指定结束日期，periods指定产生的数据数量# freq指定间隔，D表示天， W表示周， H表示小时# M表示月末最后一天，MS表示月初第一天# T 表示分钟，Y表示年末最后一天，YS表示年初第一天print("间隔5天".ljust(30, '='))print("间隔1周".ljust(30, '='))print("间隔2天，5个数据".ljust(30, '='))print("间隔3小时，8个数据".ljust(30, '='))
2024-04-24 09:00:00
645
原创 HDFS常用操作以及使用Spark读取文件系统数据
在HDFS中的“/user/hadoop”目录下，创建子目录input，把HDFS中“/user/hadoop”目录下的test.txt文件，复制到“/user/hadoop/input”目录下；删除HDFS中“/user/hadoop”目录下的test.txt文件，删除HDFS中“/user/hadoop”目录下的input子目录及其子目录下的所有内容。把HDFS中“/user/hadoop”目录下的test.txt文件，下载到Linux系统的本地文件系统中的“/home/hadoop/下载”目录下；
2024-03-16 11:50:13
3742
1
原创 安装Hadoop伪分布式及spark Local模式
在这里我也将hadoop用户密码设置为hadoop，虽然会提示密码不能少于8位，但是不用管这个提示，我们也将密码设置为hadoop就可以了。修改./conf/spark-env.sh配置文件（需要使用cp复制模板文件再进行修改）为hadoop用户添加使用sudo权限的权限（不然hadoop用户不能使用sudo）在终端输入下面命令，创建hadoop用户，并指定shell为/bin/bash。修改解压后的文件夹为spark，并修改内容所有者和所属组为hadoop。格式化NameNode名称节点。
2024-03-13 20:23:55
1875
原创 Python进行基本文件操作
编写程序，模拟生成某饭店自2020年1月1日开始连续100天试营业期间的营业额数据并写入CSV文件。文件中共两列，第一列为日期，第二列为营业额，文件第一行为表头或字段名称。假设该饭店第一天营业额基数为500元，每天增加5元，除此之外每天还会随机增加5到50元不等。合并两个.txt文件的内容，两个文件的多行内容交替写入结果文件，如果一个文件内容较少，则把另一个文件的剩余内容写入结果文件尾部。编写程序，读取并输出word文档中红色的文字。
2024-03-11 13:01:57
401
1
原创 Docker使用MySQL修改时区时遇到的问题
自从发现docke里面能拉MySQL后，就特别喜欢用docker里面的MySQL了，但是今天发现docker拉的MySQL使用的时区是UTC，和我们差了八个小时，我这种强迫症肯定不能忍啊，于是就开启了改时区之路。我们打算修改回来配置文件，结果发现进不去了，如下，必须要启动才能修改配置文件，但是启动不了，启动不了就是因为配置文件错误哦。下面是centos虚拟机查看时区的截图，Local time是CST，Universal time是UTC，没搞懂，先不管。，我的数据库里面的数据呢，怎么办。
2024-02-29 15:35:05
1645
1
原创 Android移动开发第二次作业
在第一次的作业源码基础上，丰富代码，实现RecycleView瀑布流和滑动，同时在列表页上点击跳到另一详情页面上。
2023-10-29 17:06:28
250
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人