咸鱼小辈-优快云博客

原创在win11下，docker安装centos系统

win11的docker下安装centos就完成了。最后Linux系统分为两种：1.RedHat系列：Redhat、Centos、Fedora等——>RedHat系列的包管理工具是yum2.Debian系列：Debian、Ubuntu等——>Debian系列的包管理工具是apt-get。

2025-02-05 17:44:31 762 1

原创如何查看自己电脑的架构是ARM还是AMD？

通过上述两种方法，便可以快速查看你的电脑是ARM架构还是AMD架构。

2025-01-26 16:38:41 2961

publish_time = re.sub(r"^发布时间：", "", publish_time_raw)print(f"爬取的数据: {title}, {view_count}, {publish_time}")publish_time = f"{publish_time}" # 加上默认的时间部分。publish_time = "1970-01-01" # 如果解析失败，使用默认时间。# 确保日期格式正确，MySQL要求'YYYY-MM-DD HH:MM:SS'格式。

2025-01-14 10:16:11 468

原创 hive3.1.2安装

【代码】hive3.1.2安装。

2025-01-06 10:49:01 162

原创 zookeeper的安装和配置

zookeeper的安装和配置都比较简单，就直接贴上代码了。

2024-12-31 08:47:23 197

原创 Hadoop集群安装配置解析——林子雨老师博客教程

另外还需要在Master节点上通过命令“hdfs dfsadmin -report”查看数据节点是否正常启动，如果屏幕信息中的“Live datanodes”不为 0 ，则说明集群启动成功。在配置集群/分布式模式时，需要修改“/usr/local/hadoop/etc/hadoop”目录下的配置文件，这里仅设置正常启动所必须的设置项，包括workers 、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml共5个文件。

2024-12-10 11:04:49 1493

原创 Hadoop伪分布式开启NameNode和DataNode报错

以上口令定义了运行 Hadoop 服务时使用的用户——root。重新尝试启动hadoop服务。保存文件后退出编辑器。

2024-12-10 09:11:25 166

原创厦门大学数据库实验室林子雨Hadoop3.1.3单机/伪分布式安装

通过查看sshd_config文件，将PermitRootLogin设置为yes，然后重启SSH服务，可以解决此问题。我个人建议不创建，也省去给创建的用户添加权限问题，减少不必要的代码（这个看个人喜好，当然如果还是想创建也是没有问题的，我这里就不创建——就用。这里不要输入任何，一直回车就行了（这边主要就是公私密匙的位置和密码，直接回车默认即可），我们会看到存储的位置（我的是在：/root/.ssh/），报错3：这里严格上说不算报错，所以如果看到这个提示不要太在意，ssh还是可以正常使用的。

2024-10-26 10:15:07 3113 1

scrapy爬虫网站详细信息

有pandas、scrapy库，直接写代码即可，缺少pandas库进行以下操作： python -m pip install --upgrade pip pip install pandas scrapy库： python -m pip install --upgrade pip pip install scrapy 1.创建项目‘scrapy startproject lesson1’ 2.更换目录‘cd lesson1’ 3.创建spider‘scrapy genspider example（别名/spider名） example.com（目标网址）’ eg. 爬取北京公交的网址‘scrapy genspider beibus beijing.8684.cn’ 4. 运行命令‘ scrapy crawl beibus’

2025-01-13

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

G46829362的博客