
大数据
学习3人组
知行合一
展开
-
K哥30个站点的逆向爬虫代码|pyexecjs库的基本使用
pyexecjs是一个用Python来执行JavaScript代码的工具库,该库支持多种JavaScript运行时环境,如Node.js、PhantomJS、SlimerJS等,允许开发者在Python中无缝地调用和执行JavaScript代码。JS 代码里引用了三个库,npm install 安装一下即可,如果安装了还提示找不到库,那就是路径问题,推荐在当前目录下执行命令安装,或者在 Python 代码里指定完整路径,具体方法可自行百度。(2)execjs必学方法complie。原创 2024-10-21 16:39:08 · 708 阅读 · 0 评论 -
centos镜像站
3、清华镜像源:https://mirrors.tuna.tsinghua.edu.cn/centos/选择目录Index of /centos/7.9.2009/isos/x86_64/2、阿里镜像站:https://mirrors.aliyun.com/centos。1、官网地址:https://www.centos.org/原创 2024-09-20 14:53:40 · 479 阅读 · 0 评论 -
CentOS 上配置多服务器 SSH 免密登录
如果有多台服务器需要互相免密登录,可以在每台服务器上重复上述步骤,确保每台服务器都有自己的密钥对,并且将其他服务器的公钥复制到自己的 ~/.ssh/authorized_keys 文件中。其中 user 是服务器 B 上的用户名,serverB_ip 是服务器 B 的 IP 地址。这将在 ~/.ssh/ 目录下生成私钥 id_rsa 和公钥 id_rsa.pub。假设有服务器 A 和服务器 B,需要从服务器 A 免密登录到服务器 B。二、在服务器 A 上生成密钥对。三、将公钥复制到服务器 B。原创 2024-09-18 19:04:21 · 790 阅读 · 0 评论 -
Hadoop分布式集群配置
配置Hadoop分布式集群涉及多个步骤,包括环境准备、配置文件修改、格式化文件系统、启动集群等。以下是一个简化的配置指南,适用于Hadoop 2.x或3.x版本的集群配置。请注意,实际操作中可能需要根据具体版本和需求进行调整。原创 2024-09-18 17:34:40 · 828 阅读 · 0 评论 -
CentOS-Base.repo 代码直接复制
CentOS7 原带的文件包有时已经过期,导致无法更新,把文件复制到repos.d目录的CentOS-Base.repo。以下是CentOS-Base.repo更新的复制代码。生成yum缓存 & 更新。原创 2024-09-18 12:00:00 · 490 阅读 · 0 评论 -
CentOS 中配置 OpenJDK以及多版本管理
以下是在 CentOS 中配置 OpenJDK 的步骤:一、安装 OpenJDK如果已安装,会显示 Java 版本信息。如果未安装,则继续下一步。我更喜欢直接用镜像源下载,清华源ADOPtium目录二、设置环境变量注意,这里的JAVA_HOME路径可能因系统和安装的 OpenJDK 版本而有所不同。该命令会列出系统中的 Java 安装,并显示其对应的路径。三、验证安装update-alternatives 的基本用法。原创 2024-09-18 00:17:26 · 884 阅读 · 0 评论 -
常用工具清单
C [指定目录]:指定解压到的目标目录。-f [文件名]:指定要解压的文件。-z:表示使用 gzip 解压。-v:表示显示详细的解压过程。-x:表示提取文件。原创 2024-09-17 23:35:42 · 134 阅读 · 0 评论 -
第3步VM的虚拟机无法用网络安装直接改用CDROM镜像包安装软件
在 /dev 目录下,光驱通常会有一个设备文件 /dev/sr0(SCSI 接口的光驱)或 /dev/cdrom(符号链接到实际的光驱设备文件)。精简版的CentOS只有ip add可用 ping命令可用其它软件版本太低都不能用,改用光盘镜像来安装软件。发现软件都没有安装,yum无法使用,准备用光盘映像安准。步骤:1、修改Vm的设置,将光盘映像改为ISO文件。检查安装是否成功,查找光盘中“wget*.rpm”步骤:2、在centos挂载cdrom。步骤:3、挂载成功后直接安装软件。查看到光盘,创建挂载点。原创 2024-09-15 00:11:19 · 555 阅读 · 0 评论 -
CentOS安装Hadoop系列
1、查找APACHE下载官网,搜索hadoop,进入目录,找到common目录,下载对应版本。本次试验使用2.10.2版本,找到hadoop-2.10.2.tar.gz 复制地址链接。3、选择hadoop的配置模式,单机模式,伪集群模式,集群模式。进入到虚拟机,切换到opt/software目录,没有就创建。2、Wget下载安装包到指定目录。国内,可以使用清华源。原创 2024-09-14 22:42:29 · 746 阅读 · 0 评论 -
第2步VM虚拟机配置网络环境实现DHCP分配IP地址上网
网络配置文件通常位于/etc/sysconfig/network-scripts/目录下,找到对应网卡的配置文件,例如,如果网卡是eth0,则配置文件为ifcfg-eth0。如果没有该文件,可以手动创建。使用ip addr或ifconfig -a命令查看系统中现有的网卡设备名称,通常可能是eth0、ens33等类似的名称。1、当前情况结果:Centos无网络,无软件,可以使用ip add其它软件都没有安装,yum 也过期不能用。1、VM虚拟机器网络配置,centos 精简版没有配合网卡,如何配置网络。原创 2024-09-14 11:54:42 · 730 阅读 · 0 评论 -
第1步win10宿主机与虚拟机通过NAT共享上网互通
要实现宿主机与虚拟机通信,原理就是给宿主机的网卡配置一个与虚拟机网关相同网段的IP地址,实现可以互通。2、编辑虚拟机的虚拟网络的NAT和DHCP的配置,设置虚拟机的网卡选择NAT共享模式。设置宿主主机的IP地址,让IP地址与虚拟机地址在同一网段,可以实现互通。在VM菜单,选择编辑,选择虚拟网络编辑器,选择VMnet的NAT模式。3、宿主机的IP配置,确保vnet8的IPV4属性与虚拟机在同一网段。在虚拟机设置中,配置网络适配器为NAT模式,用于共享主机IP地址。4、ping测试连通性。原创 2024-09-14 17:43:16 · 1366 阅读 · 0 评论 -
第4步CentOS配置SSH服务用SSH终端XShell等连接方便文件上传或其它操作
用XFTP更换yum的源,创建一个Bak目录,把不能用的源都移动bak目录,从官网上下一个最新的CentOS-Base.repo,用命令行重新生成镜像源yum makecache 重新生成后可以更新yum,再下载软件。宿主机的VM安装CENTOS文件无法快速上传,也不方便输入命令行,用SSH终端xshell连接虚拟机的SSH工具就方便多了,实现VM所在宿主机Win10上的xshell能连接vm的centos要实现以下几个环节。,端口为默认的 22,如果修改了端口需加上。用SSH工具Xshell连接虚拟机。原创 2024-09-14 17:29:44 · 1117 阅读 · 0 评论