- 博客(19)
- 收藏
- 关注
原创 bs4解析遇到的错误
这个错误是因为在尝试用GBK编码方式解码文件时,遇到了无法解码的字节序列。这通常发生在尝试打开一个非GBK编码的文件时使用了默认的GBK编码。如果你知道文件的编码方式(比如UTF-8)在打开文件时指定它。:如果文件中只有少数字符编码有问题,你可以选择忽略这些错误。:如果你不确定文件的编码方式,可以使用。:如果文件对象已经打开,你可以使用。
2024-10-08 11:29:21
247
原创 Linux系统上 错误信息 py4j.protocol.Py4JJavaError
3.检查 HDFS 配置文件(hdfs-site.xml 和 core-site.xml),确认名称节点的正确地址和端口已被指定。4.确保Spark应用程序的类路径中包含了必要的 Hadoop 配置文件,以便它可以正确地连接到 HDFS。发现是Hadoop配置文件中 core-site.xml的端口号 的错误 ,修改后就可以成功运行。1.确保HDFS的名称节点正在运行,并且可以在指定的端口上访问。2.检查网络配置,确保没有防火墙或安全组阻止连接。
2024-06-27 18:30:00
514
原创 Maven错误信息之多个Plugin找不到的错误
可能是Maven中公共仓库地址出错啦 插件已经不再被托管或者迁移到其他仓库,你可能需要更新pom.xml中的插件定义,使用新的仓库或插件。
2024-06-25 20:33:06
432
原创 Linux系统下 安装redis
修改该文件中的绑定地址,可以将默认的127.0.0.0注释掉,然后bind 0.0.0.0。6. 初始化redis服务器 生成redis-cli和redis-server。将protected-mode yes改为protected-mode no。3.安装gcc,gcc是linux下的一个编译程序,是C程序的编译工具。4.cd到redis的tar包目录 解压缩。修改redis配置文件(redis.conf)8. 启动客户端 测试。2.登陆root账户。
2024-06-13 12:45:00
590
原创 python spark机器学习&数据挖掘集成环境搭建 Centos7安装python3/Anaconda3/Jupyter/pyspark
Centos7安装python3/Anaconda3/Jupyter/pyspark。
2024-06-12 11:47:31
987
原创 Zookeeper集群搭建
ZooKeeper集群由一组服务器组成(通常称为“zooKeeper ensemble”),这些服务器共同维护一个共享的层次化命名空间,这个命名空间类似于文件系统,可以存储数据并允许客户端对其进行访问。在ZooKeeper中,这个命名空间由一系列的znode组成,每个znode可以存储数据,并且有与之相关联的属性。它为分布式应用提供一致性服务,通过一种简单的原语集,可以实现分布式应用中的协调机制,从而减少开发者需要处理复杂协调问题的负担。一致性:客户端无论连接到哪台服务器,看到的数据都是一致的。
2024-06-01 19:59:30
341
原创 spark集群启动不成功
1.启动时出现bash: start-all.sh: command not found... 就是配置环境出了问题。2.找到配置文件 etc/profile,仔细检查spark的配置。访问网址 主机名:8080 查看spark的WebUI。3.修改后,启动集群 start-all.sh。
2024-06-01 16:27:53
552
原创 Jupyter notebook文件默认存储路径
快捷键,鼠标右击 --> 更多 --> 打开文件位置,找到对应的“Jupyte Notebook”快捷图标,鼠标右击 --> 属性 --> 目标,去掉后面的 “注:如果重启Jupyter notebook 出现闪退打不开 那就是配置文件时出现错误 可能是路径带了双引号什么的 删除即可。它会创建一个名为 jupyter_notebook_config.py 的文件,这个文件通常位于用户的配置目录下。”,“确定”,这时再重新启动Jupyte Notebook就可以了。先创建一个全英文的目录 然后在添加目录。
2024-04-27 11:43:47
4933
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人