- 博客(83)
- 收藏
- 关注
RSS订阅原创 解决新版Pyahcrm2023.1.2版本没有manage repositories按钮无法更改依赖源的问题及使用Pycharm安装库的新理解
本文章的理解基于下面两篇文章：首先，2023版本的pycharm确实在这里取消了manage repositories按钮。1、2、3、4、5、我这里用的是豆瓣的镜像源在Pycharm的Terminal里面使用pip命令时下载库的速度很慢，大多会出现超时的错误pip下载速度过慢的原因是 pip 默认使用的是国外的源，所以我们只要把pip下载源更改为国内的镜像即可解决问题（注意：更改pip的下载源并不是更改问题一中的Python Package Repositories，这两者不是一个东西）
2023-07-07 22:10:29
3688
原创 Pycharm中更新pip过程中遇见的问题
在已经创建的project中的终端里使用命令后，pip会自动把需要安装的库下载到该project的文件夹里面去，只能在该project中使用，当更改project后得重新下载才能使用。我原认为使用pip会把需要安装的库下载到py的运行环境IDLE的里面去。但实际不是这样，至于pip会把库下载到哪里是与使用pip命令时所在的目录位置有关系。当你处于pycharm的终端Terminal里面时，它的默认目录位置就是。
2023-05-28 22:55:40
1250
1
原创 Spark运行过程中的错误
8020拒绝连接配置完历史服务器之后测试SaprkPi案例报以上错误。原因在于spark-env.sh和spark-defaults.conf中配置logDierctory的路径端口为8020(默认端口)，这样不对，因为spark产生的日志文件保存到HDFS中，所以spark访问HDFS的URI应该与Hadoop的core-site.xml中fs.defaultFS的路径保持一致。然而，我在core-site.xml总配置fs.defaultFS的端口为9000，与8020不同，故spark保存日.
2021-01-20 19:53:51
605
1
原创 linux使用过程中遇到的错误总结：
文章目录1、Another app is currently holding the yum lock; waiting for it to exit...1、Another app is currently holding the yum lock; waiting for it to exit…有东西占用yum，直接杀死它就行了:#rm -f /var/run/yum.pid...
2020-03-24 08:25:39
515
原创 解决安装centos 7过程中以太网连接不上网络，一直显示连接中，最后直接自动关闭
出现此问题的小伙伴，不要想着先不管它，等centos安装好后在调试。过来人的经验告诉你，最好在这一步就解决了。出现此问题的原因应该是DHCP服务器不能自动分配IP地址的问题不要用重新安装 来试图解决这个问题，因为，重新安装也不管用，还是解决不了这个问题。删掉这个网卡在重新建立一个网卡也不行，也解决不了这个问题。（这个问题跟关不关闭防火墙啥的没有关系）。解决方法：打开vm编辑中的虚拟网络编辑...
2020-03-24 00:48:25
8670
16
原创 安装VMware Tools时，虚拟机VMware Tools灰色情况下的安装步骤
在虚拟机中点击“安装VMware Tools”作用就是虚拟机自动加载VMware Tools光盘文件。当“安装VMware Tools”灰色情况下，不能让虚拟机自动加载光盘文件，我们可以手动添加VMware Tools光盘文件。1、在VMware的安装目录下找到linux.iso镜像文件记着linux.iso的路径2、来到vmware中打开虚拟机的设置把刚才linux.iso镜...
2020-03-17 23:17:05
1250
原创 Hadoop学习笔记(二)Hadoop 分布式文件系统 HDFS：2.HDFS 操作
第一章：HDFS的API操作第二章：HDFS的I/O流操作第三章：HDFS的数据流操作
2020-03-12 20:31:00
245
2
原创 DSA和RSA加密算法的区别
DSA和RSA都是需要公钥和私钥的加密算法。密钥分为两种：对称密钥与非对称密钥对称密钥加密，又称私钥加密，即信息的发送方和接收方用一个密钥去加密和解密数据。它的最大优势是加/解密速度快，适合于对大数据量进行加密，但密钥管理困难。非对称密钥加密系统，又称公钥密钥加密。它需要使用一对密钥来分别完成加密和解密操作，一个公开发布，即公开密钥，另一个由用户自己秘密保存，即私用密钥。信息发送者用公开密...
2020-03-10 11:16:31
10439
5
原创 使用pycharm修改项目名称或者删除项目时：弹窗报java.io错误
pycharm弹窗报错：java io ioexception cannot rename后来查询得知，我再项目中selenium用到的chromedriver插件没有完全关闭。电脑的进程中残留了很多的chromedriver.exe进程。而项目本身与这些进程关联着所以不能修改或删除。解决方法： 鼠标右击win10任务栏 --> 任务管理器 --> 性能 --> CPU ...
2020-03-06 00:17:18
3943
1
原创 python中selenium的用法
一：获取当前窗口跳转的新页面（没有出现新窗口）获取新页面的两种方法：方法一：driver.current_window_handle方法二：driver.switch_to.window(driver.window_handles[0])注意：在使用这两种方法之前一定要确保网页加载完毕，即，在着两种方法之前加上等待时间。例如：time.sleep(1)driver.curre...
2020-03-03 22:57:32
686
原创 Windows10自带应用出错不能使用问题
如图所示，win10自带的全部应用出现错误，不能使用。一：提示windows防火墙没有开启。开启防火墙按“ win + r ”输入“ services.msc ”，找到-Windows Defender Firewall右击，选择开启，注意：如果右击之后，开启、停止、恢复、……都不能点，则点击属性把启动类型改为 “ 自动 ” 就行了二：应用受损，不能打开在开始菜单中的Win...
2020-03-03 21:38:26
3481
原创 关于数据中台的了解
转载文章：公众号：程序员小灰《什么是中台？》终于有人把数据中台用白话说清楚了了解数据中台的前提要先了解什么是中台？中台：顾名思义，是处于前台和后台之间的一个部分。而前台和后台是指在传统的企业中，无论项目内部如何复杂，都可以分为“前台” 和 “后台”这两个部分。什么是前台？首先，这里所说的“前台”和“前端”并不是一回事。所谓前台是直接面对客户或者为客户创造产品和客...
2020-02-28 15:18:31
997
原创 Hadoop学习笔记(二)Hadoop 分布式文件系统 HDFS：1.HDFS基础
HDFS客户端操作（开发重点）1. HDFS客户端环境准备2. HDFS的API操作3. HDFS的I/O流操作
2020-02-19 20:34:20
372
原创 eclipse常用快捷键
1. 智能提示的设置2. new 对象后通过快捷键自动生成返回对象3. 常用快捷键1. 智能提示的设置打开Eclipse，选择打开" Window -> PreferencesJava -> Editor -> Content Assist"，在右侧的"Auto-Activation"找到"Auto Activation triggers for ja...
2020-02-19 19:48:44
392
原创 maven使用过程中出现的问题
1. 新创建的maven工程中src/test/java和src/test/resources目录的颜色是灰色解决方法：选中src/test/java目录右键，build path ,然后configure build path然后选择source这一栏，再双击src/test/java下的Contains test sources 把yes改为no2. maven新建的项目，不自...
2020-02-19 11:04:05
363
原创 maven的安装、路径配置、修改库文件路径和eclipse中的配置，解决Eclipse使用Maven下载慢的问题
1. maven的安装下载maven。maven官方下载地址Binary tar.gz archive和Binary zip archive，都是二进制编译过后的文件可以直接使用。Source tar.gz archive和Source zip archive，都是未编译的源文件，使用之前要先编译。windows下安装apache-maven-3.6.3-bin.zip这个版版本即可...
2020-02-19 09:56:15
747
原创 Hadoop学习笔记(一)Hadoop快速入门：3.编译源码
1. 前期准备工作1.1 CentOS联网配置CentOS能连接外网。Linux虚拟机pingwww.baidu.com是畅通的注意：采用root角色编译，减少文件夹权限出现问题1.2 jar包准备(hadoop源码、JDK8、maven、ant、protobuf)（1）hadoop-2.7.2-src.tar.gz（2）jdk-8u144-linux-x64.tar.gz（3）a...
2020-02-18 12:02:25
246
原创 Hadoop的基础知识
不同版本的区别在下载Hadoop安装包时，看到多个版本的你是不是很头痛：src.tar.gz 是压缩后的源码文件，需要自己编译才能安装src.tar.gz.mds 是 src.tar.gz 的校验和(Checksum)文件.tar.gz 是经过压缩的编译好的安装文件.tar.gz.mds 是 .tar.gz 的 Checksum 文件一般用于Linux安装Hadoop都会...
2020-02-17 21:52:51
588
原创 Hadoop学习笔记(一)Hadoop快速入门：2.集群时间同步
时间同步的方式：找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间过程
2020-02-17 21:31:48
162
原创 Hadoop学习笔记(一)Hadoop快速入门：1.完全分布式运行模式
准备、过程虚拟机：VMware Workstation 12 Pro操作系统：CentOS Linux release 7.2.1511 (Core)控制终端：Secure CRTHadoop版本：Hadoop-2.7.3JDk版本：jdk1.8.0_401）准备3台虚拟机（关闭防火墙、静态ip、主机名称）2）安装JDK3）配置环境变量4）安装Hadoop5）配置环境变量...
2020-02-17 21:26:42
218
原创 Exception in thread "main" java.lang.UnsupportedClassVersionError 和error：A JNI error has occureed
程序报错：Exception in thread "main" java.lang.UnsupportedClassVersionError: TestMapRed解决办法：原因：这个问题是由较高版本的JDK编译的java class文件试图在较低版本的JVM上运行产生的错误。方法一：保证jvm（java命令）和jdk（javac命令）版本一致。如果是windows版本，则在命令行中...
2020-02-16 11:35:01
1194
原创 eclipse里运行hadoop程序出现的错误总结
hadoop读取完毕，在往本地保存文件时出现的错误：解决方法：在win10中配置hadoop开发环境时没有在c:\windows\system32目录中拷贝hadoop.dll文件
2020-02-15 22:17:08
1442
原创 Cent OS 7系统的安装、VMware Tools安装及设置共享文件夹
一 、安装系统1、新建虚拟机三种方式打开新建虚拟机：①：选择菜单栏里：文件—》新建虚拟机②：直接点击主页里面的“创建新的虚拟机”③：快捷键：Ctrl + N2、选择“自定义(高级)”，并点击【下一步】3、选择虚拟机硬件兼容性，并点击【下一步】4、选择“稍后安装操作系统”，并点击【下一步】5、选择操作系统版本，并点击【下一步】6、命名虚拟机，可任意路径，并...
2020-02-14 09:59:46
758
原创 CentOS 7 的新特性
配置网络的步骤在这里可以查看物理网卡的IP地址和MAC地址，点击右下角的按钮可以对该物理网卡进行设置删除网络终端中查看或者修改网络配置在CentOS 7 中对网卡的命名规格与之前版本的有了很大的不同。在centos7之前使用传统接口命名（eth[0 1 2 …]），优点是简单易记，但其缺点也很明显，不能保证接口id与物理槽位一一对应，并且在添加、删除、更换网卡时可能...
2020-02-13 22:59:33
722
原创 Windows10下搭建eclipse开发hadoop的开发环境
一 、使用的软件插件：hadoop-eclipse-plugin-2.7.3.jarwinutils.exe hadoop.dll二 、解压hadoop安装包hadoop-2.7.3.tar.gz到自定义的一个盘里（存放路径最好是全英文）三 、把winutils.exe 、hadoop.dll两个文件复制粘贴到hadoop-2.7.3\bin目录下四 、在Windows的...
2020-02-12 17:57:59
2035
2
原创 hadoop-eclipse-plugin-2.7.3.jar包倒在安装路径的plugins的文件夹里，重启后Preference不能找到Hadoop Map/Reduce
出现这种情况的原因是：hadoop-eclipse-plugin-2.7.3.jar插件没有导入的问题。说明eclipse在启动读取plugins里面插件的时候没有读取到hadoop-eclipse-plugin-2.7.3.jar插件解决方法：①：把 eclipse\configuration\org.eclipse.update 删除掉，重启eclipse。出现这种情况的原因是在你安装...
2020-02-12 16:01:53
1390
原创 ssh - port 22:No route to host问题
Master虚拟机没有被克隆之前：ssh Master就能连接上，被克隆之后就不行了。出现这个错误，去网上查教程说通常两个思路：①：检查防火墙状态②：检查ssh状态发现都没有问题，又去查看虚拟机与windows的网关也相同。最后，在查看hosts映射时发现了问题，Master的IP地址被改了，映射里的IP地址就是按照克隆之前ifconfig查看的IP地址填写的，结果现在与ifcon...
2020-02-11 21:33:50
2486
原创 虚拟机中克隆虚拟机的步骤
首先一定要确保被克隆的linux系统处于关闭状态这里选择创建完整克隆，这样克隆出来的linux系统里的网卡配置与原始虚拟机不同，不用在修改网卡的配置了。输入命名选好位置，点击完成后等待克隆完成就可以使用了。...
2020-02-11 20:49:03
3788
原创 Hadoop 搭建一个简单集群的步骤及过程中出现的错误
我采用的是用建立的多台虚拟机充当机器一 、使用的软件：虚拟机：VMware Workstation 12 Pro操作系统：CentOS Linux release 7.2.1511 (Core)控制终端：Secure CRTHadoop版本：Hadoop-2.7.3JDk版本：jdk1.8.0_40（小提示：Cent OS 7版本的操作命令与7以前的版本有些不同，具体请看链接:...
2020-02-11 20:19:26
762
原创 SecureCRT连接服务器步骤及终端显示中文乱码的处理
首先打开SecureCRT点击菜单栏里的File下的Quick Connect，或者直接点击图中红方框圈的地方，再或者快捷键Alt+Q进入连接界面Hostname：输入需要连接服务器的IP地址Username：输入用户名Port：就是默认的22输入完毕后直接点击Connect就行了。输入用户的密码，如果经常连接的话可以选上Save password，后点击Ok就可以了，连接成功如...
2020-02-10 11:06:25
4367
1
原创 CentOS中解压JDK压缩包时出现的错误：gzip: stdin: unexpected end of file tar: 归档文件中异常的 EOF（附带向linux中上传文件的方法）
重装Hadoop时出现的一个问题，在从windows上传JDk到linux（我是直接把JDK整个压缩包直接拉到linux中的）后，解压jdk压缩包时总是报一下错误： gzip: stdin: unexpected end of file tar: 归档文件中异常的 EOF tar: 归档文件中异常的 EOF tar: Error is not recoverable: exiting no...
2020-02-09 21:22:15
6957
4
原创 递归(再理解)
递归(递推)递归就在于反复调用自身函数，但是每次把问题范围缩小，直到缩小到可以直接得到边界数据的结果，然后再在返回的路上求出对应的解。(所以，递归很适合用来实现分治的思想)递归的逻辑中一般有两个重要概念：递归边界递归式其中递归式是将原问题分解为若干个子问题的手段，而递归边界则是分解的尽头。经典例子：求解n的阶乘n! = 1 * 2 * 3 * 4 * ··· * n ，这个式子...
2020-02-05 21:38:36
498
原创 求最小生成树-Prim算法和Kruskal算法解析及代码实现
由于数据结构学过一段时间了，有些知识点有点遗忘，所以先来复习一下一些知识点：什么是最小生成树?最小生成树是在一个给定的无向图G中求一棵树T，使得这棵树拥有图G中的所有顶点，且所有边都是来自图G中的边，并且满足整棵树的边权之和最小。最小生成树的三个性质：1，最小生成树是树，因此其边数等于顶点数减1，且树内一定不会有环。2，对于给定的图G，其最小生成树可以不唯一，但其边权之和一定是唯一的...
2020-02-03 18:11:33
1685
原创 ssh: connect to host ... port 22: Connection refused错误
linux中当启动start-dfs.sh时报以上错误，说明ssh服务没有开启，输入：$ ssh localhost查看ssh的状态。输入： # /etc/init.d/sshd start开启ssh服务。开启之后，在查看一下ssh的状态如果显示最后一次登录的时间就说明开启成功。=====================================================...
2019-10-31 00:00:53
22623
原创 Linux常用命令-记录
字符界面下：1.切换终端（tty）：root模式下，chvt xxx(1~6)2.查看机器的shell用户模式下， chsh -l或者 cat /etc/shells
2019-10-20 20:58:55
169
原创 Linux中使用sudo提示xxx is not in the sudoers file.This incident will be reported.问题的解决方法
原因：当前系统用户没有加入到sudo配置文件中解决方法：一：输入su，进入root用户下二：使用chmod u+w /etc/sudoers命令，添加sudo文件的写权限三：使用 vi /etc/sudorers编辑sudoers文件四：在打开的配置文件中，找到root ALL=(ALL) ALL，在下面添加一行，xxx ALL=(ALL) ALL 其中xxx是你要加入的用户名称五：...
2019-10-20 00:32:55
1956
原创 记Hadoop伪分布式安装过程中出现的问题
1、在执行start-dfs.sh后hdfs也顺利启起来了，名称节点、数据节点、第二名称节点也都启起来了，就是每次启动一个节点时都会报一个command not found 的错误（可恶心），这个错误也并不影响hdfs的使用，去网上查了好多都每有这个错误解决的办法，后来直接查axport: command not found，参考了Linux下无论输入什么命令都提示“-bash: Export:...
2019-10-16 09:36:24
859
原创 使用Linux出现的The VMware Authorization Service is not running问题解决
当PC装的有VMWare的时候，都会在PC 的内存中运行这个程序，所以，当你用安全软件关掉该程序后再去使用VMWare的时候就会出现The VMware Authorization Service is not running.这个错误。这个时候就需要自己手动去打开VMWare的服务了。一、鼠标右击我的电脑选择管理二、进入到管理之后点击计算机管理里面的服务和应用程序，然后，点击服务...
2019-10-10 22:28:31
762
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人