踩坑记录
关注
分享
扫一扫
孙晨c
业精于勤，荒于嬉；行成于思，毁于随。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
在集群提交Saprk机器学习的推荐模型任务，报异常Exception in thread “dag-scheduler-event-loop“ java.lang.StackOverflowError
在输出目录中，可以看到一部分的输出，但是不完全，因为程序一直在栈溢出。错误原因内存过小，数据量过大，发生栈溢出，无法保存模型解决设置检查点在原程序的主方法中添加：sc.setCheckpointDir("your chpoint directory")因为我这是在hadoop集群上跑，这个目录必须是一个HDFS路径。其他情况自己看着办扩展checkpoint的意思就是建立检查点，类似于快照。例如在spark计算里面，计算流程DAG特别长,服务器需要将整个DAG计算完成得出结果，但是如果原创 2021-06-08 17:18:36 · 610 阅读 · 0 评论 -
Spark报错:Caused by: java.lang.IllegalArgumentException: Compression codec com.hadoop.compression.lzo
问题在yarn集群上提交一个spark-submit的任务，最后抛出一个异常解决原因：因为在之前的项目中，在hadoop中的core-site.xml 和mapred-site.xml文件配置了lzo格式的压缩，这就导致上传到hdfs 的文件自动被压缩为lzo了。所以当使用提交spark-submit任务时，需要访问HDFS上的文件，而spark自身没有lzo的jar包所以无法找到。方法一：软链接到spark下的jars目录，注意自己的hadoop-lzo-0.4.20.jar的目录！ln原创 2021-06-07 20:09:27 · 902 阅读 · 2 评论 -
在centos7上执行自己写的脚本时报错：/bin/bash^M: 坏的解释器: 没有那个文件或目录
错误原因这个脚本文件是在Windows下编辑的，与linux的区别是：在Windows下每一行结尾是\n\rLinux下则是\n，所以才会有多出来的\r修改错误把多出来的\r替换成空白sed -i 's/\r$//' xxxxxxx.sh再次执行脚本，成功！...原创 2021-05-01 13:18:05 · 1121 阅读 · 0 评论 -
Spark中普通集合与RDD算子的sortBy()有什么区别
分别观察一下集合与算子的sortBy()的参数列表普通集合的sortBy()RDD算子的sortBy()结论：普通集合的sortBy就没有false参数，也就是说只能默认的升序排。如果需要对普通集合中的元素需要升序排怎么办？如图所示，我这调用的sortby()是List集合的方法了，不是算子，所以不能加false参数指定降序排，只能默认的升序排了，但是用reverse()反转就能达到一样的效果。或者使用takeRight()方法取后十个也一样，注意的是后十个也是按升序排的...原创 2021-03-29 12:36:16 · 372 阅读 · 0 评论 -
Hive读取索引文件问题：select * 和select count(*)读取出来的行数不一致
两种方式，分别查询数据有多少行：hive (gmall)> select * from ods_log;Time taken: 0.706 seconds, Fetched: 2955 row(s)hive (gmall)> select count(*) from ods_log;2959两次查询结果不一致的原因分析hive (gmall)> drop table if exists ods_log;CREATE EXTERNAL TABLE ods_log (`l原创 2021-02-04 17:41:11 · 1212 阅读 · 3 评论 -
scala/java等其他语言从CSV文件中读取数据，使用逗号‘,‘分割可能会出现的问题
众所周知，csv文件默认以逗号“,”分割数据，那么在scala命令行里查询的数据：可以看见，字段里就包含了逗号“,”，那接下来切割的时候，这本应该作为一个整体的字段会以逗号“,”为界限进行切割为多个字段。现在来看看这里的_c0字段一共有多少行记录。记住这个数字：60351行写scala代码读取csv文件并以逗号为分隔符来分割字段val lineRDD = sc.textFile("xxxx/xxx.csv").map(_.split(","))这里只读取了_c0一个字段，否则会报数组下标越原创 2021-01-30 00:43:02 · 1542 阅读 · 0 评论 -
hadoop3.1.3版本的secondaryNamenode的web界面不能显示的问题？
文章目录发现问题解决问题找到根源根治问题必看发现问题在浏览器输入secondaryNamenode的网址后不能显示，解决：先按F12，然后选择console，就能看见报错信息了：解决问题找到根源那就通过find命令找到这个dfs-dust.js文件：根治问题vim编辑器进入后，在命令模式输入:se nu设置行号，找到61行报错显示 monment is not defind，那就不要它了，反正也只是生成一个时间字符串删除这一行，自己写一个不就完了么？保存退出，一气呵成！原创 2021-01-28 16:59:07 · 1756 阅读 · 4 评论 -
启动kafka消费报错：WARN [Consumer clientId…] 1 partitions have leader brokers without a matching listener,…
别看其他文章了，你就是防火墙没关！不信试试看你的防火墙状态是不是running？firewall-cmd --state再送上关闭防火墙的命令：systemctl stop firewalld防火墙开机自启动：systemctl enable firewalld.service...原创 2021-01-28 14:56:42 · 3111 阅读 · 7 评论 -
centos6和centos7的防火墙命令，以及它们的区别是是什么？
文章目录一、 Centos6和Centos7 防火墙命令的区别iptables常用命令firewall常用命令一、 Centos6和Centos7 防火墙命令的区别Centos6自带的防火墙工具是iptablesCentos7自带的防火墙工具是firewalliptables 用于过滤数据包，属于网络层防火墙。firewall 能够允许哪些服务可用，哪些端口可用，属于更高一层的防火墙。iptables常用命令1.查询防火墙状态service iptables status原创 2021-01-27 17:57:48 · 713 阅读 · 0 评论 -
/dev/null--Linux系统黑洞，解决在执行jar包时的控制台打印输出刷屏问题
通常控制台在执行某个jar包时，屏幕会刷个不停，直到程序执行完毕，类似这种：那么就可以编写一个脚本，把输出的内容全部扔进“黑洞”。此脚本模拟在hadoop102和hadoop103两台主机上循环执行jar文件：#!/bin/bashfor i in hadoop102 hadoop103do ssh $i "java -jar /opt/module/applog/gmall2020-mock-log-2020-05-10.jar 1>/dev/null 2>/de原创 2021-01-26 00:40:06 · 664 阅读 · 0 评论 -
Linux的环境变量配置在/etc/profile或/etc/profile.d/*.sh文件中的区别是什么?
文章目录login shellnon-login shell它们的区别Linux的环境变量可在多个文件中配置，如/etc/profile，/etc/profile.d/*.sh，~/.bashrc等，下面说明上述几个文件之间的关系和区别。bash的运行模式可分为login shell和non-login shell。login shell例如，我们通过终端，输入用户名、密码，登录系统之后，得到就是一个login shell。non-login shell而当我们执行以下命令ssh hado原创 2021-01-25 23:59:42 · 1425 阅读 · 0 评论 -
IDEA/Pycharm的config目录以及插件的安装位置在哪里?
文章目录在2020版前在2020版后在2020版前通过IDEA.properties文件可知config目录、system目录、插件安装目录都在用户目录下插件安装目录就在config目录下：在2020版后把pycharm和IDEA的config等目录都放在了这个路径下面：直接进去IDEA的目录，就相当于之前的config目录：...原创 2021-01-20 15:30:34 · 15990 阅读 · 1 评论 -
更新pip时出现ReadTimeoutError…WARNING: You are using pip version……You should consider upgrading via the……
更新pip命令，在cmd窗口输入：python -m pip install --upgrade pip却出现报错警告！究其主要原因还是访问国外的网站，导致下载速度太慢，最后超时了!那就换成国内豆瓣的镜像源去下载!python -m pip install --upgrade pip -i https://pypi.douban.com/simple...原创 2020-12-29 23:13:51 · 352 阅读 · 0 评论 -
虚拟机克隆后，重启网络服务时报错：网卡故障：弹出界面eth0: 错误：没有找到合适的设备：没有找到可用于链接System eth0 的……的解决办法
这通常是由于虚拟机克隆后，mac地址加了一行eth1，但是在这个文件里：/etc/sysconfig/network-scripts/ifcfg-eth0HWADDR仍是eth0的地址解决：修改指定网卡信息的文件vi /etc/udev/rules.d/70-persistant-net.rules找到eth1（除eth0以外），将NAME属性修改为eth0，并复制mac地址修改网卡配置文件vi /etc/sysconfig/network-scripts/ifcfg-eth0原创 2020-12-22 11:13:31 · 716 阅读 · 0 评论 -
jupyter不是内部或外部命令的解决方法
在cmd命令行中输入 ：pip install jupyter notebook -i https://pypi.mirrors.ustc.edu.cn/simple原创 2020-12-19 17:29:01 · 2997 阅读 · 1 评论 -
jupyter代码自动补全插件、安装后出现警告“Config option `template_path` not recognized by `LenvsLatexExporter`”的解决方案
如果下面的所有命令都提示Not found，则需要配置好Anaconda和python的环境变量1.安装nbextensionspip install jupyter_contrib_nbextensions -i https://pypi.mirrors.ustc.edu.cn/simple这里-i指定了下载源，不然是从国外的官网下载，速度很慢！jupyter contrib nbextension install --user2.安装nbextensions_configurato.原创 2020-12-15 22:36:55 · 8028 阅读 · 8 评论 -
pycharm连接sqlite后打开db文件不显示表的问题
在设置里打开显示所有schemas即可！原创 2020-12-03 08:12:37 · 3825 阅读 · 0 评论 -
hadoop分布式格式化时出现异常java.net.unknownhostexception
当搭建好分布式集群后，准备使用命令格式化时hdfs namenode format在日志的最后一行出现 java.net.unknownhostexception的异常，通常是你的主机名没有配置好，在core-site.xml文件中的主机名与hosts文件、network文件里的主机名不一致。解决vim /etc/sysconfig/network # HOSTNAME=主机名，本机唯一的vim /etc/hosts #将IP与主机名做映射：IP地址 主机名。可以做多个映射...原创 2020-09-26 22:55:49 · 1402 阅读 · 1 评论 -
MapperReduce常见错误及解决方案
1）导包容易出错。尤其Text和CombineTextInputFormat。2）Mapper中第一个输入的参数必须是LongWritable或者NullWritable，不可以是IntWritable. 报的错误是类型转换异常。3）java.lang.Exception: java.io.IOException: Illegal partition for 13926435656 (4)，说明Partition和ReduceTask个数没对上，调整ReduceTask个数。4）如果分区数不是1，但原创 2020-09-16 16:57:56 · 774 阅读 · 1 评论 -
JSP中引用CSS样式文件却无法显示的问题解决方案
你也遇到过这种问题吗，CSS写好了，JSP写好了，在JSP中调用CSS文件，路径检查后也正确，但是无法显示渲染后的页面原因：罪魁祸首就是过滤器响应数据的时候，响应头设置为了“text/html”，但我们需要的是”text/css“！解决：注销掉setContentType语句如果你用谷歌浏览器还不能访问的话，可能是你的CSS语句不够标准，这时候就需...原创 2020-04-24 22:40:34 · 4733 阅读 · 4 评论 -
import org.junit.Test后立马消失的问题
检查当前模块的pom.xml或者父工程的pom.xml圈出来的范围只能在test目录下使用，在其他包下使用时不能导入删除这一行就行了！原创 2020-05-08 17:26:00 · 391 阅读 · 0 评论 -
Invalid bound statement (not found)报错的可能原因
1.检查xml文件所在package名称是否和Mapper interface所在的包名 或者 mapper的namespace写的不对！！！注意修改。2.UserDao的方法在UserDao.xml中没有，然后执行UserDao的方法会报此3.UserDao的方法返回值是List,而select元素没有正确配置ResultMap,或者只配置ResultType!4.如果你确认没有...原创 2020-05-21 22:59:00 · 585 阅读 · 0 评论 -
大数据集如何进行时间同步
一个集群中，每台机器的时间必须保证是同步的！主要借助linux的ntp服务执行和远程时间服务器的时间同步！保证当前机器的ntp服务是开机自启动！chkconfig --list ntpd使用命令：ntpdate -u 时间服务器的地址比如：ntpdate -u ntp1.aliyun.com即可使时间与当前时间同步...原创 2020-07-06 17:25:21 · 322 阅读 · 0 评论 -
大数据面试题
Linux部分①列举你使用的常用指令？②怎么查看服务是否开启？后面的参数都是什么意思？③怎么查看服务器内存使用情况？④日志查看指令？⑤跨机房怎么传输文件？Hadoop部分①怎么搭建一个Hadoop集群？②Hadoop的Shuffer机制？③切片概念？文件256M时，几个切片？④Mr任务提交到yarn流程？⑤数据倾斜概念？Hive部分①hive本质？②group by、sort by、oreder by、distribute by、cluster by、partition by区别原创 2020-07-08 11:59:11 · 217 阅读 · 0 评论 -
Java面试题
Java部分1、基础篇①怎么理解面对对象？②重载和重写区别？③什么是字节码？采用字节码文件最大的好处？④列举基本数据类型？分别所占字节？⑤StringBuffer、StringBuild区别？⑥异常怎么处理？2、集合篇①都有哪些集合？②Hashmap是线程安全的吗？为什么？③Hashmap装载因子？3、并发篇①程序、进程、线程概念？②线程的生命周期？③创建线程的方式？④为什么要使用线程池？举例几种常见的线程池以及适用场景？4、网络篇①TCP三次握手和四次挥手？②TCP和原创 2020-07-08 12:00:26 · 191 阅读 · 0 评论 -
IDEA 出现错误：找不到或无法加载主类
解决方法：idea本身缓存问题解决：清理缓存重启IDEAfile-->invalidate Cache/restart解决方法二：在这里设置自己的java文件的目录位置...原创 2019-09-05 21:07:00 · 437 阅读 · 0 评论 -
Win10创建mysql8.0桌面快捷方式以及启动mysql.exe闪退问题
1.先找到mysql的bin目录,将Mysql.exe发送快捷方式到桌面。2.然后右键选择属性，将目标后面添加上 -uroot -p我的完整目标如下:E:\mysql-8.0.17-winx64\bin\mysql.exe -uroot -p双击快捷方式...原创 2019-09-21 22:05:00 · 1295 阅读 · 0 评论 -
在centos7上进行hadoop-3.1.2的伪分布搭建
第一步：配置网络（静态IP）vi /etc/sysconfig/network-scripts/ifcfg-ens33（网卡名称可能不同）1. 修改：将该配置文件中的ONBOOT=no修改为yes（网络开机自启）将BOOTPROTO=dhcp修改为static（将ip设置为静态ip）2. 为了能够通过外部访问到虚拟机，增加：IPADDR=192.168.1...原创 2019-12-02 20:34:00 · 520 阅读 · 0 评论 -
添加并启动MySQL服务
1. 右键开始菜单，选择2. 进入到MySQL安装目录下的bin目录，输入命令：mysqld.exe -install3.启动mysql服务，输入命令：net start mysql原创 2020-02-10 16:17:00 · 245 阅读 · 0 评论 -
如何修改MySQL的root用户密码
1.进入MySQL命令行界面，输入命令： set password for root@localhost = password('新密码');若修改失败，则输入exit退出mysql，然后输入命令重启MySQL： mysqld restart3.然后登陆进MySQL进行第一步...原创 2020-02-10 17:04:00 · 437 阅读 · 0 评论 -
连接数据库时出现警告“Establishing SSL connection without server‘s identity verification is not recommended“
警告内容：Establishing SSL connection without server's identity verification is not recommended. According to MySQL 5.5.45+, 5.6.26+ and 5.7.6+ requirements SSL connection must be established by defa...原创 2020-02-25 15:18:00 · 637 阅读 · 0 评论 -
如何解决win10中“你的病毒和威胁防护”由你的组织管理
win + r打，弹出框里输入regedit找到：HKEY_LOCAL_MACHINE\SOFTWARE\Policies\Microsoft\Windows Defender并点击Windows Defender，将右边窗口里的DisableAntiSpyware右键删除！原创 2020-03-25 08:08:52 · 6239 阅读 · 0 评论 -
如何解决win10的Defender实时保护显示“此设置由你的组织管理”
win +r 输入gpedit.msc按图所示找到关闭实时保护，双击打开将“已启用”更改为“未配置”，这时候发现已经可以控制denfender中的开启按钮了...原创 2020-03-25 08:12:23 · 22418 阅读 · 3 评论 -
Centos7中解决root用户删除文件出现提示Operation not permitted
先用lsattr命令查看文件的属性：lsattr 文件名如果我们想查看一个目录的权限，可使用：lsattr -d 目录名命令可以看到在linux下，有些配置文件是不允许任何人包括root修改的，为了防止被误删除或修改，可以设定该文件的"不可修改位(immutable)"，即文件属性为i。从上面可以看出当前文件有个i属性，有i属性的文件是不能修改的，更不可被删除，即使是...原创 2020-03-25 18:24:00 · 1336 阅读 · 0 评论 -
SQL Server报错“已更新或者删除的行值要么不能使该行成为唯一行，要么改变了多个行(X行)”的解决办法
这种问题大多是由于没有主键（PK）导致同一张表中存在若干条相同的数据。DBMS存储时，只为其存储一条数据，因为DBMS底层做了优化，以减少数据冗余。所以删除或更新一条重复数据就牵一发而动全身。解决方法： 新建查询->输入： delete 数据库名.表名 where 要删除的字段名 = 字段值 F5 执行...原创 2019-08-23 15:38:00 · 1564 阅读 · 0 评论 -
VMware网络设置的三种方式
VMWare提供了三种工作模式：host-only(主机模式)、NAT(网络地址转换模式)、bridged(桥接模式)1.host-only(主机模式) 在某些特殊的网络调试环境中，如何要求将真实环境和虚拟环境隔离开，这时你就可采用host-only模式。在host-only模式中，所有的虚拟系统是可以相互通信的，但虚拟系统和真实的网络是被隔离开的，VMWare虚拟机不能访问互...原创 2019-08-27 23:38:00 · 196 阅读 · 0 评论 -
centos7个性化命令行提示符
为了在满屏的命令中找到用户的命令行，所以很有必要设置一种字体颜色。我就设置最实用的一种，可以用蓝色字体显示当前所在路径命令行输入： echo "PS1='[\${debian_chroot:+(\$debian_chroot)}\[\033[01;32m\]\u@\h\[\033[00m\]:\[\033[01;34m\]\w\[\033[00m\]\]]\$ '" &g...原创 2019-08-28 00:13:00 · 456 阅读 · 0 评论 -
怎么才能使虚拟机centos7与主机互相Ping通
在虚拟机（Vmware Workstation）下，安装了CentOS7，现在想通过SSH工具连接虚拟机中的CentOS71、 首先，要确保CentOS7安装了 openssh-server，在终端中输入 yum list installed | grep openssh-server如果没任何输出显示，表示没有安装通过输入 yum install openssh...原创 2019-08-28 02:10:00 · 1182 阅读 · 0 评论 -
centos7中如何修改主机名
在CentOS7中，有三种定义的主机名:静态的（Static hostname）“静态”主机名也称为内核主机名，是系统在启动时从/etc/hostname自动初始化的主机名。瞬态的（Tansient hostname）“瞬态”主机名是在系统运行时临时分配的主机名，例如，通过DHCP或mDNS服务器分配。灵活的（Pretty hostname）“灵活”主机名也有人叫...原创 2019-08-28 13:39:00 · 209 阅读 · 0 评论 -
如何解决防火墙阻止了虚拟机与主机之间互相ping通的问题
1.打开WIN10防火墙，选择高级设置2.入站规则3.找到配置文件类型为“公用”的“文件和打印共享（回显请求–ICMPv4-In）”规则，设置为允许。如果上面步骤没有问题还ping不通，可能是这个原因，我们一般都是自动获取ip地址和网关，设置为手动就可以了。打开cmd查看你的IP地址，ipconfig，记住IP地址和默认网关，然后打开网络...原创 2019-08-28 02:20:00 · 1932 阅读 · 0 评论