- 博客(22)
- 收藏
- 关注
RSS订阅原创 spark-shell采用local方式提交SparkTC应用后，Driver端的日志记录
1. C++中复制构造方法和Java中复制构造方法2. KMP算法3. 进程和线程的区别？创建线程的不同方式
2021-11-11 16:52:45
453
原创 关于Antlr中遍历语法树的注意事项
根据官网显示，antlr提供listener和vistor两种遍历语法树的机制，其中listener可以理解为自动遍历语法树，用户可以重写enter和exit函数从而实现自己的逻辑。而visitor机制不会自动遍历语法树，当用户重写visitXXX()函数后，需要实现XXX节点以及其子树的所有逻辑（如果不实现则是什么都不做）。如果没有完全理解visit方法的含义，使用者可能会犯一些错误（笔者就是）。这里将自己遇到的错误做一个简单的归纳。首先，这里省略了文法，直接跳到语法树生成环节，假设生成了这样一个语法树
2020-10-03 17:46:59
1426
1
原创 Content root xxx is defined for modules "spark-core_2.10" and spark-mllib_2.10".
编译Spark时出现问题：Content root "/home/zmx/nju/spark-monotasks-master/python" is defined for modules "spark-core_2.10" and "spark-mllib_2.10". Two modules in a project cannot share the same content root....
2019-03-20 13:48:21
5567
原创 使用虚拟机(MobaXterm)从零开始搭建Spark1.3集群
准备工作1. Hadoop：hadoop-2.4.1.tar.gz2. Spark：下载编译好的基于对应hadoop版本的版本：spark-1.3.0-bin-hadoop2.4.tgz3.JAVA：jdk-7u80-linux-x64.tar.gz4. scala：scala-2.11.8.tgz5搭建环境在MobaXterm界面连接服务器，使用命令sudo vir...
2019-03-19 19:16:44
1272
原创 通过跑较大数据集测试Hadoop 2.4.1是否安装成功
1. 生成数据集testWordCount.txt生成代码如下 package problem.forthstudy.test;import java.io.File;import java.io.FileWriter;public class GenerationFile { public static void main(String[] args) throws E...
2019-03-18 17:44:10
324
原创 Ubuntu 16.04搭建Spark源码研读和代码调试的开放环境
1. 准备必要的开发工具和环境：安装 jdk 1.8：参考链接：https://blog.youkuaiyun.com/smile_from_2015/article/details/80056297 scala 2.11.8 下载地址：https://www.scala-lang.org/download/2.11.8.html 我下载的文件名是scala-2.11.8.tgz## s...
2019-03-12 11:05:40
529
原创 Java内存区域——虚拟机运行时数据区
1. 环境说明：jdk1.72. 运行时数据区概况 Java虚拟机在执行Java程序的过程中会把它所管理的内存分为若干个不同的区域，我们将这些区域统称为运行时数据区域，如下图所示。(深色表示线程共享内存区域，浅色表示线程私有内存区域) 2.1 程序计数器 程序计数器可以理解为当前线程所执行的字节码的行号指示...
2019-03-09 20:40:05
134
原创 Ubuntu 16.04编译Yak源码，并使用Eclipse IDE for C/C++ Developers作为工具调试
步骤和链接https://blog.youkuaiyun.com/qq_34621987/article/details/87872704类似，不同之处在于1. 编译Yak而不是OpenJDK，Yak源码链接链接: https://pan.baidu.com/s/109i34OZwZZqsZv8aKxED6g 密码: cfuz2. make all时出现错误： recipe fo...
2019-02-24 14:41:39
322
原创 Ubuntu 16.04编译OpenJDK8u40源码，并使用Eclipse IDE for C/C++ Developers作为工具调试
本篇文章大量参考来源于 JVM（一） OpenJDK1.8源码在Ubuntu16.04下的编译 和 在Ubuntu14下构建Hotspot并使用Eclipse调试 除此之外记录自己遇到的问题并且给出解决方案，废话不多说，直接开始。一.环境准备： 1. 安装Bootstrap JDK，这里我们使用OpenJDK7，运行如下命令sudo apt-get install openjdk-...
2019-02-22 17:21:31
740
原创 LeetCode题数组篇总结
1. 前言 由于博主刷LeetCode题总是断断续续的，因此经常出现在这一次刷题时已经忘记上一次刷了哪些题以及用了哪些方法的情况。于是，我打算对自己之前刷过的题进行一些回顾，必要时会对用到的方法进行总结。我刷题的方法是按类型刷，选定类型后先刷简单，再刷中等，最后刷困难。由于自己刷题的时间不够久，再加上自己总是三天打鱼两天晒网，因此我现在只刷完了[数组]类型的简单和中等，写这篇博客的目的也是为...
2018-12-21 14:18:27
286
原创 李宏毅机器学习实战代码篇——作业笔记
1.python的一些用法np.arange(start,stop,step,dtype):return array Return evenly spaced values within a given interval.Values are generated within the half-open interval [start, stop） np.zeros(shape,...
2018-11-05 21:19:02
2090
原创 ubuntu上安装git并且设置姓名和邮箱、添加sshkey、更换源、安装MySQL-python 1.2.3等、设置mysql远程登录、解压文件
1.安装git##安装gitsudo apt-get install git##设置namegit config --global user.name "your name"##设置emailgit config --global user.email "your email"##生成ssh keyssh-keygenps: ubuntu desktop查看隐藏文件夹or...
2018-07-29 20:12:11
452
原创 mysql安装时碰到的各种问题及解决方案
1.在命令行输入mysqld 时出现错误：msvcr120.dll文件丢失解决方案：理论上是缺什么加什么，但是加了一个dll文件之后可能还存在另一个dll文件的丢失，因此，我推荐去官方下载vcredist.exe文件，这里面包含了所有的运行库文件 链接：https://pan.baidu.com/s/1OQEXSHymC-lEMmoSAnFPfg 密码：sgma32位系统安装vcredist_x8...
2018-07-07 21:45:51
4356
原创 windows环境下python2.7连接mysql插入数据乱码问题
1.问题：在windows环境下使用PyCharm时，我想向mysql的一张表中插入数据，代码如下import MySQLdbfrom scrapy.conf import settingsclass XiaoHuar_Pipeline(object): def process_item(self, item, spider): host = settings['MYS...
2018-07-02 09:33:49
403
原创 python中无法创建包含中文路径的文件
1.问题：在学习python时使用urllib下载文件到本地时，总是无法创建带有中文的文件名，源码如下ab_stc = 'http://www.xiaohuar.com' + src[0] # 相对路径拼接# 文件名，因为python27默认编码格式是unicode编码，因此我们需要编码成utf-8file_name = '%s_%s_%s.jpg' % (i-1,school[0].enc...
2018-07-01 20:41:13
4332
原创 使用scrapy框架出现callback指定的函数不被调用的情况
1.问题：在学习scrapy框架时，写了一个爬虫，在parse函数里使用yield语句重新请求该网页结果中包含的链接，但是试了好几次parse2函数都不会被调用2.原因：因为自己写了allowed_domains，但是少写了一个r，将"xiaohuar.com"错写成"xiaohua.com"，所以导致这些请求不会执行3.解决方法：删掉allowed_domains属性，或者把域名写正确修改完毕后...
2018-07-01 18:45:24
7724
5
原创 com.intellij.javaee.oss.admin.jmx.JmxAdminException: com.intellij.execution.ExecutionException
1.前言：在运行web项目时，将项目打成explode包放在tomcat里运行，由于出现了“修改了源文件，但调试时发现还是之前的文件”的问题，因此我把out目录下所有文件夹都删掉了，打算重新生成。2.问题：生成artifacts后，我将其部署到tomcat上运行，但却出现了如标题所示的错误查看目录时发现后artifacts目录没有自动生成3.解决方案：生成artifacts时勾选Include I...
2018-06-26 15:41:40
43801
10
原创 IDEA上传项目到github
1.在github上创建repository2.在IDEA上选择git3.选择log in to GitHub,Auth Type选择password4.在本地创建repository5.新建.gitignore文件，用于过滤掉不用上传的文件6.设置远程仓库填写的内容为第一步创建的repository的地址7.向远程仓库pull一下8....
2018-06-13 16:22:54
738
原创 Ubuntu下使用apt-get遇见Unable to locate package的错误
前几天同学跟我炫耀他在linux系统下的小火车于是我也心血来潮想在自己电脑上试试结果当我输入如下命令时sudo apt-get install sl出现了E：Unable to locate package的错误经过查阅资料后发现原来自己以前更换或软件源但却没有update输入update命令后，输入install命令，小火车就会自己出来了。mxxx@DESKTOP-N6ETBPI:~$ sudo...
2018-06-11 20:29:57
3751
3
原创 使用cropper遇到的坑
前不久使用cropper对图片进行编辑，一直碰见如下错误Uncaught TypeError: $(...).cropper is not a function at FileReader.reader.onload (personal.jsp:186) 在尝试更换不同版本的jquery.min.js和jquery.js文件多次之后，问题没有得到解决 尝试更换不同版本的crop...
2018-05-11 00:41:54
11447
3
原创 serialVersionUID(Java 1.7)
在实现Serializable接口时，我们经常会看到一个名为serialVersionUID的变量，如下面代码所示：private static final long serialVersionUID = 42L; 在API中这样提到：The serialization runtime associates with each serializable class a version nu...
2018-04-02 20:57:59
164
原创 HashMap和LinkedHashMap的区别（java 1.7）
首先需要知道的是HashMap实现了Map接口，而LinkedHashMap是HashMap的子类。 1.HashMap： HashMap实现了Map接口，因此Map包含的方法，HashMap都能予以实现(从这一点来说，HashMap与HashTable类似，但HashMap是不同步的，除此之外，HashMap允许至多一个key为null，允许多个value为null。而Has...
2018-04-01 21:47:30
406
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人