IT_NEU_Lee-优快云博客

原创 kafka 报错 SyntaxError: invalid syntax

kafka python不兼容问题

2022-01-25 14:24:38 3621 1

原创 sql筛选查询不到null的情况

使用sql查找使用了<>符号，排除不为Y的值但是一直排除不了NULL类型的通过网上查找查找网上：SQL由于NULL不能直接用算术运算符进行比较值。要想把为NULL 的那行也查询出来的话，只能使用IS NULL。所以如果要排除不是Y的要加上 xxx <>‘Y’ and xxx is NULL...

2021-04-07 10:05:53 1807

今天被老姐拉着强行给他完成一个事情，就是把word的表格转成excel文件，但是每次转变都是身份证乱码，很是奇怪，网上找了很多，没说到点上，后来找到了解决办法，如下：步骤1：新建Excel空白文档，选中对应Word文档中表格行竖数量（或者干脆Ctrl+A全选文档），鼠标右键打开选项框，选择“设置单元格格式”，确认进入选项设置界面；选择“数字”选项里的“文字”，确定；步骤2：把Word文档里的表格复制后，在Excel界面选择要粘贴的区域，鼠标右键，在弹出的“粘贴选项”选择“匹配目标格式..

2021-03-11 16:46:26 11753

原创 python文件打包成exe可执行程序

为了能让我的定时程序在windows环境下可以一直后台跑起来而不用重复的进行开启，而且一直放着cmd总感觉不好或者一直用pycharm打开经过一番查找，把该程序作为exe进行发布，并且变为基础服务，开机自启动，哪怕关机重启也不用害怕我的程序起不来啦具体方式如下：使用安装：pip install pyinstaller1使用方法（例子）：pyinstaller -D -p F:\Python27\Lib -i logo.ico mian.py1-D:打包成多个文件-p：指定python

2021-03-11 10:51:45 187

原创 -source 1.5 中不支持 diamond 运算符

运行idea 配置了项目后又出现 -source 1.5 中不支持 diamond 运算符的错误问题：我已经配置了maven和jdk 而且确认无误但是仍然导入不了包说明maven就没有导入成功但是我通过file ->settings->maven检查了我的配置也没有错好奇怪reimport maven项目没有用解决：在idea右边找到maven projects 然后点击小扳手重新配置maven 发现project的maven没有配置重新配置...

2020-07-23 10:03:33 636

转载 google chrome一直崩溃 snap

昨天google一直甭哭，显示Chrome Aw Snap我尝试重新安装chrome 但是还是不行目前还没有找到根因但找到了一个解决办法原文出自黑山老雕亲测可用:Chrome 78 版本以后，很多人经常碰到 Aw Snap 的崩溃。尝试多种方法无效后，可以试试如下两种方案：右键选择Chrome，在属性中，在命令行最后添加 --disable-features=RendererCodeIntegrity 的参数。在Chrome文件夹中把 Chrome.exe 重命名为 Ch...

2020-06-09 09:01:43 757

原创 RF(robotframework)安装后RIDE双击打不开的问题

我尝试用cmd中的命令行ride.py启动但是出现如下问题启动ride时出现wx._core.wxAssertionError: C++ assertion网上有各种方法，让去修改配置的有让删除什么库的但是都感觉治标不治本我经过定位问题应该是版本不匹配的问题请pip list查看一下你的包我发现我的python是2.7 我的robotframework-...

2020-04-26 20:23:18 4966 2

原创 Spark的Job Stage task关系

https://blog.youkuaiyun.com/hjw199089/article/details/77938688

2020-04-26 20:02:42 233

原创 spark学习

总是学了就忘记，spark都学了几遍了总是深入不进去唉头疼这里再次学习一遍谁有更好的深入学习spark的方法给推荐推荐面试了大数据，盘点几个被问到的问题： spark一定会把中间结果放在内存吗？当然不是可以是内存，也可以是磁盘 spark包括work和master work和master之间的沟通通过网络RPC进行交流沟通拷贝到其他节点...

2019-12-09 17:01:06 230

转载 Anaconda安装后默认python3.6 现在我想变成3.5 降级python版本如何？

安装了Annconda 他自动升级当前的python版本我的程序运行的话python3.6是不行的需要降级那么我该如何弄呢查了网上很多东西很心烦比如说如何卸载anaconda安装的python这样的条目搜索出来的都是个啥子很烦人想来想去还不如降级 https://blog.youkuaiyun.com/weixin_39278265/a...

2019-12-09 16:59:49 1189

原创面试开发

为什么要三次握手：https://www.jianshu.com/p/e7f45779008a访问修饰符public,private,protected,以及不写（默认）时的区别？https://blog.youkuaiyun.com/lihua5419/article/details/80334095hashmap的底层存储：https://blog.youkuaiyun.com/tingting256/art...

2019-12-09 16:56:43 143

原创构造自己的异常数据集合

在看论文的时候发现有的人工合成数据集合并没有提供出来并且不知道如何用工具构造自己的数据集,于是就手动用Python自己实现一个数据集其中共有263个数据二维数组构成便于二维平面画图其中异常数据13个正常数据250个但正常数据又分为3个聚集的堆第一个堆70 个第二个和第三个都是90个import numpy as nparray1...

2019-11-30 15:44:45 898

原创启动hadoop成功后，再次启动datanode 和namenode都没有但有nodeManager

安装hadoop 启动后发现成功但之后因为某些原因重新启动发现重新启动不起来了datanode和namenode都没有了怎么找也找不到但可以看到nodeManager还在这是个什么幺蛾子我重新删除log tmp文件夹然后format 啊哈没有一点用最后发现后台进程中JVM占用了50010端口这我就知道了因为之前没有合理的关闭ha...

2019-07-24 10:58:11 1210

转载如何远程连接一个主机并且执行一段命令呢

"ssh -o StrictHostKeyChecking=no -o ConnectTimeout=5 %s '%s'" % (host, mkdir -p your_path)如此可以远程ssh连接一个主机执行命令https://www.cnblogs.com/Peter2014/p/8250119.html...

2019-07-16 10:40:21 482

转载 linux 用Backspace键突然出现^H的问题

今天运行了某个程序后突然发生这种情况对使用Linux命令很不方便上网找到了解决办法供大家参考https://blog.youkuaiyun.com/weixin_42760394/article/details/82051477linux执行下列命令即可：stty erase '^H'...

2019-06-14 17:44:48 761

转载 spark 提交集群的各种方式

https://blog.youkuaiyun.com/hellozhxy/article/details/80483376其中 deploy-mode 可以是cluster 和client形式两者有什么区别呢：请看https://blog.youkuaiyun.com/Trigl/article/details/72732241...

2019-05-30 15:23:09 289

原创下载apache的spark的时候总是网速很慢下载好久的问题

下载个spark-2.2.2版本下载了一天网速7k/s 什么鬼然后用专业软件检测发现并没有网速很慢呀 1M/s是没有问题的这是啥子个原因哎我也不知道到总之能不去apache下载东西就不去还是另寻他路找个开源镜像什么的下载吧 ps:我配置了代理依然提高不了网速估计在国外会快点吧唉。。。。。...

2019-05-17 14:17:41 2860

转载 idea打包jar到spark集群运行

总是想打包一个程序到集群网上很多方法都是要用maven管理用pom 和maven工具来进行而此时我只想直接打包一个程序成为一个jar文件怎么搞呢看下面连接https://www.cnblogs.com/xugh/p/9680256.html...

2019-04-24 16:27:23 648

原创 ramp plan 是什么意思呢？

ramp up加强ramp英 [ræmp] 美 [ræmp] n.斜坡;坡道;(装车或上下飞机的)活动梯，活动坡道v.敲诈;使有斜面看到“敲诈”吓我一跳难道是敲诈计划？问过之后发现是ramp plan就类似于一个成长计划这完全相反的理解嘛...

2019-04-16 11:11:52 2817

原创 spark 配置historyserver进程报错：failed to launch org.apache.spark.deploy.history.HistoryServer

查看日志发现是Exception in thread "main" java.lang.reflect.InvocationTargetException 然后后面还有fail on connection 这个大概是接口防火墙错误了我检查之后端口没有被占用，防火墙也关闭了那怎么回事呢？后来才发现，因为我配置historyserver的存储目录是hdfs:/...

2019-04-15 16:22:25 2104 1

原创 find根目录（查找某个字段）

linux中在所有文件中查找某个字段最近在配置文件的过程中，发现有个配置不知道在哪个文件里配置着，试了很多配置文件都没找到很是奇怪干脆就在根目录下查找查找这个让人心烦的东西在哪个文件里面如果强行find的话会运行太慢，甚至Linux卡死所以使用下面的命令提高查询速度find / -maxdepth 5 -type f -size +10c -si...

2019-04-09 09:05:03 797

原创 flume使用注意事项

flume可以有多个source 多个channel 多个sink 为什么要把flume分为source chanel sink多个组件呢？有多个组件是为了更加灵活，可以得到不同的来源，传入不同的地方也可以只有一个source channel 而没有sink也可以是其他情况agent---flumesource搜集数据(如：每次来一行数据，就读...

2019-03-21 11:24:39 915

转载 Java面试必看

最近找大数据开发，下面记录几个自己看的比较好的面经，供参考这个博主写的非常不错，总结的也很到位 java题汇总：https://www.cnblogs.com/java1024/p/7685400.html23种设计模式讲解：http://c.biancheng.net/design_pattern/HashTable和HashMap的区别以及ConcurrentHashMap...

2019-03-05 17:25:11 173

转载 ThreadLocal

参考下面写的不错：https://blog.youkuaiyun.com/zhangzeyuaaa/article/details/43564471https://www.iteye.com/topic/103804

2019-03-04 21:55:46 204

原创短期工作总结

为期两个星期，主要完成了数据的查询，调用接口传入数据进行功能的调用出现的错误：网站后台报错：400 后来经过核实，是我这边调用接口传入的参数不符合接口方的规定所以造成了这种错误错误解释：https://www.cnblogs.com/wanglaowu/p/6229843.html后台报错：500 后台代码出错了需要查找一下哪里多了“分号”（你懂的！！！）...

2019-01-29 10:16:50 426

原创地址栏输入localhost:8080后跳转到windows查找的问题

今天出了一个错误还要把我气吐血了我在地址栏输入localhost:8080后就跳转到了windows的一个“需要新应用打开此localhost”界面上网各种查找，都没找到这个奇葩问题的答案然后解决：改成http://localhost:8080试试，然后就可以了（指定下协议就会视为ur...

2019-01-24 15:57:09 2892 2

原创 SSH需要的关键技术

1 代理（用来进行类的增强和service实现类一样都继承相同的接口）静态代理---------创建一个代理类，运行之前就已经确定了代理某个service实现类动态代理---------不需要创建代理类，通过工厂产生代理对象，在运行时才生成代理 jdk动态代理：target=Proxy.newProxyIns...

2019-01-21 09:50:49 644 1

原创 svn出现不能访问url的情况解决

右击svn checkout一下url链接但是报错提示url不对明明我的url存在也正确呀怎么搞的这时候一定去看看自己的hosts配置里面是不是出问题了当时配置的svn路径是不是被系统或者360给干掉了 ...

2019-01-18 18:03:11 12635 2

转载拥有管理员权限但hosts文件无法修改的问题

今天修改hosts文件简直使用了网上所有的方法都不成功心累呐气的想砸电脑

2019-01-18 17:58:20 25120 13

原创 svn提交或者更新的时候出现错误 svn: Working copy 'D:\...'locked.

今天从svn更新项目中的文件内容但出现了如下问题解决方案：https://blog.youkuaiyun.com/mynameisyaxuan/article/details/79528445可参考该博主连接1.右键文档-->TortoiseSVN-->clean up 2. 再次更新就能更新了原因：这里主要是上次处理相关操作，没有处理成功就直接将我的eclips...

2019-01-15 18:02:38 5837

原创 javaee开发之Servlet

servlet接口开发网页版本需要实现自己的servlet 即继承servlet接口如果要访问servlet需要配置内容到WEB-INF下的web.xml <servlet> <serlvet-name>HelloServlet</servlet-name> <serlvet-class>com.ite....

2019-01-13 23:40:41 204

原创 python线程

threading.Thread父类来实现自定义的类全局变量在线程中是共享的最近面试出现一个问题是num=num+1是线程安全的吗如果是，为什么，如果不是，如何实现线程安全呢？答案是不安全的那么让其线程安全，就要回答如何能让一个线程安全的问题，可以在网上查一下如果实现线程安全 https://blog.youkuaiyun.com/galaxyxupt/article/det...

2018-12-11 21:25:48 160

原创 python进程

本来的主进程是当前运行的程序执行到os.fork()时候，又创建了一个子进程主进程向下执行，子进程也继续向下运行，根据返回值的不同分别执行下面的代码可以使用os.getpid()得到当前进程的父进程的进程号如果父进程先执行完毕，那么先退出，子进程可以继续执行，即他们各自执行，代码是同一份代码，但数据是各自独有的，互不影响，哪怕是全局变量，也不互相影响。fork只能用在...

2018-12-10 11:41:20 186

原创 pep8规则 Python的书写规范

import 的时候顺序如下：1先标准库 2 相关第三方库 3 本地库之间用空行隔开 python默认使用utf-8格式

2018-12-05 21:03:19 347

原创 pdb调试

1 python -m pdb some.py 使用下列命令进行程序的调试2 import pdbpdb.run("test(args)") 进行交互式调试 3import pdbpdb.set_trace() 埋断点执行到这里开启pdb模式 ...

2018-12-05 20:56:01 365

原创 python的gc（Garbage collection）

小整数池[-5,257）共用对象，长驻内存python的intern机制共用同一段内存（单个单词，不可修改，默认开启intern机制）Java c#都有垃圾回收机制引用计数简单，但维护引用消耗资源，出现循环引用的时候出现无法回收对象的风险 python（一旦没有引用立刻清除）和ruby（先申请大量的内存，全部用完后再清除内存,标记-清除）python以引用计数为主，...

2018-12-05 20:18:19 640

原创 Scala

一门运行于JVM并将面向对象和函数编程完美结合的语言。在Scala中main函数需要存在于object对象中函数体最后一行的值就是整个函数的返回值。当函数不带参数时候可以省略括号调用函数可以直接使用函数名即可双箭头=>的使用参考：http://blog.sina.com.cn/s/blog_764943770102whmx.html第一种函数类型：...

2018-12-04 22:01:49 172

原创 spark补充

每个应用在一个WorkerNode上只会有一个Executor。每个partition都会由一个task负责运行，有多少partition就有多少task。DAGScheduler给TaskScheduler发送任务时候以stage为单位提交的TaskSet 其实就是task组成的一个数组...

2018-12-04 10:50:12 223

原创 spark运行模式 standlone mesos yarn

不同的运行模式的主要区别就是他们有自己特定的资源分配和任务调度模块，这些模块用来执行实际的计算任务。常用spark-submit提交spark application 格式如下submit可选参数如下： standalone模式：资源调度是spark框架自己实现，节点分为master和worker节点如果是运行spark-shell等交互式的运行spark任务，那...

2018-12-03 23:36:43 520

原创简单解析spark RDD

弹性分布式数据集 RDD(只读，可分区) 这个数据集的部分或者全部可以缓存在内存中。所谓弹性，是指内存不够时可以与磁盘进行交换。RDD 作为数据结构，本质上是一个只读的分区记录集合。一个rdd可以包含多个分区，每个分区就是一个数据集片段。宽依赖和窄依赖的区别：narrow dependecies 可以支持同一个cluster node 还是哪个以pipeline形式执行多条命...

2018-12-02 21:18:07 364 1