铁血军的小博客

开头的环境变量设置要具备，不然spark在windos上寻找python环境会老是出错。例子来自于官网，直接能跑通。

主要是因为，一般我们在window上安装好对应的python版本之后，只有python.exe，并没有python3.exe。Exception in thread “main” java.io.IOException: Cannot run program “python3”: CreateProcess error=2, 系统找不到指定的文件。Caused by: java.io.IOException: CreateProcess error=2, 系统找不到指定的文件。

作为dataLoader的形参，不传入的时候使用默认的，可以自己定义。

（2）主要用来实例化类，可以发现，我们可以在build中进行业务逻辑的处理，然后实例化为不同的对象。因此可以作为构造方法使用。cls这里表示类本身。与self不同，self表示类的实例。（1）该方法不用实例化，可以直接通过类进行调用。

pytorch Geometric(PYG),CUDA,Pytorch安装

给定一个候选人编号的集合 candidates 和一个目标数 target ，找出 candidates 中所有可以使数字和为 target 的组合。candidates 中的每个数字在每个组合中只能使用 一次 。注意：解集不能包含重复的组合。示例 1:输入: candidates = [10,1,2,7,6,1,5], target = 8,输出:[[1,1,6],[1,2,5],[1,7],[2,6]]示例 2:输入: candidates = [2,5,2,1,2], target =

主要是因为粗心导致的报错信息Exception in thread “main” java.lang.RuntimeException: com.ctc.wstx.exc.WstxUnexpectedCharException: Unexpected character ‘l’ (code 108) in prolog; expected ‘<’at [row,col,system-id]: [1,4,“file:/home/export/servers/apache-hive-3.1.2-bi

题记： 好记性不如烂笔头。搞一个稳定的hadoop部署方式，给以后的人生省点打游戏的时间。环境介绍两台阿里云服务器server1,server2,还有一台华为云服务器。准备将两台阿里云服务器器分别记为：master,slave1;将华为云服务器记为slave2。masterip,masterip_分别表示master的公网ip和内网ip；slave1ip表示slave1的公网ip;slave2ip表示slave2的公网ip;第一步：服务器间ssh无密码登录1.1 更改/etc/hosts文

问题描述用三台服务器组成了一个hadoop集群。我暂且简单的记作master,slave1,salve2。配置和初始化都没有任何问题。在最后用行start-dfs.sh （后来用start-all.sh启动）命令，发现slave1和slave2上都有datanode进程，但唯独master上没有datanode进程，甚至logs下都没有datanode的日志。依据离谱加挖槽。解决办法试了很多很多种办法，更新了所有的配置文件，发现只要再单独的启动一下datanode就行了。。。。。 hadoop-

报错信息发现hadoop没有启动NameNode和dataNode,并生成如下的报错：java.net.BindException: Port in use: master:50070 at org.apache.hadoop.http.HttpServer2.constructBindException(HttpServer2.java:1344) at org.apache.hadoop.http.HttpServer2.bindForSinglePort(HttpServer2.java:13

1.创建备份文件夹的脚本将以下的脚本写入1.sh文件夹basis=/home/dbbackup/backupdaily=/home/dbbackup/backup/dailyif [ ! -d "$basis" ]; then echo "创建文件夹成功,全量备份目录:$basis" mkdir $basiselse echo "文件夹已存在,全量备份目录:$basis"fiif [ ! -d "$daily" ]; then e

1第一步：idea中指定Main方法具体步骤：file->project structrue->Aritifacts->±>jar->from models with dependencies。截图如下第二步：pom文件中指定主程序入口应该就没问题了<plugin> <groupId>org.apache.maven.plugins</groupId> <art

问题描述简单来说就是在下面333的立方体中插入14个小球，让球共线的数量最小。那这里再补充解释一下什么叫共线：“三个小球只要同一行，或者同一列，或者同一对角线”问题建模模型是比较显而易见的，主要是辅助决策变量Lines的处理。官方解答意图比较明显，枚举所有的共线情况。但是不知道有没有人看懂了三个for循环里是什么鬼？我是看麻了。。。。。#-*-coding:utf-8-*-import gurobipy as gpfrom gurobipy import GRB# tested

报错信息Traceback (most recent call last):File “”, line 1, in File “/root/.pycharm_helpers/pydev/_pydev_bundle/pydev_umd.py”, line 197, in runfilepydev_imports.execfile(filename, global_vars, local_vars) # execute the scriptFile “/root/.pycharm_helpers/p

查了下网上更换marker的颜色，大都是通过预先p好几个大小一样颜色不同的图片。但是片源又比较难找，不太好用，想到了直接盗用百度的图源~~~,个人感觉下面的方法比网上的其他方法好用，且可重复使用，减少对后端的请求。1.效果图2 实现过程2.1从百度地图下载下面这幅图具体方法：（1）打开百度地图（2）按F12打开调试模式（3）依次点击工具箱——标记——更换标记。此时本地已经缓存了上面的图片，下载下来就行了。2.2通过icon中的imageOffset属性并配合着图片的大小属性进行设

对，今天想写篇博客怼一下北交傻x的校园网。第一点：每次只能连三个设备。对数量的要求还能理解，但是在同一台设备上退出登录，再登录的时候就会把另一条设备挤下去是什么鬼？第二点：同一个校园内的电脑竟然不在同一个局域网下了…。网络天天修，天天升级，就这？让用远程桌面的孩子怎么办~需求与问题需求：希望实验室电脑和宿舍电脑可以协同办公。问题：本来同一局域网下用window的远程桌面挺欢乐的，但是校园内的很多ip之间已经不在一个局域网里面了（就离谱）。所以可以选择远程的软件teamviewer和向日葵等。但

1.发现过程突然发现自己的程序被莫名的终止。随后用top命令查看资源占用情况，发现有一个pnscan占用了大部分的资源。2.难点这个进程的pid在实时刷新，直接用kill-9 +pid的方式无效3.解决办法第一步：ps -aux | grep pnscan第二步：定位到文件后进行删除。第三步：此时发现，木马进入初始程序，疯狂反扑，现在后台进程中多了个[scan]进程，占用cpu资源70%左右。第四步：重复第一步与第二步，将文件删除。此时可以发现，木马病毒刚好在redis的配置文件目录下。删

失败的历程pydot+graphviztree.export_graphviz(regr_1, out_file=f)(graph,) = pydot.graph_from_dot_file("./tree.dot")graph.write_png("./tree.png")然后就是一直报错找不到dot文件，一直报，一直报，报到人头铁了都。我甚至取读了pydot.py的源码，报错信息应该来源于一下几行代码：我甚至根据网上的建议改了下面的函数然后就什么卵用都没有~~~~成功的做法p.

此板块持续更新，有好的建议，直接评论1 、np.cumsum自动累加操作，主要用于累计概率求和等np.cumsum([1,2,3,4,5,6,7])array([ 1, 3, 6, 10, 15, 21, 28])2、np.searchsorted主要用于概率和定位等情况，比如轮盘赌等情况。Find indices where elements should be inserted to maintain order.Find the indices into a sorted arr

优化结果原数据处理时间花费： 523.7913863658905原数据分为20份，4进程运行时间(因为我的电脑只有四核)：时间花费 282.55076575279236实施过程过程如下，强的一批：import numpy as npimport pandas as pdimport timefrom multiprocessing import Poolimport jsonimport pandas as pdimport datetimedef strToStrp(x):

DataFrame赋值时报错A value is trying to be set on a copy of a slice from a DataFrame.Try using .loc[row_indexer,col_indexer] = value insteadSee the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-

1、DataFrame中的字符串转化为时间戳def strToStrp(x): if x==None or type(x)!=str or len(x)!=19: return None return datetime.datetime.strptime(x,"%Y-%m-%d %H:%M:%S")核心的方法是datetime.datetime.strptime(str,format)第一个参数是字符串，第二个参数是字符串转化为的日期时间格式。例如：datetime.

###第一步改my.cnf文件注释掉下面两行第二步：用完整的代码启动/usr/local/mysql/support-files/mysql.server start --user=mysql --basedir=/usr/local/mysql/ --datadir=/usr/local/mysql/data

个人做笔记使用，不用每次画图的时候都去找代码了。三维import matplotlib.pyplot as pltimport numpy as npfrom mpl_toolkits.mplot3d import Axes3Dfrom matplotlib import cmimport mathfig = plt.figure()ax = fig.add_subplot(111, projection='3d')w=[i+1 for i in range(100)]q=[i+1 f

import torchimport matplotlib.pyplot as pltimport numpy as npn_data = torch.ones(50, 2)x1 = torch.normal(2 * n_data, 1)y1 = torch.zeros(50)x2 = torch.normal(-2 * n_data, 1)y2 = torch.ones(50)x = torch.cat((x1, x2), 0).type(torch.FloatTensor)y = .

softmax回归的难点主要是对于交叉熵损失函数的设计和理解，可以看我的另一篇博客：（https://blog.youkuaiyun.com/weixin_41806489/article/details/109190353）。其他的就是流程作业了。import torchimport torchvisionfrom torch import nnimport numpy as npimport torchvision.transforms as transformsmnist_train = torchv

问题描述在我的博客《工具使用篇——python操作ActiveMq》中，我详细的介绍了python是怎样注册登记监听activemq，并且向消息队列中推送数据的，但是最近就出现了一个新得得情况：python程序通过stomp协议监听actvemq,在一段时间之后，当我再往消息队列里推送消息时，监听程序却没有反应，打开控制台，返现，监听程序已经掉线~~，这就很尴尬了。我的监听程序import sysimport osimport stompuser = "admin"password = "a

写作目的在编程过程，特别是线上编程的过程中，总会需要用到很多高级的数据结构，但是python中的一些高级数据结构并没有那么的“明显”，这里梳理一下。栈栈在python中比较好实现，直接用List数据结构就可以代替。add方法用append代替，有内置的pop()方法，时间复杂度O(1),至于peek()方法可以直接用索引-1代替。myStack=[]myStack.append(1)m...

anoconda是个非常好用的工具，不对，应该说是一个好用的环境集成工具，但是在使用的时候我们总会由于版本问题遇见这样活着那样的问题。比如说，python3.7对某些用3.6写的程序就会报一些莫名的错误，所以就希望把python的版本调到3.6，其实我们是可以将anoconda中的内容进行覆盖，但是如果每次都这样覆盖过来覆盖过去，就需要重新安装一些包，比较容易出错，所以我们可以在anoconda中...

springBoot打包静态文件报错问题springBoot读取本地文件，比如txt,png等资源，发现打包之后总会有错误。由于对shringBoot的marven打包机制没有深入的研究过，所以这里提供一个网上行得通的办法。首先将你的资源丢到resources下面。在读取数据的时候用下面的方法读：:smileTxtoperation txtoperation=new Txtoperat...

DataFrame易用与易错点总结1、apply()函数的应用def filterComeAndGo(line): if line["dep_cty_chn_nm"]=="昆明": return line["dpt_dt"] else: return line["arrv_dt"]if __name__ == '__main__': ...

准备不管是本地还是云端，要先有一个activemq安装过程生产者Publiser.javapackage example;import org.apache.activemq.ActiveMQConnectionFactory;import org.apache.activemq.command.ActiveMQQueue;import org.apache.activemq.co...

准备1、python需要安装stomp,stomp包的安装比较麻烦，建议在网上直接下载.whl文件，然后本地安装2、本机需要安装acitvemq,安装过程参考https://blog.youkuaiyun.com/weixin_41806489/article/details/104997519.操作过程1、生产方prublishi.pyimport timeimport sysimport...

1 消息中间件消息中间件利用高效可靠的消息传递机制进行平台相关的数据交流，并基于数据通信来进行分布式系统的集成。近两年谈的很多的一个概念微服务，在一个大型业务系统架构中，会被拆分成很多小的业务系统，这些业务系统之间如何建立通信呢？大家熟知的 HTTP、RPC 可以实现不同系统、不同语言之间的通信，除了这些往往还会使用消息队列（RabbitMQ、ActiveMQ、Kafafa 等）将这些系统链接起...

1、reduce的用法python2.7中可以直接作为内置函数引用，但是再python3中需要从functools里面导入：描述：函数将一个数据集合（链表，元组等）中的所有数据进行下列操作：用传给 reduce 中的函数 function（有两个参数）先对集合中的第 1、2 个元素进行操作，得到的结果再与第三个数据用 function 函数运算，最后得到一个结果。eg:from func...

文件处理语法cd——切换到指定的目录下，跟windos是一样的程序部署语法java -jar xx.jar ————运行jar包<br>sudo nohup & 程序 ————xshell退出后继续运行sudo fuser -k -n tcp 80 ——————强制杀死某个端口的进程nohup java -jar xxx.jar >soringboot...

报错Caused by SSLError("Can’t connect to HTTPS URL because the SSL module is not available)解决方法改问题是因为在安装python3的时候没有安装SSL模块的原因。补上代码。yum install opensslyum install openssl-devel注意注意在安装好上述模块之后还要重新...

备份原理通过mysqldump命令保留数据库的结构和数据sql语句。通过crontab的创建定时任务，定期的循环备份。操作过程1、创建A.sh文件文件的内容如下：#将数据库备份并压缩的命令mysqldump -u你的数据库用户名 -p数据库密码 数据库名称 | gzip > 备份保存的路径/文件名字_$(date +%Y%m%d_%H%M%S).sql.gz#循环删除离现在比较...

mysql安装与配置这里以mysql8.0.16版本安装进行说明。mysql8.0是压缩版本，告别了傻瓜式安装的时代。mysql是轻量级开源数据库，安装使用都很方便，配合着移硬盘进行使用，更是异常的方便，本教程就是将mysql安装到了自己的硬盘上。注：这里以本机安装进行展示mysql8.0.16下载方法一：官网下载。这里不加详细的讲解，到官网下就是了。方法二：到我的网盘下载。百度网盘链接...