slibra_L的博客

最近由于需要使用本机环境运行spark，所以进行了spark的安装，记得当年（2017年）装spark的时候折腾了几个小时才装好，没想到现在安装的流程这么简单，1. 下载安装包http://spark.apache.org/downloads.html这里我选的是spark-2.4.7-bin-hadoop2.7.tgz2. 安装cd /usr/localmv ~/Downloads/spark-3.0.0-preview2-bin-hadoop2.7.tgz ./ # 下载sp

之前使用screen后台运行jupyter，但是电脑重启后后台进程也会自动停止，又需要重新启动，作为程序员，本着一件事重复多次就要自动化的精神，打算写一个可以开机自启jupyter的脚本目标：实现jupyter（或别的程序）的开机自启步骤1：实现jupyter的状态检查、启动、停止#!/usr/bin/bash#-----------------------------------------------------------------# Author: lm# Filename

今天想要在Mac上执行一段自动启动jupyter的shell脚本，但是出现了错误错误代码：CommandNotFoundError: Your shell has not been properly configured to use 'conda activate'.To initialize your shell, run $ conda init <SHELL_NAME>Currently supported shells are: - bash - fi

pycharm2020报错 Error: failed to send plot to http://127.0.0.1:63342问题：使用pycharm2020连接远程Python解释器，画图plt.show()报错错误原因：在“http://127.0.0.1:63342”中的63342是环境变量os.environ[‘PYCHARM_DISPLAY_PORT’]或者os.getenv(“PYCHARM_MATPLOTLIB_PORT”)。远程解释器尝试将图像数据发送到 远程服务器的1

在多人合作开发的场景下，每次开发前需从Git仓库pull最新的版本，当有多个项目同时进行（或同时关注）时，总是手动pull耗时耗力，而且还可能忘记，于是想到了用crontab定时pull所有自己关注的项目。调试的过程中遇到如下错误错误1：没有权限读取文件原因：crontab中的运行环境和默认环境不一致，无法读取mac非User目录下的文件解决方法：将文件夹迁移至User下错误2：fatal: could not read Username for 'url': Device not co

一、 进入所需的conda环境二、安装jupyterconda install jupyter notebook三、查看配置文件位置jupyter notebook --generate-config四、生成密码进入环境ipython, 在ipython环境下输入：from notebook.auth import passwdpasswd()输入方便你记的密码，连续输；两次…输...

安装：https://redis.io/download 按照官网的步骤安装redis运行：通过执行src文件夹下的redis-server，可以启动redis服务：$ src/redis-server通过执行src文件夹下的redis-cli， 可以访问redis服务。$ src/redis-cliredis> set foo barOkredis&gt...

ELK就是ElasticSearch + LogStash + Kibana，公司一直在使用ELK进行日志收集可视化，感觉ELK是一套十分有用的工具，为了了解ELK的原理，熟悉ELK操作，准备自己在测试服务器上部署一套ELK系统1. LogStash它可以流放到各自的服务器上收集Log日志，通过内置的ElasticSearch插件解析后输出到ES中。2.ElasticSearch这是...

在logstash.conf中可以对input/filter/output插件进行编辑一、input标准输入 stdin{}input{ stdin{ add_field => {"key" => "value"} #向事件添加一个字段 codec => "plain" #默认是line, 可通过这个参数设置编码方式 ta...

一、logstash与beats由于Logstash在数据收集上并不出色，而且作为agent，性能并不达标。elastic发布了beats系列轻量级采集组件。至此，elastic形成了一个完整的生态链和技术栈，成为大数据市场的佼佼者二、什么是beatsbeats 是一个使用 Golang 构建的平台，libbeat 是其核心库，用来提供API进行与Elasticsearch，Logstash...

删除index和数据切换到elsearch账户，不可用root账户查看indexcurl 'localhost:9200/_cat/indices?v'删除indexcurl -X DELETE 'localhost:9200/索引名*'

一、访问host:5601端口后可进入kibana的web界面二、进入management，进入Index Management查看es中是否有我们需要的index* 三、进入index patterns-Create index pattern使用我们的index建立pattern* 四、进入discover，如果没有数据显示则调整右上角的时间轴，扩大范围...

之前在github上建了一个项目，传了几个不到1M的xlsx表格，但是用家里的电脑克隆项目时一直报错：fatal: the remote end hung up unexpectedlyfatal: early EOFfatal: index-pack failed尝试了https和ssh克隆均以失败告终查看了一些网上的解决方法，原来是文件过大造成的这个错误解决方法：运行：git ...

使用zabbix设置监控报警1.登陆zabbix的web页面2.配置监控项选择 配置-主机，选择配置监控的目标机点击 监控项-创建监控项，注意名称和键值3.配置触发器输入表达式，选择严重性4.往zabbix发送数据在terminal中输入命令发送数据，若超过阈值则自动报警zabbix_sender -z “IP” -p 10051 -s "$HOSTNAME" -k 键名...

下载vuze源码之后，经过简单的配置，在windows下使用eclipse就可以直接运行了，但是在linux下却死活不能运行，一直报错，由于vuze这个开源软件在中国属于小众化的软件，公开文档很少，国外论坛的文档也有限，记得当初花了一个月时间试了很多方法才把这个问题解决。关键是swt.jar的问题，毒蛙想要打开图形界面需要调用这个包，但是官方的配置中只给了windows、mac的swt包，不包含li