come on123 !-优快云博客

原创 spark向集群提交pyspark任务

记录一下spark想集群节点提交任务的方式：bin/spark-submit –master spark://hadoop01:7077 –executor-memory 1G –total-executor-cores 2 /tmp/pyspark_test/test.py其中–master后面跟的是spark集群主节点的url

2021-01-19 11:35:40 932

原创 nginx+uwsgi负载均衡部署Flask项目

uwsgi和Nginx的安装已经在上一篇部署django项目中介绍过了，这里就不在另行赘述，不清楚的可以参考上一篇文章，这里直接开始部署项目：这里我们的项目目录为/OSAOP,首先在项目目录下创建一个script文件放置uwsgi配置文件和日志mkdir /OSAOP/script然后按照以下步骤进行一、配置uwsgi，为了配置负载均衡我们这里准备两个uwsgi的配置文件，启动2个...

2019-05-13 17:32:31 1701 2

原创 nginx+uwsgi负载均衡部署django项目

uwsgi介绍uWSGI是一个Web服务器，它实现了WSGI协议、uwsgi、http等协议。Nginx中HttpUwsgiModule的作用是与uWSGI服务器进行交换。要注意 WSGI / uwsgi / uWSGI 这三个概念的区分。WSGI是一种Web服务器网关接口。它是一个Web服务器（如nginx，uWSGI等服务器）与web应用（如用Flask框架写的程序）通信的一...

2019-03-13 15:28:23 1403

APScheduler简介在平常的工作中几乎有一半的功能模块都需要定时任务来推动，例如项目中有一个定时统计程序，定时爬出网站的URL程序，定时检测钓鱼网站的程序等等，都涉及到了关于定时任务的问题，第一时间想到的是利用time模块的time.sleep()方法使程序休眠来达到定时任务的目的，虽然这样也可以，但是总觉得不是那么的专业，^_^所以就找到了python的定时任务模块APSchedule...

2019-02-20 09:44:48 1605

原创 python操作rabbitMQ

介绍RabbitMQ是一个在AMQP基础上完整的，可复用的企业消息系统。他遵循Mozilla Public License开源协议。MQ全称为Message Queue, 消息队列（MQ）是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息（针对应用程序的数据）来通信，而无需专用连接来链接它们。消息传递指的是程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来...

2019-01-17 15:51:25 497

原创 docker容器的网络配置，允许docker可以被宿主机以外的其它主机访问以及局域网内可以直接访问docker容器ip

自从Docker容器出现以来，容器的网络通信就一直是被关注的焦点，也是生产环境的迫切需求。容器的网络通信又可以分为两大方面：单主机容器上的相互通信，和跨主机的容器相互通信。一、端口映射（局域网，外网此方式均可）。此种方式是将容器的某个端口映射到宿主机的某个端口，其它主机访问容器提供的服务需要通过宿主机的IP进行访问：docker run -p 9000:8000 --name c...

2018-09-28 14:11:27 95099

原创 docker容器的导出与导入（实现方便的移植）

Docker的流行与它对容器的易分享和易移植密不可分，用户不仅可以把容器提交到公共服务器上，还可以把容器导出到本地文件系统中。同样，我们也可以把导出的容器重新导入到Docker运行环境中。Docker的容器导入导出分别用import和export命令完成。1、导出容器exportdocker export 容器名或者容器ID > 导出的路径以及tar包的名字例如：dock...

2018-09-03 16:29:42 9436

原创九条命令在一分钟内检查Linux服务器性能

一、uptime命令这个命令可以快速查看机器的负载情况。在Linux系统中，这些数据表示等待CPU资源的进程和阻塞在不可中断IO进程（进程状态为D）的数量。这些数据可以让我们对系统资源使用有一个宏观的了解。命令的输出分别表示1分钟、5分钟、15分钟的平均负载情况。通过这三个数据，可以了解服务器负载是在趋于紧张还是趋于缓解。如果1分钟平均负载很高，而15分钟平均负载很低，说明服务器正在命...

2018-08-31 10:17:53 326

原创 python argparse用法总结

1. argparse介绍是python的一个命令行解析包，非常编写可读性非常好的程序2. 基本用法prog.py是我在linux下测试argparse的文件，放在/tmp目录下，其内容如下：#!/usr/bin/env python# encoding: utf-8import argparseparser = argparse.ArgumentParser()pa...

2018-08-15 18:20:33 378

原创使用docker创建自己的镜像 ---commit和push

1、创建基础镜像,默认是创建最新版本：docker pull centos2、使用基础镜像创建一个容器：docker run --name centos1 -itd centos:latest /bin/bash注：-i表示让容器的标准输入打开，-t表示分配一个伪终端，-d表示后台启动，要把-i -t -d 放到镜像名字前面,--name指定容器名。3、进入后台运行的容器：...

2018-08-02 16:34:15 3361

原创 django、flask环境依赖文件requirements.txt的生成和安装

依赖文件生成pip freeze > requirements.txt依赖文件安装pip install -r requirements.txt

2018-08-02 13:48:59 1348

原创 docker无法删除镜像，Error: No such container，附docker常用命令

最近打算删除掉docker镜像但是发现有几个镜像就是删除不了，加了-f强制删除也不行，一直报Error: No such container的错误，最后终于找到了办法直接删除文件，步骤如下：切换到root用户然后：service docker stoprm -rf /var/lib/dockerstart docker.service到这里就会发现镜像已经删除干净。附do...

2018-08-02 11:35:10 30593 21

原创 Linux共享库路径配置

Linux共享库路径配置　　Linux下找不到共享库文件的典型现象为明明已经安装某个软包（如libnet，mysql），编译链接可以正常进行，但是在运行时出现如“error while loading shared libraries: libnet.so.1:cannot open shared object file :No such file or directory”的错误提示。　...

2018-08-01 10:04:33 1950

原创安装mysql-python时出现mysql_config not found ------command 'gcc' failed with exit status 1

最近创建的django项目在安装依赖包mysql-python时候报mysql_config not found错误，经过仔细排查终于解决；问题的原意在于 mysql-devel没有安装或者安装的版本与数据库版本不匹配，我的mysql数据库版本为社区版5.7.20，因此要下载安装与之匹配的mysql-devel包。由于部分rpm包不好找，建议首先到这个网站http://rpm.pbon...

2018-07-31 17:56:57 4133

原创 centos7中docker社区版的安装

目前，CentOS 仅发行版本中的内核支持 Docker。操作之前需要切换到root用户使用 yum 安装Docker 要求 CentOS 系统的内核版本高于 3.10 ，首先查看CentOS 的内核版本是否支持 Docker 。通过 uname -r 命令查看你当前的内核版本uname -r安装 DockerDocker 软件包和依赖包已经包含在默认的 CentO...

2018-07-31 10:18:58 407

原创 windows（物理机）上不能通过Navicat连接虚拟机上的mysql数据库的解决办法

最近刚刚配置了一下虚拟机环境发现在windows上通过navicat无法连接操作虚拟机上的centos7里面的mysql数据库，报错如下图所示：后来发现是因为虚拟机上安装的mysql没有授权其他主机连接它导致的，授权方式如下： GRANT ALL PRIVILEGES ON *.* TO 'user'@'%' IDENTIFIED BY 'password' WITH G...

2018-07-25 10:55:31 8884

原创 mysql异常错误 ERROR 1819 (HY000): Your password does not satisfy the current policy requirements

最近在修改centos7上的mysql数据库访问授权操作的时候报了一个ERROR 1819 (HY000): Your password does not satisfy the current policy requirements错误：原因为我的mysql数据库设置的过于简单，不符合mysql的机制，这个其实与validate_password_policy和validate_pass...

2018-07-25 10:54:12 1755

原创 centos7更新pip版本

直接使用下面的命令即可，如果不成功参考博客里面的另一篇文章修改pip源即可成功pip install --upgrade pip 修改pip源文章地址：https://blog.youkuaiyun.com/ithaibiantingsong/article/details/81188675...

2018-07-24 17:25:36 15173 1

原创 centos7修改pip源

参考原文：https://blog.youkuaiyun.com/hopygreat/article/details/78344933由于网络有时不稳定的原因，使用pip/pip3下载会出现网络不可达的问题。建议修改pip源，使用国内镜像服务，这里提供的是使用douban提供的pipy国内镜像服务，当然也可以使用阿里或者清华等其它镜像源有两次方法，一种是一次性的，一种是永久性的。注：一般建议使...

2018-07-24 17:21:37 8993

原创 git的远程仓库版本回退失败问题

注意：远程仓库回退是一件很严谨的事情，如果一个项目是多个成员协作，回退之前一定要沟通好，回退期间不要让其他人向仓库push代码或者进行其它回退之类的操作。如果将错误的代码失手提交到了远程仓库是一种很尴尬的事情，这里给出两套方案，亲测基本可以解决远程仓库版本回退问题。这里以远程仓库的develop分支为例介绍方案一：查看历史版本git log 根据需要回退的版本号进行本地回退...

2018-07-20 11:28:40 3737

原创 git项目提交以后添加或者修改忽略文件无效的解决办法

一、git项目提交以后添加或者修改忽略文件无效的解决办法。首先为避免冲突需要先同步下远程仓库，这里以develop分支为例git pull origin develop在本地项目目录下删除缓存git rm -r --cached .新建.gitignore文件在项目的根目录下面新建或编辑.gitignore文件并添加相应的过滤规则vim .gitignore再...

2018-07-20 11:06:47 1757

原创 python中try ..except ..else .. finally语句顺序介绍

在python中经常使用try .. except捕获异常，下面介绍一下其常用的语句执行顺序： try:　　　　normal condition　　except:　　　　abnormal condition 　　else:　　　　if normal condition　　finally:　　　　Do it anyway　　　　正常执行的程序在try下...

2018-07-19 11:30:31 6004 2

原创 ansible报memory_error错误

最近在学习使用ansible，在使用fetch模块拉取一个1.2G的文件的时候报了一个memory_error错误，百度好出来的关于ansible的资源确实有限，最后看了statckoverflow才最终找到这个问题的解决方案，原因为我在书写playbook文件的时候使用了become,官方文档说原因是使用become的时候会增大对内存的消耗，因此在拉取大文件的时候会导致内存爆掉，从而报memor...

2018-07-05 09:51:59 696

原创 centos7上django项目使用httpd（apache）+mod_wsgi的守护进程方式部署-----更改python共享库

最近在研究django项目在centos7上的部署，采用httpd+mod_wsgi的部署方式，官方推荐是以mod_wsgi的守护进程模式进行部署，刚开始踩了很多坑，最后终于成功现总结如下，有误的地方请指正:首先安装，httpd其实就是apache服务器，其在centos上的名字就是httpd，部署之前先要安装httpd、mod_wsgi、httpd-devel命令为：yum instal...

2018-07-04 15:55:48 2382

Guo Sir的博客