紫禁校尉-优快云博客

原创 Centos 7 添加阿里 YUM 源，安装ntfs格式支持相关命令

安装阿里YUM源cd /etc/yum.repos.d/wget http://mirrors.aliyun.com/repo/epel-7.repo添加NTFS文件系统支持yum list ntfs*yum install ntfs-3g查看磁盘分区fdisk -l查看分区信息parted /dev/sdb print挂载ntfs移动硬盘mount -t ntfs-...

2019-10-24 17:47:08 394

原创 Master startup cannot progress, in holding-pattern until region onlined.

Hbase安装过程中，由于错误中断，可能导致Zookeeper中的信息失效，从而造成Hbase无法启动。master.HMaster: hbase:meta,1.1588230740 is NOT online; state={… state=OPEN, ts=…, server=…, …,…}; ServerCrashProcedures=true. Master startup cannot...

2019-10-18 13:36:39 4726

原创 Hadoop高可用集群搭建方案

为了能够保存亿级以上的数据，并能够快速进行查询，考虑使用HBase。1、Mysql在数据上千万以后，维护起来就已经很困难了。2、Hive查询效率较低。3、HBase能够结合很多第三方组件实现类SQL查询，基本能够满足要求。为了使用HBase，需要搭建最少三节点的Hadoop。具体步骤为：一、首先安装一台服务器，安装JDK二、安装Hadoop三、安装zookeeper四、创建配置集...

2019-10-17 18:12:15 215

原创 SpringBoot 启动时执行任务的方法：CommandLineRunner

CommandLineRunner的作用平常开发中有可能需要实现在项目启动后执行的功能，SpringBoot提供的一种简单的实现方案就是添加一个类并实现CommandLineRunner接口，实现功能的代码放在实现的run方法中简单例子package org.springboot.sample.runner;import org.springframework.boot.CommandLi...

2019-06-04 09:08:20 500

原创 Plugin [id: 'org.springframework.boot', version: '2.1.5.RELEASE'] was not found in any of the follow

Spring Boot 使用 Gradle 进行构建，提示无法找到插件。解决办法为，修改 setting.gradle 文件pluginManagement { repositories { gradlePluginPortal() maven { url "http://maven.aliyun.com/repository/gradle-plugin...

2019-05-29 17:48:47 14044 5

原创 Gradle 的配置文件 gradle.properties

## For more details on how to configure your build environment visit# http://www.gradle.org/docs/current/userguide/build_environment.html## Specifies the JVM arguments used for the daemon process....

2019-05-28 17:42:43 4618

原创 openpyxl 读取 Excel 效率

一直使用xlrd&xlwt来进行Excel操作，这次在读取一个比较大的文件时（20M左右），经常让人等的无奈，实在受不了。看了大家对相关库的对比，决定尝试一下openpyxl，基本上打开文件没有延迟，读取数据速度也还不错。不过在遍历数据时最好使用生成器，sheet.rows，或者 sheet.columns。比sheet.cell(row, col)要快很多。有人提到openpyxl...

2019-05-11 22:36:58 2749

原创监控TOMCAT，确保正常运行，防止卡死

#! /bin/bash# set -e# 设置Tomcat脚本目录tomcat_bin=/home/apache-tomcat-8.5.23/bin# 输出当前时间echo "===== `date +%c` =====" # 取得Tomcat的进程IDtomcat_pid=`ps aux | grep tomcat | grep java | grep -v grep | ...

2018-12-21 18:28:39 445

原创 Python 下 pymysql 数据库重新连接

mysql 数据库连接默认是8小时，不过pymysql的时间好像在参数里面设置了也不起作用（默认10分钟吧？）。本人做了一个爬虫，执行时间比较长，辛苦等待了很久，需要将结果保存到数据库里，可这时连接已经超时了。提示：MySQL server has gone away.这是pymysql的问题吧？为什么超时时间设置不起作用，为什么不自动重连一下呢？好在提供了一个 ping 方法： | ...

2018-11-21 14:46:19 3937 1

原创到底用不用Scrapy

到底用不用ScrapyScrapy是个什么真的好使吗Scrapy是个什么现在Python语言火的不得了，书很多，教程也多，学习班也多，基本上爬虫编写成了必修课。Scrapy的出镜率也随之增高。Scrapy是Python语言开发的比较成熟爬虫框架，是打包方案，底层是异步框架 twisted ，并发是最大优势，他把数据爬取工作进行了结构话的封装，初衷是为了让开发人员更加专注于页面分析。真的好使吗...

2018-11-15 10:25:10 993

weixin_41626622的博客