qq125293177的博客

原创 Apache Druid 安装问题汇总

问题1、Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses.解决：1、拷贝的hadoop目录下的core-site.xml、hdfs-site.xml、mapred-site.xml、yarn...

原创 编程题：实现str2int，输入：“123”，输出：123

function str2int($str) { // 先判断正负 $str_arr = str_split($str); $isNeg = false; if($str_arr[0] == '-') { $isNeg = true; $str = substr($str,1); } $str_arr = str_s...

原创 编程题：输入整形n，构造一个字符串：1234……N,输出第N位的数字。

题目：输入整型n，构造一个字符串：1234……N,输出第N位的数字。如：输入：N = 11， 1234567891011，输出：0解：使用：测试驱动开发测试样例：cal（9）cal (11)cal (int.maxvalue)cal (int.maxvalue+1)function cal($num) { print($num."\n");` $len = 0;...

原创 进程cpu占用高，但top进程查看不出来。

背景：服务器负载超过3，top看一下， 发现进程cpu占用都很低，输入 1 ，发现有3个cpu经常跑到100%解决：1、通过命令 ps aux --sort=-%cpu ，将cpu占用降序排序，发现有两个进程cpu占用很高。2、使用 top -H（打开线程占用情况），也能发现这两个进程。思考：为什么直接用top来查看时，没有出现这两个进程呢？...

转载 【实用】shell - if else 详解

转载：https://blog.youkuaiyun.com/HappyRocking/article/details/90476264

原创 时间戳、时区的理解

时间戳：（最通用的表示方式）时间不分东西南北、在地球的每一个角落都是相同的。他们都有一个相同的名字，叫时间戳。时间戳 指的就是Unix时间戳(Unix timestamp)。它也被称为Unix时间(Unix time)、POSIX时间(POSIX time)，是一种时间表示方式，定义为从格林威治时间1970年01月01日00时00分00秒起至现在的总秒数。时区：时区是地球上的区域...

原创 hadoop 常用端口

port 8088: cluster and all applicationsport 50070: Hadoop NameNodeport 50090: Secondary NameNodeport 50075: DataNode

转载 【踩坑记录】MySQL中timestamp类型支持范围

背景：mysql中插入数据库总报错，enter_time 为：timestamp 格式查了资料，问题如下：最近项目中App端调用接口新增数据时，发现插入失败，查看日志发现报错Cause: com.mysql.jdbc.MysqlDataTruncation: Data truncation: Incorrect datetime value: '1970-01-01 08:00:...

原创 java中各种包的用途

java.lang 提供利用 Java 编程语言进行程序设计的基础类java.sql 提供使用 JavaTM 编程语言访问并处理存储在数据源（通常是一个关系数据库）中的数据的 API。java.util 包含 collection 框架、遗留的 collection 类、事件模型、日期和时间设施、国际化和各种实用工具类（字符串标记生成器、随机数生成器和位数组）。...

原创 bfprt算法的实现

package BFPRT;public class BFPRT_algorithm {public static void swap(int[] a,int high,int low){ //交换数组中两个数的位置int temp;temp=a[low];a[low]=a[high];a[high]=temp;}public static void sort(int[] a...

原创 数据库原理之第一范式、第二范式、第三范式

数据库原理之第一范式、第二范式、第三范式2011-04-11 11:20:49分类：Linux范式：英文名称是 Normal Form，它是英国人 E.F.Codd（关系数据库的老祖宗）在上个世纪70年代提出关系数据库模型后总结出来的，范式是关系数据库理论的基础，也是我们在设计数据库结构过程中所要遵循的规则和指导方法。目前有迹可寻的共有8种范式，依次是：1NF，2NF，3NF，B...

原创 HIVE SQL中 ROW_NUMBER()，OVER（） 语法以及示例

ROW_NUMBER() OVER函数的基本用法语法：ROW_NUMBER() OVER(PARTITION BY COLUMNORDER BY COLUMN)详解：row_number() OVER (PARTITION BY COL1 ORDERBY COL2)表示根据COL1分组，在分组内部根据COL2排序，而此函数计算的值就表示每组内部排序后的顺序编号（该编号在组内是连续并且唯...

原创 Linux CPU、内存、磁盘IO、网络带宽 常用监控

1、CPUtop（神器）：比较System load 和 CPU core 的差值。常用的分析指标：us：用于在用户态执行应用程序的时间百分比。sy：用于运行内核代码的时间百分比。id：CPU处于空闲的百分比。wa：等待物理I/O的时间百分比。CPU使用率= us+sy=1-id2、内存free：确保内存没有被耗尽3、磁盘iostat：读/写使用率上。（...

转载 转载-使用awk 批量kill 进程

ps -ef|grep ***.php |grep -v grep |awk '{print "kill -9 " $2}'|sh

原创 linux 常用命令

1、查看各目录的大小，但要过滤掉某个目录。find / -maxdepth 1 ! -path /proc ! -path /|xargs du -sh2、文件被删除后，磁盘没有被释放，查看进程打开的文件。（需要重启进程才能释放磁盘空间）lsof | grep deleted3、搜索历史命令ctrl + r继续查找 的话，继续按 ctrl + r...

转载 shell中 if 判断条件的参数

1、文件判断[ -a FILE ] 如果 FILE 存在则为真。[ -b FILE ] 如果 FILE 存在且是一个块特殊文件则为真。[ -c FILE ] 如果 FILE 存在且是一个字特殊文件则为真。[ -d FILE ] 如果 FILE 存在且是一个目录则为真。[ -e FILE ] 如果 FILE 存在则为真。[ -f FILE ] 如果 FILE 存在且是一个普通文件...

原创 数据建模的理解

1、关系型数据库最难的地方就是“建模”（model）。错综复杂的数据，需要建立模型，才能存储在数据库。所谓“模型”就是两样东西：实体（entity）+关系（relationship）。实体：实际的对象，带有自己的属性，可以理解为一组相关属性的容器。关系：实体之间的联系，通常可以分成“一对一”、“一对多”、“多对多”等类型。...

转载 【转载】git将本地代码提交到远程仓库

将本地代码上传到远程仓库的时候，打开命令行窗口，进入到本地代码的文件夹。$touchREADME.md$git init$git addREADME.md但这一步是添加README.md文件，初始化git，这样在本地文件夹下会生成README.md和.git两个文件。具体这两个文件是做什么的，可以自行百度，不过一句话概括的话，是将本地仓库与远程仓库关联起来。$git...

原创 一个web服务 端口被塞满的状态

背景：算法起了多个端口，对外提供服务，改了代码后发现，端口telnet不通，查看端口情况：Recv队列，被挤满了，没办法再访问该端口了。并且一看端口的情况，一大堆CLOSE_WAIT。上网排查问题：对以上两个现象的解释为：1、Recv_Q / Send_Q2、CLOSE_WAIT 解析近测试环境server由于需要与大量的后台server交互，今天...

转载 HIVE SQL中 ROW_NUMBER()，OVER（） 语法以及示例

ROW_NUMBER() OVER函数的基本用法语法：ROW_NUMBER() OVER(PARTITION BY COLUMNORDER BY COLUMN)详解：row_number() OVER (PARTITION BY COL1 ORDERBY COL2)表示根据COL1分组，在分组内部根据COL2排序，而此函数计算的值就表示每组内部排序后的顺序编号（该编号在组内是连续并且唯...

原创 API 的大白话理解

API（Application Programming Interface，应用程序编程接口）是一些预先定义的函数，目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力，而又无需访问源码，或理解内部工作机制的细节。 ————百度百科API是一种为客户提供服务的方式。未完待续………… ...

转载 tomcat开发环境配置启用https

装载：https://blog.youkuaiyun.com/lianjunzongsiling/article/details/78635437

转载 HTTP & HTTPS 的理解

转载：https://blog.youkuaiyun.com/xiaoming100001/article/details/81109617

转载 IPV6 长度为46位

<netinet/in.h>（该头文件介绍：http://pubs.opengroup.org/onlinepubs/000095399/basedefs/netinet/in.h.html）：中有如下两个宏定义： #define INET_ADDRSTRLEN 16 /* for IPv4 dotted-decimal */第1个是将32位IPv4的地址， 使用10...

转载 【踩坑记录】Java 的SimpleDateFormat yyyy和YYYY的区别

最近有一个功能是对输入的日期格式化，设计给出的范例是YYYY-MM-dd HH:mm:ss，于是我简单验证了一下是可以的，然后就这么在手册里写了。然后偶然发现有地方也用yyyy啊，这个到底有神马区别啊，还是随便用呢。看了下jdk，这么说的：也就是说Y表示的是Week year，可是，这个Week year又是什么。。jdk文档贴心地给出了Examples，然而并没有什么卵用。。经过试...

转载 赋值、浅拷贝、深拷贝的理解

（一）2个为什么          先通过2个为什么来了解一下python内存中变量的存储情况。 >>> name = [1,2,3,["alex","rain"]]>>> name2 = name.copy() # 将原列表copy一份赋值给name2>>> print(name)[1, 2, 3, ['alex'

转载 进程自动重启 以nginx 和 php-fpm为例

#!/bin/bashprocess='nginx php-fpm'bin="/etc/init.d"log="/data/logs/check_process.log"data=$(date +"%Y-%m-%d %H:%M:%S")for i in $processdo#echo $iexists=`ps -ef|grep "$i"|grep -v grep|wc -l`if...

转载 find 命令图解

转载 Kafka常用命令之kafka-topics.sh

转载：https://blog.youkuaiyun.com/qq_29116427/article/details/80202392

转载 【转】nohup &的理解

nohup一、【解释】不挂断地运行命令。no hangup的缩写，意即“不挂断”。一般理解&记住一个命令最简单的方法是记住它是什么缩写，就自然理解了这个命令。nohup运行由 Command参数和任何相关的 Arg参数指定的命令，忽略所有挂断（SIGHUP）信号；二、【语法】nohup Command [ Arg ... ] [　& ]nohup 命令运行由 Comma...

原创 使用nginx搭建web服务，问题汇总

1、问题：nginx配置中引用了lua代码，lua的作用是：将请求数据写入到redis，但是发现在连接redis时，连接失败，原因是：无法解析其域名。解决：在nginx配置文件目录下：nginx.conf的http模块，添加一行域名解析：resolver 10.*** 10.*** 10.***;2、问题：搭建nginx + php web服务时，发现curl时总报这个问题：file ...

转载 git详解三——共享分支

转载自：http://blog.jobbole.com/25877/Git 分支几乎每一种版本控制系统都以某种形式支持分支。使用分支意味着你可以从开发主线上分离开来，然后在不影响主线的同时继续工作。在很多版本控制系统中，这是个昂贵的过程，常常需要创建一个源代码目录的完整副本，对大型项目来说会花费很长时间。（伯乐在线注：如果你对Git还不了解，建议从本Git系列第一篇文章开始阅读）有人把...

转载 git详解二——git基础

转载自：http://blog.jobbole.com/25808/Git 基础读完本章你就能上手使用 Git 了（伯乐在线注：如果你对Git还不了解，建议从本Git系列第一篇文章开始阅读）。本章将介绍几个最基本的，也是最常用的 Git 命令，以后绝大多数时间里用到的也就是这几个命令。读完本章，你就能初始化一个新的代码仓库，做一些适当配置；开始或停止跟踪某些文件；暂存或提交某些更 新。我们...

转载 git详解一

装载自：http://blog.jobbole.com/25775/起步本章介绍开始使用 Git 前的相关知识。我们会先了解一些版本控制工具的历史背景，然后试着让 Git 在你的系统上跑起来，直到最后配置好，可以正常开始开发工作。读完本章，你就会明白为什么 Git 会如此流行，为什么你应该立即开始使用它。（查看Git详解系列的全部文章）1.1 关于版本控制什么是版本控制？我真的需要...

原创 《高性能MySQL》——读书笔记

高性能mysql读书笔记Mysql的架构可以在多种场景中应用，并发挥好的作用。Mysql最与众不同的特性是：将数据的存储和提取相分离。Mysql架构与历史1.1、Mysql逻辑架构逻辑架构图：第二层架构是mysql的核心服务功能，包括查询解析、分析、优化、缓存以及所有的内置函数都在这一层实现。第三层包含了存储引擎，存储引擎负责Mysql中数据的存储和提取。服务器通过A...

原创 部署php + nginx web服务遇到的问题

背景：部署的web服务，报502错误，5开头的错误一般都是后端程序出的错。发现问题：程序中有调用一个python 脚本，这个脚本执行时间很长，导致php程序超时，因此访问时报502错误。解决：调大php-fpm.conf中的request_terminate_timeout 的值，程序正常运行。...

转载 PHP-FPM,Nginx,FastCGI 之间的关系

转载自：https://blog.tanteng.me/2017/11/nginx-fastcgi-php-fpm/ PHP-FPM,Nginx,FastCGI 之间的关系本文介绍 PHP-FPM,Nginx,FastCGI 三者之间的关系，以及 Nginx 反向代理和负载均衡的配置。PHP-FPM,Nginx,FastCGI 之间的关系FastCGI 是一个协议，它是应用程序...

原创 组合使用linux命令，进行日志分析

日志分析中的魔法工具：sort|uniq|sort1、统计日志中，某个IP的访问次数，并且对次数降序排序命令：cat ***.log | awk '{print $1}'|sort|uniq -c|sort -nr

原创 参加极客马拉松有感

想法比实现更重要这也是我以后工作中要多思考的事情。

转载 2018.6.14 总结一下今天踩到的两个坑

1、写shell脚本时：当我用数字开头作为变量时（172file=***），报错。解决：变量名必须以字母或下划线字符开头。其余的字符可以是字母、数字(0~9)或下划线字符。因为把变量改为：file172=***。2、curl 请求nignx 后端代码时，发现传的header头，后端代码接收不到：curl：www.xxx.com -H "interface_type:23333...