- 博客(37)
- 收藏
- 关注
RSS订阅原创 nginx日志分析工具：GoAccess
官方地址： https://goaccess.io简介GoAccess 被设计成快速的并基于终端的日志分析工具。其核心理念是不需要通过 Web 浏览器就能快速分析并实时查看 Web 服务器的统计数据(这对于需要使用 SSH 来对访问日志进行快速分析或者就是喜欢在终端环境下工作的人来说是超赞的)。终端输出仅仅是默认的输出方式，GoAccess 还支持生成完整的实时 HTML 报告(这对分析、监控以及数据可视化都是极好的)，以及 JSON 和 CSV 格式的报告。一、安装goaccess1、安装依赖库
2021-02-03 16:29:00
731
原创 Apache的BeanUtils、Spring的BeanUtils、Mapstruct、BeanCopier对象拷贝
在项目中，尤其是在服务层，经常要将服务中的Dto实体对象拷贝到Entity对象用于前端展示。反过来也是一样，需要将前端请求对象转换为服务端的数据对象。现在市面上有很多这样的工具包，比如spring框架中就自带了BeanUtils，使我们进行这样的数据操作十分简单快捷。但是一直以来却没有关注到对象属性的拷贝性能问题，最近在想：单个对象的拷贝是快速的，可以不在意太多性能问题，可是如果数量级变大了会怎样呢？如果数量级到达了百万级别，会出现什么样的情况呢？带着心中的疑问，我首先梳理出来现在有哪些对象拷贝的方式：
2020-07-12 12:54:39
1605
原创 推荐的 git commit 规范
博客地址：git commit 使用及规范一、前言日常开发中，保持良好的代码规范有利于提高项目的质量。而指定并遵守 git commit 的使用规范，则有利于提高项目的管理效率。二、提交格式在git add后，需要执行git commit进行提交，如、约定中应添加对应的描述信息，即通过：git commit -m 进行提交提交格式如下：<type>(<scope>): <subject><BLANK LINE><body>&l
2020-07-09 20:12:58
585
原创 Deno 运行报错 - Uncaught PermissionDenied: network access
我在尝试Deno 的渐进式 HTTP 服务器 Servest ，在运行示例时遇到错误：$ deno run Servest.ts error: Uncaught PermissionDenied: network access to "0.0.0.0:8899", run again with the --allow-net flag
2020-06-12 11:06:38
918
转载 MapReduce Terasort算法分析
1.概述1TB排序通常用于衡量分布式数据处理框架的数据处理能力。Terasort是Hadoop中的的一个排序作业，在2008年，Hadoop在1TB排序基准评估中赢得第一名，耗时209秒。那么Terasort在Hadoop中是怎样实现的呢？本文主要从算法设计角度分析Terasort作业。2.算法思想实际上，当我们要把传统的串行排序算法设计成并行的排序算法时，通常会想到分而治之的策略，即：把要...
2019-07-12 16:01:37
1466
原创 zookeeper 安装（单机）
环境如下linux版本：CentOS 7.5.1804jdk版本：jdk1.8.0_201zookeeper版本：zookeeper-3.4.5-cdh5.10.0.tar.gz一、JDKZooKeeper服务器是用Java编写创建，它运行在JVM。所以需要使用JDK 6或更高版本。安装请参考文章 JDK1.8安装二、Zookeeper安装Hive我选用了hive-1.1.0-c...
2019-04-29 10:32:51
342
原创 centos7 Hive1.1.0 安装
环境如下linux版本：CentOS 7.5.1804jdk版本：jdk1.8.0_201hadoop版本：hadoop-2.6.0-cdh5.10.0hive版本：hive-1.1.0-cdh5.10.0一、JDK请参考文章 JDK1.8安装二、安装Hadoop请参考文章 安装hadoop2.6.0（伪分布式）三、Mysql安装 &...
2019-04-26 14:39:38
1727
原创 在Centos 7上的安装与配置Elasticsearch
一、安装java环境yum安装使用yum方式安装，前提是必须有网络yum install java-1.8.0-openjdk请使用JDK1.8及以上版本，最新的es 是需要对应的支持的压缩包安装下载安装完成，查看java版本[root@localhost ~]# java -version openjdk version "1.8.0_151" OpenJD...
2019-04-25 15:54:59
1175
1
原创 JDK1.8安装
jdk我选用的是 oracle 最新1.8的x64版本一、下载下载地址直接去官方下载就行官方地址：https://www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.html或是直接点击此链接进行下载 JDK1.8.0_201下载后将压缩包上传到服务器的制定路径（如果不清楚如何操作的可...
2019-04-25 15:52:42
1893
原创 通过 Xshell 上传文件到服务器 rzsz
在日常的操作中，我们经常需要将我们本地的文件上传到服务器中。我们可以通过文件上传工具进行上传，这样的工具目前市面上有很多种，但我更推荐使用的是Xshell或是Xftp。很好用。这两个软件是收费的，但你可以在官网上申请免费的版本进行使用。申请地址：https://www.netsarang.com/zh/free-for-home-school/下载完成直接安装就行，一直下一步就可以安装使用...
2019-04-25 15:46:23
1125
原创 安装hadoop2.6.0（伪分布式）
环境如下linux版本：CentOS 7.5.1804jdk版本：jdk1.8.0_201hadoop版本：hadoop-2.6.0-cdh5.10.0一、JDKjdk我选用的是 oracle 最新1.8的x64版本下载地址直接去官方下载就行官方地址：https://www.oracle.com/technetwork/java/javase/downloads/java-archi...
2019-04-25 15:24:17
464
翻译 用户定义的网桥与默认网桥之间的差异
用户定义的网桥与默认网桥之间的差异用户定义的桥接器可在容器化应用程序之间提供更好的隔离和互操作性。 连接到同一用户定义的网桥的容器会自动将所有端口相互暴露，并且不会向外界显示任何端口。这使得容器化应用程序可以轻松地相互通信，而不会意外地打开对外界的访问。 想象一下具有Web前端和数据库后...
2019-04-09 11:47:23
1660
2
原创 Mycat部署（单库分表）
系统开发中，数据库是非常重要的一个点。除了程序的本身的优化，如：SQL语句优化、代码优化，数据库的处理本身优化也是非常重要的。主从、热备、分表分库等都是系统发展迟早会遇到的技术问题问题。Mycat是一个广受好评的数据库中间件，已经在很多产品上进行使用了。其前身是阿里大名鼎鼎的Cobar，Cobar在开源了一段时间后，不了了之。于是MyCAT扛...
2019-03-21 14:21:43
3210
1
原创 Centos7 安装LAMP(Apache2.4 mysql5.7 php5.4)
一、Apache安装： yum install -y httpd启动服务：systemctl start httpd.service查看服务运行状态：systemctl status httpd.service服务查看：chkconfig --list设置开机自动启动：systemctl enable httpd.service端口查看： netstat -ntlp测试Apache...
2019-01-12 16:32:28
632
原创 Centos7 Yum安装 MySQL 5.7
一、CentOS 7安装MySQL 5.7下载YUM库wget http://dev.mysql.com/get/mysql57-community-release-el7-7.noarch.rpm安装YUM库yum localinstall -y mysql57-community-release-el7-7.noarch.rpm安装数据库yum install -y mysql...
2019-01-12 16:29:35
925
转载 js生成csv文件用excel打开出现中文乱码问题的解决
var content = "问题, 回答"; // utf-8保存的csv格式文件要让Excel正常打开的话，必须加入在文件最前面加入 \uFEFF。 var csv = "\uFEFF" + content; //定义文件内容，类型必须为Blob 否则createObjectURL会报错 le...
2018-12-01 17:41:55
3249
原创 为MongoDB设置密码
这篇文章的前提是，已经安装完成了MongoDB数据库，如果还没有，可参看 在Centos7中通过yum安装MongoDB一、添加管理员账号密码打开MongoDB的客户端，我使用的IP和端口是默认的，你应该改为你们自己设置的mongo 127.0.0.1:27017在数据库客户端中进行操作（ admin库为系统库 ）&gt; use adminswitched to db admin...
2018-11-24 10:39:28
1089
原创 在Centos7中通过yum安装MongoDB
一、版本选择Centos7.5 64位MongoDB 3.4版本二、添加yum源vi /etc/yum.repos.d/mongodb-org-3.4.repo写入以下内容[mongodb-org-3.4]name=MongoDB Repositorybaseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb...
2018-11-24 09:45:38
521
原创 Git全局配置和单个仓库的用户名邮箱配置
Git全局配置仓库的用户名&邮箱配置用户名git config --global user.name "yourUserName"配置邮箱git config --global user.email "github@xx.com"Git配置单个仓库的用户名&邮箱如果你不进行配置用户名和邮箱的话, 则会使用全局的配置用户名git config user.nam...
2018-11-24 09:26:11
3492
原创 npm install 报错（npm ERR! errno -4048，Error: EPERM: operation not permitted,）解决方法
npm install 报错（npm ERR! errno -4048，Error: EPERM: operation not permitted,）解决方法网上有说是权限问题，可我排查后发现并不是，于是考虑是不是缓存的问题，最后发现还就是缓存问题。解决办法：控制台输入 npm cache clean --force 清理本地缓存成功青冥有晓月...
2018-11-24 09:12:48
2795
原创 kubernetes创建yaml，pod服务一直处于 ContainerCreating状态
kubernetes创建yaml，pod服务一直处于 ContainerCreating状态的原因查找与解决通过yaml 成功创建了 pod ，但是运行状态一直显示为 ContainerCreating 而不是 Running[root@localhost k8s_work]# kubectl get podsNAME READY STATUS ...
2018-11-07 15:08:34
663
原创 kubenetes创建RC时无法自动创建pod的问题
kubenetes创建RC时无法自动创建pod的问题在编写完成yaml文件后，正常执行 kubectl create -f mysql-rc.yaml[root@localhost k8s_work]# kubectl create -f mysql-rc.yaml replicationcontroller "mysql" created显示没有问题，但kubectl get pod ...
2018-11-07 14:57:14
890
原创 Spring 注解总结
简单的对spring MVC中使用注解进行总结，数量很少，只有一些常用的，以供简单查阅。 如果要系统学习，还是建议去找个专门的教程。@Document@Document把一个java类声明为mongodb的文档，可以通过collection参数指定这个类对应的文档。 @Document(collection="collection_name") collection_name为数据...
2018-06-30 15:23:57
253
原创 centos7 docker容器报 Failed to get D-Bus connection 错误
在官方的centos7的docker容器里面不能用service启动服务[root@5e9c0d13330f /]# service nginx startbash: service: command not found使用 systemctl 又开始报错[root@ab2ceae04ce8 /]# systemctl start nginxFailed to get D-...
2018-06-22 11:05:18
1513
转载 使用@Controller注解要配置 mvc:annotation-driven
<mvc:annotation-driven/>相当于注册了DefaultAnnotationHandlerMapping和AnnotationMethodHandlerAdapter两个bean，配置一些messageconverter。即解决了@Controller注解的使用前提配置。最后的配置如果没有<mvc:annotation-driven/>，那么所有的...
2018-06-20 13:12:08
555
翻译 docker logs 说明
描述获取容器的日志用法docker logs [OPTIONS] CONTAINER选项 名字 简写 默认 描述 --details 显示提供给日志的额外细节 --follow -f 按照日志输出 (查看实时日志) --since 自时间戳（例如2013-01-02T13：23：37...
2018-06-20 12:47:37
1620
原创 sqlite3.NotSupportedError: URIs not supported
今天在将我写好的Django项目发布到线上时，出现了极其难过的事情。 报错：sqlite3.NotSupportedError: URIs not supported 我找了很多资料来解决问题，可是资料太少了。在茫茫网络中，我寻觅了好久好久，但终于我找到了一篇解答。 源网址：http://django-developers.narkive.com/QTd0czAP/strugglin...
2018-05-26 10:53:26
3946
原创 requests 中文乱码
由于 requests 库的简洁与强大，正在被大量使用，目前我也在使用，并逐渐喜欢上它。但有时会出现中文乱码问题，需要进行解决。result = requests.get(“http://www.baidu.com“)result_text = result.text以上述语句获得页面内容时很有可能会出现乱码，原因是 result.text 返回的是Unicode型的数据。 于是解...
2018-03-29 11:15:25
300
原创 stomp 中传递 protobuf 报错
stomp 中传递 protobuf 报错在业务需求上，我需要将从网页采集到的信息使用protobuf压缩，并使用消息队列传递 传递使用的是 python的 stomp模块和 activeMQ 可是在python3中使用stomp 传递protobuf字符串时总是报错 这就让我很是悲伤了，在经过尝试后，我发现问题是来源于protobuf压缩后产生的对象包含一些特殊的字符，导致无法通过...
2018-03-18 22:01:02
716
原创 Tornado中可能遇到的问题
Tornado就是我们在 FriendFeed 的 Web 服务器及其常用工具的开源版本。Tornado 和现在的主流 Web 服务器框架（包括大多数 Python 的框架）有着明显的区别：它是非阻塞式服务器，而且速度相当快。得利于其 非阻塞的方式和对epoll的运用，Tornado 每秒可以处理数以千计的连接，因此 Tornado 是实时 Web 服务的一个 理想框架。1.遇到 40...
2018-02-26 14:56:04
3243
原创 Flask的常见问题
Flask的常见问题1.AssertionError: View function mapping is overwriting an existing endpoint function: basedata.wrapper解决方案： 1.路由名相同或者函数名相同 2.自定义python装饰器时一定要使用@functools.wraps(func)修饰wrap...
2018-02-26 11:13:53
2897
原创 Django开发过程中遇到的问题和解决方案
Django开发过程中遇到的问题和解决方案1.django向数据库中添加中文时报错解决方案:创建数据库的时候设置编码格式2.django的信号使用无法触发信号里的内容解决方案:在django 1.7后，使用信号时候需要在应用配置类中的ready() 方法中连接。 所以我们需要配置先ready() 需要在以下两个地方写入配置 ...
2018-02-26 10:07:22
7297
1
原创 python2 和 python3 的区别
python2 和 python3 的区别1.输出(print)在 Python 2 中， print 被视为一个语句而不是一个函数。在使用 Python 3 时，print（）会被显式地视为一个函数。注：print（）语法也与 Python 2.7 向后兼容，因此您的 Python 3 print（）函数可以在任一版本中运行。2.整数的除法在 Python 2 中，...
2018-02-26 09:50:24
308
原创 python3 sys.argv列表
在代码的操作过程中，总是会需要操纵命令行传递给程序的参数。于是python中提供了这样一个列表。 在Python中，sys库下有一个名为argv的列表，该列表保存了所有的命令行参数。argv列表中的第一个元素是命令行程序的名称，其余的命令行参数以字符串的形式保存在该列表中。 例子就两行代码import sysprint(sys.argv)结果：D:\pyDemo\unti...
2018-02-12 15:07:26
2931
原创 将MapReduce的结果存储到MySQL中
在前两天的一个小Demo中，我遇到了这样的一个需求。将MapReduce的结果存储到MySQL中。 一般情况下，如果我会直接将数据的结果写到文件中，然后通过直接查看文件来得知分析的结果。 // 指定写出到哪里(写到HDFS上的文件中) FileOutputFormat.setOutputPath(job,"hdfs://master:9000/out.txt");但现在，我需要将...
2018-02-11 16:10:53
1611
原创 python3 exec函数
首先我想说明一下，exec是一个比较偏门的函数，在绝大多数的情况下，你并不会使用这个函数。而且使用它时，还会影响代码的可读性，使简单的代码变得不易明白。但在一定的情况下，它可以解决一些你很难解决的问题。 exec() 函数的作用很好描述，就是执行以string类型存储的Python代码。代码：a = "e = 1"exec(a)print(e)结果：1既然只是执行代码py...
2018-02-11 11:38:29
4893
3
原创 利用 python 产生测试数据 Faker
在项目开放过程中，总是需要生成测试数据来看平台的展示效果，这时候大量的数据就成为了必须。 如果自己一点一点的做就太慢了，所以我们可以使用外部的模块。 faker 是 python 的一个模块，你可以通过使用 pip install faker 来进行安装. 当然首先你要先安装 python 和 pip 。 安装完成后你就可以创建一个demo.py文件了。from faker imp
2018-02-02 15:22:07
3421
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人