langchain&langengine-优快云博客

原创 (转)数据库SQL优化大总结之百万级数据库优化方案

转载自：http://www.cnblogs.com/yunfeifei/p/3850440.html网上关于SQL优化的教程很多，但是比较杂乱。近日有空整理了一下，写出来跟大家分享一下，其中有错误和不足的地方，还请大家纠正补充。这篇文章我花费了大量的时间查找资料、修改、排版，希望大家阅读之后，感觉好的话推荐给更多的人，让更多的人看到、纠正以及补充。 1.对查询进行优化，要尽...

2017-07-11 10:58:45 202

原创 (转)随机数生成函数面试题

转载自：http://sumnous.github.io/blog/2014/05/13/random-pick-function/前阵子去某公司笔试，有道题是已知随机数生成函数f()，返回0的概率是60%，返回1的概率是40%。根据f()求随机数函数g()，使返回0和1的概率是50%，不能用已有的随机生成库函数。分析：调用f()两次即可，会出现4种结果(0,0), (0...

2017-07-06 10:31:05 566 1

原创 (转)HDFS里Datanode上block大小的设置问题

转载自：http://blog.youkuaiyun.com/pear_zi/article/details/8082752在HDFS里面，data node上的块大小默认是64MB(或者是128MB或256MB) 问题: 为什么64MB(或128MB或256MB)是最优选择？1.为什么不能远少于64MB(或128MB或256MB) （普通文件系统的数据块大小一般为4KB）a.减少硬盘...

2017-06-28 15:15:31 536

原创 Guava部分字符串处理工具类的例子

1.CaseFormatimport com.google.common.base.CaseFormat;import static com.le.test.Printer.*;/** * * @author zhongchenghui */public class CaseFormatTest { public static void main(...

2017-06-28 08:54:41 471

原创用elasticsearch聚合函数实现distinct查询

1.等价的sqlSELECT DISTINCT field1,field2 FROM test_index.test_type 等价于SELECT field1,field2 FROM test_index.test_type GROUP BY field1,field2 2.而group by的查询，在es中我们可以用Aggregation(聚合)去实现，等价的DSL查询...

2017-06-28 08:53:21 7600 1

原创 find及-exec的使用

#10天以前所有，不包括第10天当天的文件$ find -mtime +10 -exec rm -rfv {} \; # 10天前，当天一天的文件$ find -mtime 10 -exec rm -rfv {} \; # 10天内，包括今天的文件，但不包括第10当天的文件$ find -mtime -10 -exec rm -rfv {} \; #查找在系...

2017-06-28 08:50:41 284

Broken pipe产生的原因通常是当管道读端没有在读，而管道的写端继续有线程在写，就会造成管道中断。（由于管道是单向通信的） SIGSEGV(Segment fault)意味着指针所对应的地址是无效地址，没有物理内存对应该地址。以下是UNIX的信号解释： 11 / SIGSEGV: Unerlaubter Zugriff auf Hauptspeicher (Adressfehler). ...

2017-06-27 10:12:35 2410

原创 (转)Java 8系列之重新认识HashMap

转载自：http://tech.meituan.com/java-hashmap.html前利 ·2016-06-24 11:58摘要HashMap是Java程序员使用频率最高的用于映射(键值对)处理的数据类型。随着JDK（Java Developmet Kit）版本的更新，JDK1.8对HashMap底层的实现进行了优化，例如引入红黑树的数据结构和扩容的优化等。本文结合JDK1...

2017-06-27 10:04:00 145

原创 (转)HDFS NameNode内存详解

转载自：http://tech.meituan.com/namenode-memory-detail.html小桥 ·2016-12-09 17:56前言《HDFS NameNode内存全景》中，我们从NameNode内部数据结构的视角，对它的内存全景及几个关键数据结构进行了简单解读，并结合实际场景介绍了NameNode可能遇到的问题，还有业界进行横向扩展方面的多种可借鉴解决方案...

2017-06-27 09:59:18 168

原创 (转)HDFS NameNode内存全景

转载自:http://tech.meituan.com/namenode.html小桥 ·2016-08-26 11:20一、概述从整个HDFS系统架构上看，NameNode是其中最重要、最复杂也是最容易出现问题的地方，而且一旦NameNode出现故障，整个Hadoop集群就将处于不可服务的状态，同时随着数据规模和集群规模地持续增长，很多小量级时被隐藏的问题逐渐暴露出来。所以，...

2017-06-27 09:54:55 153

原创 (转)Leaf——美团点评分布式ID生成系统

转载自：http://tech.meituan.com/MT_Leaf.html照东 ·2017-04-21 18:34背景在复杂分布式系统中，往往需要对大量的数据和消息进行唯一标识。如在美团点评的金融、支付、餐饮、酒店、猫眼电影等产品的系统中，数据日渐增长，对数据分库分表后需要有一个唯一ID来标识一条数据或消息，数据库的自增ID显然不能满足需求；特别一点的如订单、骑手、优惠券也...

2017-06-27 09:49:11 223

找出所有连续数字之和最大的子串（java）

主要思路是，1.从第一个不小于等于0的数字开始累加，直到累加之和小于等于0为止，记录这一过程中的最大值（以及坐标）。2.剩下的数字继续重复1的操作，得到新一轮的最大值（以及坐标），并和之前记录的最大值做对比，更新最大值为两者的最大值。3.遍历结束即可得到最终连续之和最大的最大值和与之相对应的连续数字的坐标起止坐标对。import com.beust.jcommander.int...

2017-06-26 14:25:59 701

逐层遍历一棵二叉树，要求相邻两层遍历方向相反(java)

import java.util.ArrayList;import java.util.List;import java.util.Stack;/** * * @author zhongchenghui */public class BTreeTraversal { public static void main(String[] args) {...

2017-06-26 14:05:58 182

原创使用Guava美化你的代码

Guava工程包含了若干被Google的 Java项目广泛依赖的核心库，例如：集合 [collections] 、缓存 [caching] 、原生类型支持 [primitives support] 、并发库 [concurrency libraries] 、通用注解 [common annotations] 、字符串处理 [string processing] 、I/O 等等。所有这些工...

2017-06-26 10:08:45 160

原创串行规则执行器rules-executor

分享一个我自己写的串行规则执行器https://github.com/ChenghuiZ/rules-executor该规则执行器中包含三种规则：1.操作型规则(AbstractOperateRule)对输入的数据进行加工处理.2.过滤型规则(AbstractFilterRule)符合条件的通过，继续执行后续的规则；否则丢弃，直接返回null.3.条件型规则(AbstractCond...

2017-06-20 15:14:34 896

原创（转）Java并发之AQS详解

一、概述　　谈到并发，不得不谈ReentrantLock；而谈到ReentrantLock，不得不谈AbstractQueuedSynchronized（AQS）！　　类如其名，抽象的队列式的同步器，AQS定义了一套多线程访问共享资源的同步器框架，许多同步类实现都依赖于它，如常用的ReentrantLock/Semaphore/CountDownLatch...。　　以下是本文...

2017-06-12 17:47:29 216

原创（转）elasticsearch堆内存:大小和交换

堆内存:大小和交换Elasticsearch 默认安装后设置的堆内存是 1 GB。对于任何一个业务部署来说，这个设置都太小了。如果你正在使用这些默认堆内存配置，您的集群可能会出现问题。这里有两种方式修改 Elasticsearch 的堆内存。最简单的一个方法就是指定 ES_HEAP_SIZE 环境变量。服务进程在启动时候会读取这个变量，并相应的设置堆的大小。比如，你可以用下面的命令设置它...

2017-03-29 11:19:19 623

原创（转）elasticsearch重要配置的修改

重要配置的修改Elasticsearch 已经有了很好的默认值，特别是涉及到性能相关的配置或者选项。如果你有疑问，最好就不要动它。我们已经目睹了数十个因为错误的设置而导致毁灭的集群，因为它的管理者总认为改动一个配置或者选项就可以带来 100 倍的提升。Note请阅读整节文章，所有的配置项都同等重要，和描述顺序无关，请阅读所有的配置选项，并应用到...

2017-03-29 11:08:11 432

原创（译）elasticsearch 出现outofmemoryerror java heap space的可能原因

原文：http://stackoverflow.com/questions/30803404/what-are-the-possible-reasons-behind-the-java-lang-outofmemoryerror-java-heap-sp我们在使用elasticsearch时，常常会遇到outofmemoryerror java heap space 的ERROR，但是我们...

2017-02-10 10:36:39 4032 1

原创 (转)cron表达式详解

原文：http://www.cnblogs.com/linjiqin/archive/2013/07/08/3178452.htmlCron表达式是一个字符串，字符串以5或6个空格隔开，分为6或7个域，每一个域代表一个含义，Cron有如下两种语法格式： Seconds Minutes Hours DayofMonth Month DayofWeek Year或 Seconds Minu...

2016-08-12 16:40:12 161

原创 ElasticSearch DSL 示例

PUT /megacorp/employee/4{ "first_name": "Jay", "last_name": "Smith", "age": 27, "about": "I love rock music", "interests": [ "sports", &q

2016-07-29 17:46:38 538

原创 (转)浅谈分布式系统的基本问题：可用性与一致性

该文章来自于阿里巴巴技术协会（ATA）精选文章。背景可用性（Availability）和一致性（Consistency）是分布式系统的基本问题，先有著名的CAP理论定义过分布式环境下二者不可兼得的关系，又有神秘的Paxos协议号称是史上最简单的分布式系统一致性算法并获得图灵奖，再有开源产品ZooKeeper实现的ZAB协议号称超越 Paxos，它们之间究竟有什么联系？在网络上没有文章...

2016-07-27 16:17:20 600

原创 (转)网络分区带给分布式数据库的难题如何解决？

原文地址：http://os.51cto.com/art/201307/403298.htm 侵删2013-07-17 11:12 麦子迈麦子迈在OpenStack中，数据库是主要系统“状态”的主要来源。数据库给OpenStack提供了状态组件并把状态的“共享”问题交给了数据库，因此解决OpenStack的扩展问题实际上就是解决使用的数据库本身的扩展问题。本文会分析”网络分区“给...

2016-07-27 15:36:59 480

原创 elasticsearch2.3.3以及其插件离线安装

若服务器无法访问外网，可参考以下的安装步骤。否则跳转到《elasticsearch以及其常用插件安装》。1. 安装elasticsearch 下载elasticsearch2.3.3安装包。下载地址：elasticsearch-2.3.3.tar.gz 在安装目录解压即可。 2. 安装kibana插件下载kibana4.5.1安装包（有linux和wind...

2016-07-18 19:53:50 235

原创 zookeeper报Will not attempt to authenticate using SASL错误的可能原因

以下是可能原因，并未考证：1.可能没有配置hosts。2.可能没加入ssh的known_hosts3.可能服务器时间没同步。4.zoo.cfg中这个参数maxClientCnxns要改大一些。生产环境至少是300(此值有待考证)，默认是60。...

2016-07-11 09:57:33 1500

elasticsearch以及其常用插件安装

1. install jdk1.8 2. edit hosts 3. install elasticsearcha) tar –xvf elasticsearch-2.3.3.tar.gzb) edit /etc/profile,append ES_HOMEc) edit elasticsearch.yml cluster.name: mysearch ...

2016-07-11 09:26:35 218

yizich的专栏