- 博客(150)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 最长回文子序列（LPS）
问题描述回文序列(Palindromic sequence, Palindrome)是指正向遍历和反向遍历完全相同的序列，例如字符串“AAAAA”显然是一个回文序列，又如字符串“ABC@CBA”也是一个回文序列。现在，我们要在一个（字符）序列中找出最长回文子序列的长度。例如字符序列"BBABCBCAB"，最长回文子序列是“BACBCAB”（可能不唯一），它的长度是7；子序列"BBBBB"和"B
2017-02-19 10:57:12
733
转载 Ubuntu下查看CPU、内存和硬盘详细信息的几个命令
转载自：【http://www.sijitao.NET/1749.html】CPU：型号：grep "model name" /proc/cpuinfo |awk -F ':' '{print $NF}'数量：lscpu |grep "CPU socket" |awk '{print $NF}' 或 lscpu |grep "Socket" |awk '{print
2017-02-16 17:06:02
2190
转载 Mongodb集群搭建的三种方式
点击打开链接 MongoDB是时下流行的NoSql数据库，它的存储方式是文档式存储，并不是Key-Value形式。关于Mongodb的特点，这里就不多介绍了，大家可以去看看官方说明：http://docs.mongodb.org/manual/ 今天主要来说说Mongodb的三种集群方式的搭建：Replica Set / Sharding / Ma
2016-12-02 17:00:27
580
转载 Spark 连接Hive分布式环境搭建
创建用户 adduser username chmod u+w /etc/sudoers vim /etc/sudoers chmod u-w /etc/sudoers源码编译mysql 5.5 （安装多个版本的MySQL）安装cmake下载地址：http://www.cmake.org/[plain] view
2016-12-02 16:54:42
1563
转载 Mongodb开启与关闭
点击打开链接Mongodb的开启默认启动：$ ./mongodb默认数据保存路径：/data/db/默认端口：27017修改默认路径：--dbpath$ ./mongdb --dbpath /mongodb/把数据存储位置指向一个自己的目录/mongodb/修改默认端口：--port
2016-11-28 15:16:01
506
转载 linux 查看系统信息命令
原文链接Linux 查看系统信息命令是linux初学者必备的基础知识, 这些命令也非常有用, 因为进入linux第一件事就可能是首先查看系统信息, 因此必要的系统的学习一下这些linux系统信息命令还是非常有必要的!下面给除了各linux发行版比较常用的系统信息查询的命令, 大家可以参考, 同时也可以测试学习, 必要的时候man, 一定要学学使用man命令, 呵呵
2016-11-26 22:34:10
357
转载 Spark算子：RDD行动Action操作(4)–countByKey、foreach、foreachPartition、sortBy
点击打开链接countByKeydef countByKey(): Map[K, Long]countByKey用于统计RDD[K,V]中每个K的数量。[plain] view plain copy print?scala> var rdd1 = sc.makeRDD(Array(("A",0),("A",2),("B
2016-11-23 21:17:20
391
转载 spark性能优化：数据倾斜调优
原文链接调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。数据倾斜发生时的现象 1、绝大多数task执行得都非常快，但个别task执行极慢。比如，总共有1000个task，997个
2016-11-23 21:15:11
460
转载 Hive
HiveHive 中包含以下数据模型：表(Table)，外部表(External Table)，分区(Partition)，桶(Bucket)。每一个 Table 在 Hive 中都有一个相应的目录存储数据。例如，一个表 pvs，它在 HDFS 中的路径为：/wh/pvs，其中，wh 是在 hive-site.xml 中由 hive.metastore.warehouse.dir指定的数据仓库的目录
2016-11-17 22:37:15
769
转载 Hive on Spark 与Spark SQL比较
Hive on Spark 与Spark SQL比较背景Hive on Spark是由Cloudera发起，由Intel、MapR等公司共同参与的开源项目，其目的是把Spark作为Hive的一个计算引擎，将Hive的查询作为Spark的任务提交到Spark集群上进行计算。通过该项目，可以提高Hive查询的性能，同时为已经部署了Hive或者Spark的用户提供了更加灵活的选择，从而进一步提高Hive和
2016-11-17 22:29:15
7016
1
转载 Hive--HiveQL与SQL区别
链接1.hive内联支持什么格式？2.分号字符注意什么问题？3.hive中empty是否为null?4.hive是否支持插入现有表或则分区中？5.hive是否支持INSERT INTO 表 values（）？1、Hive不支持等值连接 •SQL中对两表内联可以写成：•select * from dual a,dual b where a.key = b.
2016-11-15 08:53:53
21616
1
转载 spark dataframe操作集锦（提取前几行，合并，入库等）
原文链接 DataFrame 的函数 Action 操作 1、 collect() ,返回值是一个数组，返回dataframe集合所有的行 2、 collectAsList() 返回值是一个Java类型的数组，返回dataframe集合所有的行 3、 count() 返回一个number类型的，返回dataframe集合的行数 4、 describe(cols: String*) 返回一
2016-11-14 15:11:59
2108
转载 How big is your MongoDB?
原文链接How big is your MongoDB?by chris on 2014/01/23 in MONGODBUpdate 11/10/14: The next blog post in this series is on managing disk space in MongoDB.As your MongoDB grows i
2016-11-09 09:57:32
382
转载 shell命令执行hive脚本（hive交互，hive的shell编程）
原文链接Hive执行方式Hive的hql命令执行方式有三种：1、CLI 方式直接执行2、作为字符串通过shell调用hive –e执行（-S开启静默，去掉”OK”，”Time taken”）3、作为独立文件，通过shell调用 hive –f或hive –i执行执行方式1键入“hive”，启动hive的cli交互模式。Set可以查看所有环境设置参数，并
2016-11-05 17:21:57
16818
转载 YCSB官方文档-核心属性
原文链接1. 核心YCSB属性所有工作量文件可以指定以下属性：workload：要使用的工作量类（例如com.yahoo.ycsb.workloads.CoreWorkload）db：要使用的数据库类。可选地，这在命令行可以指定（默认：com.yahoo.ycsb.BasicDB）exporter：要是用的测量结果的输出类（默认：com.yahoo.ycsb.measu
2016-11-03 15:19:29
4386
转载 SparkSQL与Hive on Spark的比较
原文链接简要介绍了SparkSQL与Hive on Spark的区别与联系一、关于Spark简介在Hadoop的整个生态系统中，Spark和MapReduce在同一个层级，即主要解决分布式计算框架的问题。架构Spark的架构如下图所示，主要包含四大组件：Driver、Master、Worker和Executor。
2016-11-02 19:22:26
629
转载 Spark-Hadoop、Hive、Spark 之间是什么关系？
原文链接大数据本身是个很宽泛的概念，Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤，你可以用小刀或者刨子去皮。但是每个工具有自己的特性，虽然奇怪的组合也能工作，但是未必是最佳选择。大数据，首先你要能存的下大数据
2016-11-02 16:48:16
15606
4
原创 MongoDB基本使用
MongoDB自带JavaScript shellMongoDB shell命令db查看当前指向哪个数据库创建 db.col.insert(post)读取db.col.find() db.col.findOne()更新post.comments=[] db.col.update({title:”My Blog Post”},post) update函数有两个参数至少，第一个参数用于匹配
2016-10-31 22:12:18
2022
转载 浅谈UML的概念和模型之UML九种图
原文链接 目录： UML的视图 UML的九种图 UML中类间的关系 上文我们介绍了，UML的视图，在每一种视图中都包含一个或多种图。本文我们重点讲解UML每种图的细节问题： 1、用例图（use case diagrams）【概念】描述用户需求，从用户的角度描述系统的功能【描述方式
2016-10-26 08:55:06
347
原创 Spark连接MongoDB
jdk1.8安装jdk解压到/opt/java目录，然后在~/.bashrc中加入下面几行：export JAVA_HOME=/opt/java/jdk1.8.0_101export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexport PATH=/usr/local/sbin:/u
2016-10-12 19:21:12
11017
转载 MongoDB + Spark: 完整的大数据解决方案
原文链接Spark介绍按照官方的定义，Spark 是一个通用，快速，适用于大规模数据的处理引擎。通用性：我们可以使用Spark SQL来执行常规分析， Spark Streaming 来流数据处理， 以及用Mlib来执行机器学习等。Java，python，scala及R语言的支持也是其通用性的表现之一。快速： 这个可能是Spark成功的最初原因之一，主要归功于其基于
2016-09-30 17:12:48
13967
原创 139. Word Break
Given a string s and a dictionary of words dict, determine if s can be segmented into a space-separated sequence of one or more dictionary words.For example, given s = “leetcode”, dict = [“leet”, “co
2016-09-19 21:19:47
299
原创 Binary Tree Traversal(Preorder, Inorder, Postorder )
Given a binary tree, return the preorder traversal of its nodes’ values.For example: Given binary tree {1,#,2,3}, 1 \ 2 / 3return [1,2,3].Note: Recursive solution is tri
2016-09-19 10:41:03
466
原创 90. Subsets II
Given a collection of integers that might contain duplicates, nums, return all possible subsets.Note: The solution set must not contain duplicate subsets.For example, If nums = [1,2,2], a solution is:
2016-09-19 10:25:36
235
转载 mongodb的write concern
原文链接mongodb有一个write concern的设置，作用是保障write operation的可靠性。一般是在client driver里设置的，和db.getLastError()方法关系很大一般来说，所有的mongo driver，在执行一个写操作（insert、update、delete）之后，都会立刻调用db.getLastError()方法。这样才有机会
2016-09-17 21:01:01
443
转载 Mongodb存储特性
原文链接一、存储引擎（Storage） mongodb 3.0默认存储引擎为MMAPV1，还有一个新引擎wiredTiger可选，或许可以提高一定的性能。 mongodb中有多个databases，每个database可以创建多个collections，collection是底层数据分区（partition）的单位，每个collection都有多
2016-09-17 10:42:41
7669
原创 32. Longest Valid Parentheses
Given a string containing just the characters ‘(’ and ‘)’, find the length of the longest valid (well-formed) parentheses substring.For “(()”, the longest valid parentheses substring is “()”, which has
2016-09-14 10:03:53
246
原创 78. Subsets
Given a set of distinct integers, nums, return all possible subsets.Note: The solution set must not contain duplicate subsets.For example, If nums = [1,2,3], a solution is: [ [3], [1],
2016-09-14 09:37:58
305
原创 链表中与环相关的问题
141. Linked List CycleGiven a linked list, determine if it has a cycle in it.Follow up: Can you solve it without using extra space?Subscribe to see which companies asked this question题目链接利用一个快指针，一个慢指针
2016-09-14 09:28:06
247
转载 mongoDB In-Memory Storage Engine
原文链接On this pageSpecify In-Memory Storage EngineConcurrencyMemory UseDurabilityDeployment ArchitecturesChanged in version 3.2.6.Starting in MongoDB Enterprise version 3.2
2016-09-13 08:59:10
1397
转载 mongoDB MMAPv1 Storage Engine
原文链接On this pageJournalRecord Storage CharacteristicsRecord Allocation StrategiesMemory UseMMAPv1 is MongoDB’s original storage engine based on memory mapped files. It excels
2016-09-13 08:58:06
1474
转载 mongoDB WiredTiger Storage Engine
原文链接On this pageDocument Level ConcurrencySnapshots and CheckpointsJournalCompressionMemory UseStarting in MongoDB 3.0, the WiredTiger storage engine is available in the 64-bit
2016-09-13 08:56:53
1222
转载 MongoDB Storage
原文链接On this pageStorage Engine FundamentalsCan you mix storage engines in a replica set?WiredTiger Storage EngineMMAPv1 Storage EngineCan I manually pad documents to prevent moves
2016-09-12 10:07:55
1329
原创 88. Merge Sorted Array
Given two sorted integer arrays nums1 and nums2, merge nums2 into nums1 as one sorted array.Note: You may assume that nums1 has enough space (size that is greater or equal to m + n) to hold additional
2016-09-11 23:14:54
203
转载 Google 的开源技术protobuf 简介与例子
本文来自优快云博客：http://blog.youkuaiyun.com/program_think/archive/2009/05/31/4229773.aspx 今天来介绍一下“Protocol Buffers ”（以下简称protobuf）这个玩意儿。本来俺在构思“生产者/消费者模式 ”系列的下一个帖子：关于生产者和消费者之间的数据传输格式。由于里面扯到了pro
2016-09-10 21:08:01
268
原创 字符串匹配
Implement strStr().Returns the index of the first occurrence of needle in haystack, or -1 if needle is not part of haystack.Subscribe to see which companies asked this question 28. Implement strStr()K
2016-09-10 20:22:45
305
转载 MongoDB源码概述——内存管理和存储引擎
原文链接数据存储： 之前在介绍Journal的时候有说到为什么MongoDB会先把数据放入内存，而不是直接持久化到数据库存储文件，这与MongoDB对数据库记录文件的存储管理操作有关。MongoDB采用操作系统底层提供的内存文件映射（MMap）的方式来实现对数据库记录文件的访问，MMAP可以把磁盘文件的全部内容直接映射到进程的内存空间，这样文件中的每条数据记录就会在内存中
2016-09-10 10:36:01
1609
转载 mongodb
点击打开链接overview MongoDB使用的是内存映射存储引擎,即Memory Mapped Storage Engine，简称MMAP。MMAP可以把磁盘文件的一部分或全部内容直接映射到内存，这样文件中的信息位置就会在内存中有对应的地址空间，这时对文件的读写可以直接用指针来做，而不需要read/write函数了，但这并不代表将文件map到
2016-09-08 21:57:27
1030
转载 内存映射文件原理
原文链接原理首先，“映射”这个词，就和数学课上说的“一一映射”是一个意思，就是建立一种一一对应关系，在这里主要是只硬盘上文件 的位置与进程 逻辑地址空间 中一块大小相同的区域之间的一一对应，如图1中过程1所示。这种对应关系纯属是逻辑上的概念，物理上是不存在的，原因是进程的逻辑地址空间本身就是不存在的。在内存映射的过程中，并没有实际的数据拷贝，文件没有被载入内存，只是逻辑上被
2016-09-05 21:19:31
309
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人