- 博客(16)
- 收藏
- 关注
RSS订阅原创 python数据分析---Numpy
##Numpy是Python的一个科学计算的库，提供了矩阵运算的功能 import numpy as np #一维数组 a=np.array([1,2,3,4,5,6]) print a #二位数组 b=np.array([[1,2,3],[2,3,4]]) print b #查看数组大小 a.shape b.shape #arange函数 指定开始值、终值和步长来
2017-05-04 17:20:01
603
原创 python数据分析---Pandas
import pandas as pd #Series 可以看做一个定长的有序字典。基本任意的一维数据都可以用来构造 Series 对象： s = pd.Series([1,2,3.0,'abc']) s1 = pd.Series(data=[1,3,5,7],index = ['a','b','x','y']) #通过下标获取数据 s1['a'] #Series的name属性
2017-05-04 17:19:06
557
原创 MySQL统计信息
SQL执行过程图 1. 客户端发送一条查询给服务器 2. 服务器先检查查询缓存，如果命中缓存，则立即返回缓存结果，否则进入下一阶段 3. 服务器端进行SQL解析，预处理，再由优化器生成对应的执行计划 4. Mysql根据优化器生成的执行计划，调用存储引擎的API来执行查询 5. 将结果返回给客户端 MySQL的执行计划是在服务器层生成的，但是统计信息是在存储引擎层生成的！
2016-12-29 14:57:23
2694
原创 JAVA序列化详解
什么是JAVA序列化 Java序列化是指把Java对象转换为字节序列的过程； Java反序列化是指把字节序列恢复为Java对象的过程。 采用Java序列化与反序列化技术，一是可以实现数据的持久化，在MVC模式中很是有用；二是可以对象数据的远程通信。 在大部分情况下，开发人员只需要了解被序列化的类需要实现 Serializable 接口，使用 ObjectInputStream 和
2016-12-14 16:24:56
508
原创 ES基础操作
文档是什么 ES里面每一条数据称之为文档(json格式) 文档元数据 _index 索引类似于关系型数据里面的数据库,它是我们存储和索引关联数据的地方。 名字必须是全部小写，不能以下划线开头，不能包含逗号。让我们使用website做为索引名。 _type 在Elasticsearch中，我们使用相同类型(type)的文档表示表，因为他们的数据结构也是相同的
2016-12-09 13:39:45
11450
原创 Elasticsearch安装
使用ES注意事项 1、es版本2.x以上需要JDK 1.8以上 2、运行es不能使用root用来来运行 3、es目录必须指定一个普通用户和组（授权） 4、es对内存和CPU的消耗比较高 5、es版本在5.X以上系统要求至少要能够开启2048个线程才可以启动，系统版本使用CENTOS7才可以 6、es使用的端口看开放iptables:9200，9300等 7、es配置其他插件实现资
2016-12-08 16:36:08
998
原创 Linux各种问题
安装glibc.i686 报错 Error: Protected multilib versions: nss-softokn-freebl-3.14.3-23.3.el6_8.i686 != nss-softokn-freebl-3.14.3-9.el6.x86_64 解决办法 yum -y install glibc.i686 --setopt=protected_multilib=
2016-12-08 15:31:46
2217
原创 Kafka系列1----Kafka安装与相关命令
单节点KAFKA安装 解压Kafka 运行zookeeper（必须） 运行zookeeper 修改kafka配置文件 broker.id=0 port=9092 log.dir=/tmp/kafka-logs-0 zookeeper.connect=192.168.60.81:2181,192.168.60.50:2181,192.168.60.
2016-12-07 15:56:05
459
原创 欢迎使用优快云-markdown编辑器
Scala 元组 这是一篇偏向于数据结构的文章,此文章你可以学到元组的底层定义,以及在各种语言中,如何定义元组 元组简介元组是一种不可变,可以随意存放数据类型的数据结构元组与数组的区别元组可以存放不同类型的数据类型,数组不能实现存放多数据类型,数组可以随意赋值,元组在定义时确定长度,同时确定赋值.Scala中的元组scala中元组常用于函数返回多个值的情况scala元组定义val tuple=(
2016-09-13 10:43:02
356
原创 Scala处理JSON
Scala在处理json的时候,使用java的json-lib def main(args: Array[String]): Unit = { val str2 = "{\"et\":\"kanqiu_client_join\",\"vtm\":1435898329434,\"body\":{\"client\":\"866963024862254\",\"client_ty
2016-09-12 16:15:02
20821
原创 Python处理JSON常用方法
#解析json字符串 import json str2 = "{\"et\":\"kanqiu_client_join\",\"vtm\":1435898329434,\"body\":{\"client\":\"866963024862254\",\"client_type\":\"android\",\"room\":\"NBA_HOME\",\"gid\":\"\",\"type\":\
2016-09-12 16:14:05
1192
原创 JAVA常用的JSON处理库,常用处理方法
SON-LIB库处理json JSON-LIB依赖包 package cn.wangyuan.util; import java.util.HashMap; import java.util.Map; import net.sf.json.JSON; import net.sf.json.JSONFunction; import net.sf.js
2016-09-12 14:19:51
4124
1
原创 group by与distinct效率分析及优化措施
如何使用group by进行去重 因为mysql的distinct在结果集中，全部不同，才可以去重。 所以，当我们进行去重处理的时候，需要单独对某列进行去重，可以使用group by子句进行分组去重 select _auto_id from account_login group by _auto_id; 该语句可以对_auto_id列进行去重。 在使用group
2016-08-12 12:52:58
73723
3
原创 MySQL5.7多源主从复制
MySQL5.7多源主从复制 MySQL在5.7.2上面添加了多源复制（Multi-Source）功能，意味着一个从库可以连 多个主库，从而同时进行同步，但是如果是同一个表的话，会存在主键和唯一索引冲突的风险，需要提前做好规划 MySQL多源复制的原理 个人认为MySQL能实现多源复制的关键有两点 1. MySQL5.7中的从库进行同步的SQL_THREA
2016-08-11 11:18:38
1937
转载 利用MySQL的表实现树的构建以及优化
利用MySQL的表实现树的构建 数据结构表结构介绍： 程序设计过程中，我们常常用树形结构来表征某些数据的关联关系，如企业上下级部门、栏目结构、商品，省份存储，分类等等，通常而言，这些树状结构需要借助于数据库完成持久化。然而目前的各种基于关系的数据库，都是以二维表的形式记录存储数据信息，因此是不能直接将Tree存入DBMS，设计合适的Schema及其对应的CRUD算法是实现关系型数据库中
2016-08-11 10:49:35
7078
原创 mysqldump --single-transaction 和--lock-tables参数详解
mysqldump的备份原理 mysqldump在备份过程中，是采用查询备份相关表的数据，然后导出，拼接成insert语句的形式进行备份。 关于--single-transaction 和--lock-tables --single-transaction选项和--lock-tables选项是互斥的，因为LOCK TABLES会使任何挂起的事务隐含提交 相关探究实验 1.
2016-08-11 09:09:15
12357
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人