- 博客(82)
- 收藏
- 关注
RSS订阅原创 mongo查询总结
对foo 添加元素： for(i=1;i<=10;i++){ db.foo.insert({name:'wxz'+i,age:i}); } 查看数据： db.foo.find() { "_id" : ObjectId("5deaa110b636150f1bc3e7cf"), "name" : "wxz1", "age" : 1 } { "_id" : ObjectId("5...
2019-12-08 09:17:46
216
原创 ping www.baidu.com Unknow host
Linux中可以ping同IP，但是ping www.baidu.com就会出现以下问题 ping: unknown host www.baidu.com 可以断定：应该是dns服务器 配置文件缺少nameserver 解决方法一： vi /etc/resolv.conf 然后添加以下内容： nameserver 8.8.8.8 nameserver 8.8.4.4......
2019-05-21 19:08:48
145
原创 python lambda 的使用
参数 T=5,F1=依赖因子（1）,F2=依赖因子（2） 1 截取过去T个月的数据 2 对第t个月的日收益率做 F2_t=a+b*F1_t+sigma(t),t=1,…T 3 计算 分子=sum{ [ (sigma(t) +simgma(t-1) +simgma(t-3) ]^2 ,t=3,…,T} 4 计算 分母=sum{ (sigma(t)^2+simgma(t-1)^2+sim...
2019-01-14 13:42:30
1247
原创 Python DataFrame
可以参考下这个， 对ann date分组后 取 report date 最大的记录 D=pd.DataFrame([(1,'a','a'),(2,'a','b'),(3,'b','a'),(4,'b','b')],columns=['F','Ann','Report']) G=D.groupby('Ann') G.apply(lambda x:x.sort_values(by='Report...
2018-11-14 11:32:17
712
原创 Python根据已知Y值求斜率和截距
from sklearn import linear_model import numpy as np reg = linear_model.LinearRegression() #假设数据是data data=[1.71490784773981,2.71490784773981,3.71490784773981,4.71490784773981] #对应序号是 range(len(data))...
2018-10-26 09:55:05
14436
原创 python 模块发布与安装
创建一个包目录结构如下： first.py对应的内容为： 1 def error(): 2 print("it is error") second.py 对应的内容为： 1 def sendText(): 2 print("i am ok") 3 def success(): 4 print("success") 在和tes...
2018-09-15 20:55:08
601
1
原创 partial函数(偏函数)
import functools def showarg(*args, **kw): print(args) print(kw) p1=functools.partial(showarg, 1,2,3) p1() p1(4,5,6) p1(a='python', b='haha') p2=functools.partial(showarg, a=3,b='linux') p...
2018-09-02 16:10:25
1287
原创 生成器
1. 什么是生成器 通过列表生成式，我们可以直接创建一个列表。但是，受到内存限制，列表容量肯定是有限的。而且，创建一个包含100万个元素的列表，不仅占用很大的存储空间，如果我们仅仅需要访问前面几个元素，那后面绝大多数元素占用的空间都白白浪费了。所以，如果列表元素可以按照某种算法推算出来，那我们是否可以在循环的过程中不断推算出后续的元素呢？这样就不必创建完整的list，从而节省大量的空间。在Pyt...
2018-09-02 15:59:18
187
原创 python操作Mysql
创建MysqlHelper.py文件，定义类 #encoding=utf8 import MySQLdb class MysqlHelper(): def __init__(self,host,port,db,user,passwd,charset='utf8'): self.host=host self.port=port self....
2018-09-02 09:27:35
253
原创 windows 下python安装mysqldb模块 python2.7
exe下载地址: http://www.codegood.com/archives/129 分为32位和64位,下载对应的exe即可 2.下载完后,双击exe安装 3.检查是否安装成功: 如果安装成功,将没有任何提示,如下 >>> import MySQLdb >>> 安装不成功的提示: >>> import MyS...
2018-09-02 08:58:13
447
转载 Aviator表达式计算
1、使用Aviator 需要导入包 <dependency> <groupId>com.googlecode.aviator</groupId> <artifactId>aviator</artifactId> <version>3.3.0</version> </depen
2018-08-29 20:58:35
4797
原创 使用gitBash在本地使用shell脚本对CSV数据排序
shell 代码如下 #!/bin/sh list_alldir(){ for file2 in `ls -a $1` do if [ x"$file2" != x"." -a x"$file2" != x".." ];then if [ -d "$1/$file2" ];then ...
2018-08-15 20:58:36
1197
原创 mysql触发器，存储过程，预处理语句
创建t1表 create table t1(id varchar(10),name varchar(10),age varchar(20)); 创建t2表 create table t2(id varchar(10),name varchar(10),age varchar(20)); //当对t1表进行添加时自动对t2表也添加 先设置结束符，因为在创建触发器的过程中要使用分号...
2018-05-06 13:04:51
732
原创 常用的hive语句
创建分区表 create table one(id int comment 'the id',name string comment 'the name',age int comment 'the age') partitioned by(part string) row format delimited fields terminated by ','stored as textfile; 往...
2018-05-05 19:32:37
795
原创 zkServer.sh status查看状态是报Error contacting service. It is probably not running.
1，当我启动zookeeper集群的时候使用jps可以看到所有的机器上都出现QuorumPeerMain，但当我使用zkServer.sh status查看状态是报Error contacting service. It is probably not running.解决方法：使用netstat -ntp| grep 2181可以看到如下：[root@shizhan bin]# netstat ...
2018-04-29 16:25:33
980
原创 mysql的慢查询
① 首先我们了解mysql数据库的一些运行状态如何查询(比如想知道当前mysql运行的时间/一共执行了多少次select/update/delete.. / 当前连接)show status常用的:show status like ‘uptime’ ; show stauts like ‘com_select’ showstauts like ‘com_insert’ ...类推 upd...
2018-04-23 13:10:16
2492
原创 手动备份数据库(表的)方法
cmd控制台:（切换到mysql安装的bin目录，我的Mysql安装在d盘如下图）现在，我的数据库中的的templ库下有emp表中有数据，现在需要把这张表备份到d盘下的temp.bak如下我的数据库密码是123456mysqldump –u root –p temp1 emp > d:\temp.bak在我的d盘下能看到已经备份好了 2，把备份数据库的指令，写入到 bat文件, 然后通过任...
2018-04-22 12:54:54
2114
原创 mysql的增量备份
1，在mysql 的my.ini文件中2在我的D盘下创建binlog文件夹3重启mysql服务可以看到我的D盘下的binlog下生成如下文件4，在默认的test数据库中创建t_one1这张表 create table t_one1(id varchar(10),name varchar(2));4.1插入几条数据，然后能看到wxzlog.000001这个文件的修改日期变化了，这个文件就是我们对数据...
2018-04-20 14:29:40
1151
原创 nginx日志切割以及备份
下面是我在nginx的conf/nginx.conf 添加的 一段代码 server{ listen 80; server_name z.com; #charset koi8-r; #access_log logs/host.access.log main; location / { ...
2018-04-11 12:55:20
1322
原创 使用hive报 return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask解决方法
当我使用hive进行如下查询时 select * from t_t inner join t_te on t_t.id=t_te.id;出现如下错误：Query ID = root_20180410193117_e9d36b57-54ce-4ad5-a48c-df876f449de1 Total jobs = 1 18/04/10 19:31:20 WARN conf.Configuration:...
2018-04-10 17:07:57
14928
原创 hadoop集群搭建
1.准备Linux环境我这里准备了4台虚拟机，根据路由查看相关的网段以及网关的信息，这个要看你 自己的虚拟机，这里我的如下选择编辑下的虚拟网络编辑器，得到如下图这里选择下面NAT模式下，如下图然后再选择NAT设置，相关信息如下图这里的子网ip确定了ip的网段，我这里设置了4台虚拟机分别为hadoop1,hadoop2,hadoop3,hadoop4,ip 分别为192.168.150.110,19...
2018-04-06 13:05:13
334
原创 装zookeeper集群的时候修改了etc/profile的export Path后导致命令行不能使用了问题解决
Linux修改profile文件改错了，恢复的方法 在改profile的时候，改出问题了，除了cd以外的命令基本都不能用了， 连vi都不能用了 用export PATH=/usr/bin:/usr/sbin:/bin:/sbin:/usr/X11R6/bin 然后就可以用命令了，速度用vi把profile改回来，恢复正常。 shell命令基本都在/usr/bin，/usr/sbin，/bin，/...
2018-03-31 15:06:09
461
原创 linux 下mysql安装 步骤
查看mysql的状态如下图开启mysql如下图 接下来 运行我截图中的2指令进行设置密码 如下图我设置的mysql密码是root然后 进行登陆 如下图安装成功
2018-03-24 14:04:59
351
原创 cut 与 sort 的 结合使用
sort sort 命令对 File 参数指定的文件中的行排序，并将结果写到标准输出。如果 File 参数指定多个文件，那么 sort 命令将这些文件连接起来，并当作一个文件进行排序。 sort语法 [root@www ~]# sort [-fbMnrtuk] [file or stdin] 选项与参数： -f ：忽略大小写的差异，例如 A 与 a 视为编码相同； -b ：忽略最前面的...
2018-03-24 09:03:13
895
转载 shell脚本入门
获取字符串长度str="wxz" echo ${#str} #输出 3提取子字符串 以下实例从字符串第 2 个字符开始截取 4 个字符： string="The shell script is great" echo ${string:1:4} # 输出 he s 查找子字符串 查找字符 "i 或 s" 的位置： string="runoob is a great company" ech...
2018-02-12 14:46:50
363
原创 hive安装
下载Hive安装包 http://hive.apache.org/downloads.html 2、将hive文件上传到HADOOP集群，并解压 将文件上传到：/export/software tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /export/servers/ cd /export/servers/ ln -s ap
2017-10-06 21:06:16
566
转载 azkaban-2.5.0 启动报错Invalid maximum heap size: -Xmx4G 解决
启动azkaban后报错信息为: Invalid maximum heap size: -Xmx4096m The specified size exceeds the maximum representable size. Could not create the Java virtual machine. 解决方法: 请修改文件azkaban\azkaban-web-2.
2017-10-06 21:03:53
1647
原创 Azkaban安装
Azkaban安装部署 准备工作 Azkaban Web服务器 azkaban-web-server-2.5.0.tar.gz Azkaban执行服务器 azkaban-executor-server-2.5.0.tar.gz MySQL 目前azkaban只支持 mysql,需安装mysql服务器,本文档中默认已安装好mysql服务器,并建立了 root用户,密码 root
2017-10-06 10:27:57
610
原创 hbase命令及相应java API
命1. 命令 habase命令 名称 命令表达式 创建表 create '表名', '列族名1','列族名2','列族名N' 查看所有表 list 描述表 describe ‘表名’ 判断表存在 exists '表名' 判断是否禁用启用
2017-09-13 13:39:43
469
转载 项目导入时报错：The import javax.servlet.http.HttpServletRequest cannot be resolved
Error： The import javax.servlet cannot be resolved The import javax.servlet.http.HttpServletRequest cannot be resolved Description: 我们经常会把别人的项目copy到自己这里进行二次开发或者参考，有的时候会发生上面的错误， 即ec
2017-09-10 22:43:13
614
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人