- 博客(329)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Jupyter notebook中文显示乱码问题
安装SimHei.ttf字体百度下载simhei.ttf文件，拷贝到Matplotlib的字库中如何找字库的位置>>> import matplotlib print(matplotlib.matplotlib_fname())>>> print(matplotlib.matplotlib_fname())/home/quant/anaconda3/lib/python3.7/site-packages/matplotlib/mpl-data/matp..
2020-11-17 18:32:05
1470
原创 SMA移动平均算法
主旨思想：金叉主要指股票行情指标的短期线向上穿越长期线的交叉，反之当行情指标的短期线向下穿越长期线的交叉，称之为死叉。实现方法当x日的移动平均线上升并且交叉穿过Y日的移动平均线的时候买入当x日的移动平均线下降并且交叉穿过Y日的移动平均线的时候卖出python实现import psycopg2import pandas as pdimport matplotlib.pyplot as pltimport numpy as npdef query_sql(sql): conn =
2020-11-05 16:18:29
4313
1
原创 获取Tushare每日行情数据
获取tushare每日行情数据import tushare as tsfrom sqlalchemy import create_engineimport psycopg2import datetimeimport pandas as pddef query_sql(sql): conn = psycopg2.connect(database='quant', host='10.211.55.20', port='5432', user='kiwi',password='xx')
2020-11-03 14:40:46
1168
原创 Python实现窗口函数
计算每只股票持仓前五的用户信息SQL实现select * from (select sec_code,acct_id,hold_vol,hold_amt,DENSE_RANK() OVER(partition by sec_code order by hold_amt desc) as rank from sec_hold ) awhere a.rank <=5输出#Python实现def query_sql(sql): conn = psycopg2.connect(
2020-11-02 15:13:51
2139
原创 CentOS 6.5 安装postgres数据库
安装数据库yum install postgresql-server初始化数据库service postgresql initdb 启动数据库chkconfig postgresql onservice postgresql start常见配置初始化PG系统用户passwd postgres修改数据库访问控制，允许所有的IP进行访问vi /var/lib/pgsql/data/postgresql.conf修改listen_addresses = 'localhos
2020-10-21 10:44:25
350
1
原创 Python数据处理（DataFrame）
DataFrame是什么DataFrame是一个以命名列方式组织的分布式数据集。在概念上，它跟关系型数据库中的一张表或者1个Python(或者R)中的data frame一样，但是比他们更优化。DataFrame可以根据结构化的数据文件、hive表、外部数据库或者已经存在的RDD构造。DataFrame的创建从字典创建dataFrameimport pandas as pddata = { 'state':['Ohio','Ohio','Ohio','Nevada','Nevada']
2020-10-20 11:08:30
1072
原创 DataFrame结构轴的概念
官方定义轴用来为超过一维数组定义的属性，二维数据拥有两个轴：第0轴沿着行的方向垂直向下，第1轴沿着列的方向水平延申。根据官方的说法，1表示横轴，方向从左到右；0表示纵轴，方向从上到下。当axis=1时，数组的变化是横向的，体现出列的增加或者减少。反之，当axis=0时，数组的变化是纵向的，体现出行的增加或减少。通过下面的例子，很容易看到axis=0或者axis=1的区别：df = pd.DataFrame([[1, 1, 1, 1], [2, 2, 2, 2], [3, 3, 3, 3]],
2020-10-19 14:30:31
1163
转载 Ta-lib 函数一览
import tkinter as tkfrom tkinter import ttkimport matplotlib.pyplot as pltimport numpy as npimport talib as taseries = np.random.choice([1, -1], size=200)close = np.cumsum(series).astype(float)# 重叠指标def overlap_process(event): print(event.wi
2020-10-15 20:37:46
957
原创 量化第三方库ta_lib安装报错
报错信息1安装ta_lib量化库报错，报错信息如下：talib/_ta_lib.c:611:10: fatal error: 'ta-lib/ta_defs.h' file not found#include "ta-lib/ta_defs.h" ^~~~~~~~~~~~~~~~~~1 error generated.error: command 'gcc' failed with exit status 1解决方法：获取源码库sudo wget http://prdow
2020-10-15 19:45:46
1937
原创 获取金融tushare数据
下载安装# pip install tushare验证安装好的版本import tushare as ts print(ts.__version__)版本升级pip install tushare --upgrade获取tushare数据tushare初始化#!/usr/bin/env python# -*- coding: utf-8 -*-import tushare as tsts.set_token('token_id')pro = ts.pro_api()其中t
2020-10-14 16:30:42
527
原创 import tushare 异常报错
报错信息如下：>>> import tushare as tsTraceback (most recent call last): File "<stdin>", line 1, in <module> File "/home/oracle/anaconda3/lib/python3.8/site-packages/tushare/__init__.py", line 11, in <module> from tushare.stoc
2020-10-14 16:05:32
2302
原创 pip安装tushare异常处理
通过pip安装tushare时，报错信息如下：(base) [oracle@kiwi python]$ pip install tushareWARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by 'SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAIL
2020-10-14 15:50:46
3493
原创 OIV用户手册
OIV用户手册/Offline Image Viewer Guide官方文档的位置http://hadoop.apache.org/docs/r2.7.0/hadoop-project-dist/hadoop-hdfs/HdfsImageViewer.htmlhttp://hadoop.apache.org/docs/r2.7.0/hadoop-project-dist/had
2017-02-06 00:20:37
1845
原创 Security is enabled, but JCE policy zip is not specified error when enabling security using ambari
Security is enabled, but JCE policy zip is not specified error when enabling security using ambariSymptomWhen enabling security you may see this error during start/stop of services20
2017-01-17 15:02:54
803
原创 在手动清楚了hdfs上的一些坏块以后导致启动hbase master报错
在手动清楚了hdfs上的一些坏块以后导致启动hbase master报错查看hbase的报警日志2017-01-04 10:03:14,164 FATAL [kiwi02:60000.activeMasterManager] master.HMaster: Unhandled exception. Starting shutdown.org.apache.hadoop.hbase.uti
2017-01-04 10:48:30
3845
1
原创 各个版本的Oracle软件下载地址
oracle11g各版本下载地址 2014-09-15 16:49:10分类： Oracle7个压缩包说明 Linux-x86-64_1of7.zip database安装介质 Linux-x86-64_2of7.zip database安装介质 Linux-x86-64_3of7.zip grid安装介质 Linux-x86-64_4of7.zip client安装介质
2016-12-16 09:08:32
6465
转载 Mac下dd命令制作Centos USB启动盘
最近想用装一台Centos系统来使用，下载好系统后，发现了dd这个强大的命令，可用于将系统写入USB来实现从U盘启动，现将其使用步骤记录一下查看 Mac 下所有的 diskdiskutil list/dev/disk0 #: TYPE NAME SIZE IDENTIFIER
2016-12-14 00:53:30
6108
转载 Hadoop Journal Node 作用
转自：https://my.oschina.net/u/189445/blog/661561NameNode之间共享数据（NFS 、Quorum Journal Node（用得多））两个NameNode为了数据同步，会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时，会告知大部分的JournalNodes进程
2016-12-08 10:16:26
30698
原创 配置NameNode HA
1. 安装zookeeper请见http://blog.youkuaiyun.com/kiwi_kid/article/details/534969922，修改相关配置文件core-site.xml 文件 fs.defaultFS hdfs://mycluster ha.zoo
2016-12-07 21:10:07
1366
原创 zookeeper 3.4.9配置
1、首先肯定是从官网下载相应的tar包，并解压 网址：https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz 解压：tar -zxvf zookeeper-3.4.9.tar.gz2、添加环境变量export ZOOKEEPER_HO
2016-12-07 01:15:52
2584
转载 hadoop常见端口配置
常用的端口配置2.1 HDFS端口 参数描述默认配置文件例子值fs.default.name namenodenamenode RPC交互端口8020core-site.xmlhdfs://master:8
2016-12-06 20:49:51
9379
原创 DataNode 启动失败
DataNode启动失败，报错2016-12-06 18:17:35,191 WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/hadoop/data/java.io.IOException: Incompatible clusterIDs in /ha
2016-12-06 20:01:24
2001
原创 Nodemanager 自动关闭，报错Connection refused
启动nodemanager报错INFO org.apache.hadoop.service.AbstractService: Service NodeManager failed in state STARTED; cause: org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.net.ConnectException:
2016-12-06 19:42:00
4743
原创 11GR2静默安装的一些细节
yum -y install gcc gcc-c++ make binutilscompat-libstdc++-33 elfutils-libelf elfutils-libelf-devel glibc glibc-commonglibc-devel libaio libaio-devel libgcclibstdc++ libstdc++-devel unixODBC unixODBC-d
2016-11-18 12:52:16
561
原创 ganglia启动报错
查看错误日志Fail: Execution of '/etc/init.d/httpd start' returned 1. Starting httpd: (2)No such file or directory: httpd: could not open error log file /etc/httpd/logs/error_log.Unable to open logs
2016-11-16 17:40:19
821
原创 ambari 启动ganglia server报错
我们知道，ganglia监控主要包括两个主要的进程，gmetad进程是服务器进程，gmond进程是客户端进程。这两个进程的配置可以参照网友的文章http://slaytanic.blog.51cto.com/2057708/808981/在ambari中，ganglia主要通过hdp-gmond，与htp-gmetad这两个service来进行启动的。服务启动的时候，会自动
2016-11-16 00:05:48
1337
原创 hbase regionserver 无法启动报错
某天发现，某个节点的regionserver以外关闭，并且在启动以后立即会关闭查看hbase的region server日志，Caused by: org.apache.hadoop.hbase.ipc.RemoteWithExtrasException(org.apache.hadoop.hbase.ClockOutOfSyncException): org.apache.hadoop.
2016-11-15 19:29:58
2574
原创 启动ambari-server报错
在安装完ambari-server重新启动的时候报如下的错误：[root@aaa yum.repos.d]# service ambari-server startUsing python /usr/bin/python2.6Starting ambari-serverTraceback (most recent call last): File "/usr/sbin/ambari
2016-11-15 16:42:56
4950
原创 如何删除ambari中的服务
1，先手工在web界面上停止相关服务，然后通过curl来后台停止服务curl -u admin:admin -H "X-Requested-By: ambari" -X PUT -d '{"RequestInfo": {"context":"Stop Service"},"Body":{"ServiceInfo":{"state":"INSTALLED"}}}' http://10.134.4
2016-11-15 16:36:22
2207
原创 Hadoop 启动resource manager 失败的解决办法
节点resource manager 无法启动在/var/log/hadoop-yarn/yarn/yarn-yarn-resourcemanager-bbb.log发现了这样的错误2016-11-14 16:30:43,101 FATAL resourcemanager.ResourceManager (ResourceManager.java:main(1241)) - E
2016-11-14 17:38:19
17304
转载 Hadoop中hdfs和Hbase Xceivers设置
近一段在研究Impala文档，在讲述Parquest table分区性能调优方面提到了Xceivers设置。因此将该参数英文资料整理翻译如下：介绍dfs.datanode.max.xcievers 参数对客户端有直接影响，他主要定义server端的线程数量，或者更详细说，数据连接的sockets。设置太小，当集群扩展时候，无法充分利用资源。以下部分帮助我们理解客户端和服务端工作机制
2016-09-07 22:53:29
2908
转载 openstack glance 不能启动
openstack M版 centos7部署 重启服务时起不来，日志也不报错，以glance服务为例，如下：[root@open01 glance]# systemctl status openstack-glance-api.service● openstack-glance-api.service - OpenStack Image Service (code-named Glanc
2016-08-15 00:26:15
6961
1
转载 CentOS搭建本地yum源（http方式）
YUM介绍YUM主要用于自动升级、安装\移除rpm软件包，它能自动查找并解决rpm包之间的依赖关系，要成功的使用YUM工具更新系统和软件，需要有一个包含各种rpm软件包的repository（软件仓库），提供软件仓库的服务器习惯上成为“源”服务器。网络上有大量的源服务器，但是，由于受到网络连接速度、带宽的限制，导致软件安装耗时过长甚至失败。特别是当有大量服务器大量软件包需要升级时，更新的缓慢程
2016-07-26 14:29:33
974
转载 mysql 5.7 强制修改root密码
运行mysqld_safe --skip-grant-tables & 如果此时不想被远程连接：mysqld_safe --skip-grant-tables --skip-networking &使用mysql连接server更改密码： update mysql.user set authentication_string=password('kiwi') where u
2016-05-04 14:17:40
2510
转载 bashrc_docker的脚本
# Some useful commands to use docker.# Author: yeasy@github# Created:2014-09-25alias docker-pid="sudo docker inspect --format '{{.State.Pid}}'"alias docker-ip="sudo docker inspect --format '{{ .N
2016-04-19 16:56:57
1337
原创 docker保存对容器的修改
[root@oegw1 ~]# docker imagesREPOSITORY TAG IMAGE ID CREATED VIRTUAL SIZEmysql latest 4b95c7a7999d 2 days ago
2016-04-15 17:51:31
5311
原创 如何在Docker容器内外互相拷贝数据
从容器内拷贝文件到主机上[root@oegw1 soft]# docker psCONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES8d418a7b6021 postgr
2016-04-15 17:17:19
14666
原创 docker打包迁移镜像
[root@oegw1 soft]# docker save eb9a804ae885 > /opt/soft/postgres.img[root@oegw1 soft]# scp postgres.img 192.168.157.134:/opt/soft/Address 192.168.157.134 maps to localhost, but this does not map ba
2016-04-15 11:42:45
8819
转载 Docker的各个网络模式
1.1 host模式众所周知，Docker使用了Linux的Namespaces技术来进行资源隔离，如PID Namespace隔离进程，Mount Namespace隔离文件系统，Network Namespace隔离网络等。一个Network Namespace提供了一份独立的网络环境，包括网卡、路由、Iptable规则等都与其他的Network Namespace隔离。一个Docker容
2016-04-15 10:13:14
1094
转载 docker容器中安装vi命令
在使用docker容器时，有时候里边没有安装vim，敲vim命令时提示说：vim: command not found，这个时候就需要安装vim，可是当你敲apt-get install vim命令时，提示：Reading package lists... DoneBuilding dependency tree Reading state information... Done
2016-04-14 23:53:23
37114
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人