燃烧的岁月_-优快云博客

原创股票选股SQL脚本-pg数据库

where a.ts_code <> 'ts_code' and a.list_status='L' and t.ts_code=a.ts_code and a.name not like '%退%' and a.name not like '%ST%'and b.industry not in ('全国地产','证券','多元金融')and a.name not like '%银行%'and a.name not like '%商行%'and a.market <> '科创板'

2024-10-15 23:16:16 858 1

原创股票日数据处理-pg数据库

清空表dw_stock_base_d_ dm_stock_base_d dm_stock_base_fex_d。# 执行 /root/stock/run_stock.sh /data/2023/202311/echo "文件处理：逗号分隔，增加日期、股票字段"echo "数据日期"$dirfile_date。#插入分析表da_stock_base_fex1_d。#插入分析表da_stock_base_fex_d。#插入分析表dm_stock_base_d。#2、补充日期和股票代码。

2024-10-15 22:50:41 696

原创 VM虚拟机使用蓝屏处理——拯救者笔记本

vm虚拟机蓝屏处理方法

2024-09-22 13:50:52 213

原创 pg数据库存储过程

- 打印当前迭代的值。

2024-08-05 00:50:44 1099

原创更换yum 阿里

下载新的阿里的yum源仓库，阿里的开源镜像站https://developer.aliyun.com/mirror/

2024-01-06 21:51:11 469

原创股票 SQL

-------------------------------两年。

2023-10-04 01:46:27 663 1

原创 linux 配置静态ip地址

# Generated by dracut initrdTYPE=EthernetNAME="ens33"DEVICE="ens33"UUID="277f3501-5ece-41e8-9201-1cf5f984f9ff"IPV6INIT=yesBOOTPROTO="static" ONBOOT="yes"IPADDR=192.168.3.38GATEWAY=192.168.3.1NETMASK=255.255.255.0DNS1=114.114.114.114

2023-10-03 19:39:32 164

原创 hive beeline

beeline -u "jdbc:hive2://192.168.3.38:10000/stock" -n hive -p hive

2023-10-03 01:58:11 159

原创 linux下python连接oracle数据库

否则报错：cx_Oracle.DatabaseError: DPI-1047: Cannot locate a 64-bit Oracle Client library: "libmql1.so: cannot open shared object file: No such file or directory". See https://cx-oracle.readthedocs.io/en/latest/user_guide/installation.html for help。

2023-10-03 00:11:20 809

原创 hive 字符串截取

1232

2023-09-30 21:25:07 304

原创 Progresql数据库安装--安装

progresql

2023-09-07 21:20:54 431

原创 ETL开发常用shell文件操作

【代码】ETL开发常用shell文件操作。

2023-09-07 21:11:21 196

原创 GaussDB(DWS)与Hive在功能上存在一定的差异

GaussDB(DWS)与Hive在功能上存在一定的差异，主要体现在以下几个方面：Hive是基于Hadoop MapReduce的数据仓库，GaussDB(DWS)是基于Postgres的MPP的数据仓库。Hive的数据在HDFS中存储，GaussDB(DWS)的数据可以在本地存储，也可以通过外表的形式通过OBS进行存储。Hive不支持索引，GaussDB(DWS)支持索引，所以查询速度GaussDB(DWS)更快。Hive不支持存储过程，GaussDB(DWS)支持存储过程，使用场景更广泛

2022-04-18 02:06:07 4499

原创筛选股票代码

--start--v1.0drop table stock_temp;create temporary table stock_temp asselectt.ts_code,t.st_price,t.week_total,t.week_high_total,t.week_low_total,t.month_total,t.month_high_total,t.month_low_total,t.year_high,t.year_total,t.year_high_total...

2022-04-04 16:46:18 883

原创今年辞掉了银行外包工作，休息休息

工作就是工作，不一定是你喜欢的；技术水平高低，不一定决定你的薪资待遇；我们要适应当前的国情，记得在电信工作的时候，一个水平什么也不是的同事，待遇比我高了一倍。社会是要看背景的，哪有那么多研发的岗位，我们大多数都是在搬砖，不停的搬砖。...

2022-04-04 16:00:42 299

原创 Tomcat内存溢出的三种情况及解决办法分析

Tomcat内存溢出的原因　　在生产环境中tomcat内存设置不好很容易出现内存溢出。造成内存溢出是不一样的，当然处理方式也不一样。　　这里根据平时遇到的情况和相关资料进行一个总结。常见的一般会有下面三种情况：1.OutOfMemoryError： Java heap space2.OutOfMemoryError： PermGen space3.OutOfMemoryError： unable to create new native thread.Tomcat内存溢出解决方案　　对于前两种情况，在...

2020-11-19 16:59:31 1105

原创 xitrum工程搭建

xitrum工程搭建1、建议用idea工具，eclipse我是没下载完。2、sbt一定要更换，不然慢的无法完成。不管在Windows还是linux要在当前用户的根目录.sbt下新建repositories文件内容：阿里的地址库[repositories]#localpublic: http://maven.aliyun.com/nexus/content/groups/public/#这个maventypesafe:http://dl.bintray.com/typesafe/ivy-rel

2020-07-04 14:04:13 290

原创 JMeter从入门到精通

《JMeter从入门到精通》之一——开始你的第一个JMeter脚本JMeter是一款在国外非常流行和受欢迎的开源性能测试工具，像LoadRunner 一样，它也提供了一个利用本地Proxy Server（代理服务器）来录制生成测试脚本的功能，但是这个功能并不好用。所以在本文中介绍一个更为常用的方法——使用Badboy录制生成JMeter脚本。简单的介绍一下Badboy。Badboy是一款不错的Web自动化测试工具，如果你将它用于非商业用途，或者用于商业用途但是安装Badboy的机器数量不超过5...

2020-05-17 19:04:46 280

原创筛选60天内好的机会股

drop table dm_stock_d;create table dm_stock_d asselectdate_d,open ,high ,close ,low ,volume ,price_change ,p_change ,ma5 ,...

2020-04-19 01:34:35 325

原创 Python连接Oracle配置过程

今天用python连接Oracle，这已经是第二次配置了，这次配的时候忘记了以前是怎么弄的，配置完后写点东西吧第一步：安装Anaconda2-4.0.0-Windows-x86_64.exe第二步：安装Oracle Client64第三步：安装cx_Oracle-5.1.2-11g.win-amd64-py2.7.msi第四步：安装vcredist_x64.exe第六步：安装pip install...

2018-07-07 01:25:28 2078 1

原创 hive股票数据脚本

#! /bin/bash#===============#p_dm_stock_d.sh#===============DT=`date -d '-1 day' "+%Y-%m-%d"`DT_1=`date -d '-2 day' "+%Y-%m-%d"`if[$1];then DT=$1fiSQL="insert overwrite table dm_stock_dselect t.dat...

2018-03-19 02:32:23 542

转载 Hive调优（语法与参数层面优化）

一、简介作为企业Hadoop应用的核心产品，Hive承载着FaceBook、淘宝等大佬 95%以上的离线统计，很多企业里的离线统计甚至全由Hive完成，如我所在的电商。Hive在企业云计算平台发挥的作用和影响愈来愈大，如何优化提速已经显得至关重要。好的架构胜过任何优化，好的Hql同样会效率大增，修改Hive参数，有时也能起到很好的效果。有了瓶颈才需要优化 1、Hadoop的主要性能瓶颈是IO负载...

2018-02-18 18:07:07 663

原创 hadoop新api开发

public static void main(String[] args){ Configuration conf = new Configuration(); String[] otherArgs = new GenericOptionsParser(conf,args).getRemainingArgs(); if(otherArgs.length !=

2017-11-05 16:16:08 487

转载 hive 自定义函数

数据格式zhangsan | a,b,c,d,e,f,glisi | h,i,j,k,l,m,n结构：zhangsan azhangsan bzhagnsan czhangsan dzhangsan ezhangsan fzhangsan glist hlist ilist jlisi klisi llist mlis

2017-08-20 11:02:26 490

原创 Oracle12c jdbc版本驱动问题

# sqlnet.ora Network Configuration File: /u01/app/oracle/product/12.1.0/dbhome_1/network/admin/sqlnet.ora# Generated by Oracle configuration tools.SQLNET.ALLOWED_LOGON_VERSION_CLIENT=8SQLNET.ALL

2017-04-30 02:01:30 16192

原创按日导入明细数

# -*- coding: utf-8 -*-import tushare as tsimport osimport refrom sqlalchemy import create_engineimport cx_Oracleimport sysreload(sys)sys.setdefaultencoding('utf-8')os.environ['NLS_L

2017-04-16 15:16:12 370

原创 python 按表里的股票编码下载

#!/usr/bin/pythonimport tushare as tsimport osimport refrom sqlalchemy import create_engineimport cx_Oraclep_ktype='W'sql="select stockcode from stock_temp order by stockcode "

2017-04-04 13:37:34 640

原创合并下载的股票数据

#-*- coding: utf-8 -*-import osimport shutilpath = "/root/stock_py/data/data_tick1/"target = "/root/stock_py/data/stockresult1.txt"print targetappendfile = open(target, 'a+')for roots, d

2017-04-04 13:36:28 588

原创 python 股票交易数据按名称开户时间结束时间入库

# -*- coding: utf-8 -*-import tushare as tsimport osimport refrom sqlalchemy import create_engineimport cx_Oracleimport sysreload(sys)sys.setdefaultencoding('utf-8') os.environ['NLS

2017-04-04 13:35:22 821

转载 hive表信息查询：查看表结构、表操作等

问题导读：1.如何查看hive表结构？2.如何查看表结构信息？3.如何查看分区信息？4.哪个命令可以模糊搜索表1.hive模糊搜索表 show tables like '*name*';2.查看表结构信息 desc formatted table_name; desc table_name;3.查看分区信息 show part

2017-03-01 17:03:13 1325

原创 hadoop 目录文件按GB显示

hadoop fs -du /user/hive/warehouse/iq_stock_tick | awk '{ sum=$1 ;dir2=$2 ; hum[1024**3]="Gb";hum[1024**2]="Mb";hum[1024]="Kb"; for (x=1024**3; x>=1024; x/=1024){ if (sum>=x) { printf "%.2f %s \t %s\n

2017-02-23 05:53:24 2043

原创股票 python tick

# -*- coding: utf-8 -*-import tushare as tsimport osimport refrom sqlalchemy import create_engineimport cx_Oracleimport sysreload(sys)sys.setdefaultencoding('utf-8') os.environ['NLS

2017-02-17 23:02:56 1374

原创股票 tushare 到 oracle 问题脚本

# -*- coding: utf-8 -*-import tushare as tsimport osimport refrom sqlalchemy import create_engineimport cx_Oracleimport sysreload(sys)sys.setdefaultencoding('utf-8') os.environ['NLS

2017-02-04 18:40:29 1021

原创更改Oracle12 数据库字符编码集

Oracle Server端字符集查询SQL> select userenv('language') from dual;USERENV('LANGUAGE')----------------------------------------------------AMERICAN_AMERICA.ZHS16GBK 由此可以看出字符集为ZHS16GBKServer端字

2017-02-04 18:09:45 3359

原创 Oracle创建数据表空间

表空间就是dbf数据文件，存储创建表。//创建数据表空间create tablespace yycg0730loggingdatafile'E:\oracle\product\10.2.0\oradata\yycg\yycg0730.dbf' --表空间数据文件位置在oracle服务器（如果是虚拟机，位置在虚拟机上）size 32mautoextend onnext

2017-01-31 21:42:48 430

原创 Oracle 创建TNS

TEST1 = tns名称 (DESCRIPTION = (ADDRESS_LIST = (ADDRESS = (PROTOCOL = TCP)(HOST = 127.0.0.1)(PORT=1521)) ) (CONNECT_DATA = (SID = yycg) ) )

2017-01-31 21:41:51 1977

原创插入排序

package com.zyf.sort;/** * 插入排序 * @author root * */public class insertSort { public static void main(String[] args) { int[] a={9,8,7,10}; insertSort t = new insertSort(); t.runSort(a);

2017-01-21 13:28:31 331

原创选择性排序

import org.junit.Test;public class test { public static void main(String[] args) { int a[] = {10,8,7,6,5}; int i = 0; int j = 0; int temp = 0; int flag = 0; int n = a.length; for(i

2017-01-20 18:25:41 416

原创 struts日期类型转换器

package com.zyf.d_type;import java.text.DateFormat;import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.Date;import java.util.Map;import org.apache.struts2.util.St

2017-01-11 06:32:07 904 1

原创 Struts2.0 数据的存储

package com.zyf.c_data;import java.util.Map;import javax.servlet.ServletContext;import javax.servlet.http.HttpServletRequest;import javax.servlet.http.HttpSession;import org.apache.struts2.Ser

2017-01-10 21:15:58 579