- 博客(17)
- 资源 (18)
- 收藏
- 关注

原创 炼丹记之国家电投2020风电机组异常数据识别与清洗 baseline f1=0.858分享
赛题地址:https://www.datafountain.cn/competitions/451赛题任务:依据提供的12台风力电机1年的10min间隔SCADA运行数据,包括时间戳信息、风速信息和功率信息等,利用机器学习相关技术,建立鲁棒的风电机组异常数据检测模型,用于识别并剔除潜在的异常数据,提高数据质量。此任务未给出异常数据标签,视为聚类任务,为引导选手向赛题需求对接,现简单阐述异常数据定义。异常数据是由风机运行过程与设计运行工况出现较大偏离时产生,如风速仪测风异常导致采集的功率散点明显
2020-09-21 17:32:02
3312
6

原创 炼丹记之solo四川诈骗电话识别复赛rank13分享
赛题地址:http://www.scdata.net.cn/kfds/urgent2/pages/index.html ,诈骗电话识别是算法对抗赛的赛题之一。attention:由于签了保密协议,本文不会提供代码涉及到的数据。参赛历程:初赛时,由于大佬开的baseline分数已经很高,于是本人只调了调baseline然后就弃赛了。然后初赛结束的时候竟然收到了进入复赛的短信,于是交保密协议,下载数据,算是复赛才开始正式参赛吧。本来给一个大佬的结果融合可以进入top4的,可惜没选中。本文参考的bl.
2020-08-27 10:26:33
2757
6

原创 炼丹记之科大讯飞2020温室温度预测baseline mse=0.25分享
# -*- coding: utf-8 -*-"""Created on Tue Jun 30 17:00:08 2020@author: csdn lanxuxml"""import pandas as pdtrain_data = pd.read_csv('train.csv')testA_data = pd.read_csv('test.csv')sub = pd.DataFrame(testA_data['time'])train_data = train_data[t.
2020-07-06 15:02:29
3597
原创 炼丹记之Linux上成功安装fbprophet的一种方案
OS跟Python版本信息:OS :centos7Python:3.6.8然后再一段话:This usually means that the C++ compiler isn't hooked up correctly to PyStan. PyStan will successfully install even if it is not able to function correctly.You can use this code to check that pystan
2020-09-09 10:52:53
767
原创 炼丹记之实战LSTM搭炉炼丹
写在前面:炉是垃圾炉,丹是垃圾丹(结的丹中age最高只有0.369,还没我用catboost刷出来的高)腾讯2020广告算法大赛地址:https://algo.qq.com/前一篇博文写了如何构造embedding vector,并且把vector转成了DataFrame格式,戳这里:炼丹记之在非典型NLP领域使用word2vec构造特征搭炉前的废话一:在实际操作的时候由于生成的creative_id二进制corpus被我不小心重写为空了,需要重新计算,所以这次造鼎炼丹用的是之前计算好的ad_i
2020-06-16 17:53:56
372
原创 炼丹记之在非典型NLP领域使用word2vec构造特征
最近各种竞赛上对时序数据进行embeding很火、效果很好,比如数字中国2020的智慧海海建设中rank1的分享,譬如2020腾讯广告大赛。为了上分,NLP小白一枚不得不花写时间来啃一下word2vec、doc2vec。now, show u the code:# -*- coding: utf-8 -*-"""Created on Thu Jun 4 16:23:02 2020@author: csdn lanxuml"""from gensim.test.utils impo
2020-06-05 16:47:10
387
原创 Oracle 亿级表高效删除重复数据只保留一条
一、服务器信息1.内存[oracle@yundingora ~]$ free -g total used free shared buffers cachedMem: 125 92 33 0 0 59-/+ b...
2020-04-21 16:35:22
1117
原创 oracle enterprise cloud control 12c 无法删除target时通过emcli进行删除
这两天将一台装有ASM的数据库注册至OMS时,发现无法添加target,完全搜索不到。后来通过朋友在MOS上查询到,在添加host时,listener.ora必须在$ORACLE_HOME/network/admin下。经查,该host上监听文件是在grid账户下的$ORACLE_HOME/network/admin。然而添加host时使用的是oracle用户。于是,准备删除agent与host重...
2019-12-24 11:24:36
538
原创 ETL工具kettle与datax的对比测试案例之Oracle to Oracle
测试服务器硬件信息:[root@catdb ~]# cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l 2 [root@catdb ~]# cat /proc...
2019-12-18 17:09:54
2238
3
原创 Oracle中一条sql引发的血案(一)
血案sql如下:create table yw_wg_17 as select distinct ACC from yw_wc_cust_1715 a where a.acc not in (select distinct acc from yw_wc_cust_17 b where a.acc=b.acc) table YW_WC_CUST_1715: Size 1...
2019-12-17 10:59:54
298
2
原创 利用Python对Excel按列值筛选并拆分表格到多个文件
场景:集团中心下发本省数据时,并未按地市、业务拆分,现需要按地市、业务拆分并分发到地市。本文利用Python的pandas包实现了以上场景。
2019-11-04 09:52:05
6110
3
原创 在 Toad 或 PL/SQL Developer 中使用不同版本的Oracle Client连接数据库
在使用toad管理或连接Oracle数据库的时候,常要面对10-11-12等不同版本的数据库,时常会出现客户端版本过低或者过高导致一些功能无法顺利使用,如版本过低无法连接数据库,如无法直接使用12C的client导出11g的数据等等。为此在Windows机器上配置多个client是非常有用的,也能极大提高工作效率。
2018-11-19 11:08:16
1688
原创 win10+hadoop2.9.1+hive2.2.0测试环境部署
部署安装hadoop2.9.1后下载hive2.2.0解压到安装目录,本文为E:\post\hive\apache-hive-2.3.3-bin PS:经下载发现2.2.0以后没有win相关的cmd命令 PS:hadoop的配置相对简单,本文不再赘述环境变量 总共需要配置四处环境变量(系统变量,如果不配置此4处将无法运行hive,被这里坑了很久)HIVE_BIN...
2018-08-13 22:26:02
1777
2
原创 基于Python爬取Oracle EM CC 12C上的告警信息并推送至微信企业号
本文主要介绍通过Python爬虫脚本,将所有目标的告警信息爬下来,并推送到微信企业号应用实现单点对多目标的巡检。籍此以减少DBA的工作量。如有不了解Oracle Enterprise Manager Cloud Control 12c的,可搜索信息自行了解。一、设置Incident Manager: All open incidents为管理器打开的主页面,如下图所示:二、利...
2018-06-26 11:37:00
1129
原创 【流水账--oracle生产库升级】在Centos7.0 下升级Oracle 11.2.0.1至Oracle11.2.0.4
在Centos7.0 下升级Oracle 11.2.0.1至Oracle11.2.0.4 背景:系统x86_64;Oracle software未安装grid、asm、未搭建rac;该机器上共运行两个instance(对应两个database)准备:下载p13390677_112040_Linux-x86-64_1of7.zip ; p13390677_112040_Linux-x86
2017-10-09 09:23:13
1098
原创 Ubuntu+QT+VTK+Eclipse&QtCreator开发平台的搭建(一行命令即可)
Ubuntu + QT + VTK +Eclipse-CDT&Qt Creator 开发平台搭建教程 CTRL + ALT + T打开终端:注:均为在线安装,需耗费一定的时间,嫌麻烦的同学请直接查看最后一页,一行命令完成平台搭建。 Step1 安装eclipse-cdt开发平台:sudo apt-getinstall eclipse-platform eclipse-cdt
2014-05-03 16:06:23
2141
原创 MITK安装教程(非中科院版7月8日更新)
MITK(德国版,非中科院版)安装教程MITK全名:The Medical Imaging Interaction Toolkit 。官网:http://mitk.org/。特别说明是德国版,非中科院版。使用中科院版的孩纸请忽略此文!开场白:找了好久没在国内找到MITK的安装编译教程,最近安装编译成功了,弱弱的写一个安装教程(本人是绝对的新手,而不是高手谦虚时的那种新手)。安装需要到的各种
2013-07-03 12:52:19
11407
Oracleinstantclient-x64-10.2-11.2-12.2三版本合集
2018-11-19
Python爬取ORACLE EM CC 12C 告警信息推送到微信企业号
2018-06-26
Ubuntu+QT+VTK+Eclipse&QtCreator开发平台的搭建(一行命令即可)
2014-05-03
vtk5.10.chm.帮助文档.part3.rar
2013-04-23
vtk5.10.chm.帮助文档.part2.rar
2013-04-23
vtk5.10.chm.帮助文档.part1.rar
2013-04-23
Python学习手册:第4版(全网英文原版最清晰版)
2012-09-08
VTK User's Guide(中文完整版)
2012-08-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人