数据处理
关注
分享
扫一扫
Peter_Luoz
这个作者很懒，什么都没留下…
展开
-
使用pandas连接数据库和输出数据库的常见问题
使用哪个包连接数据库在使用pandas读取和写入数据库的时候，最好不要用pymssql直接去连服务器，读取数据可能不会出问题，但是在写入的时候，会出现一系列的问题。推荐使用sqlalchemy库import pandas as pdimport pymssqlimport numpy as npimport matplotlib.pyplot as pltfrom sqlalchemy...原创 2019-04-11 16:13:16 · 1018 阅读 · 0 评论 -
关于selenium和requests结合使用的一个项目案例
文章目录绪论爬虫思路实践代码结语绪论很久没有做爬虫了，最近在公司做数据的时候整合某个数据时发现给的数据是从网站上进行下载的，但是领导的要求是定时从网站上下载做更新，这就需要我重新把爬虫的知识捡起来了。简单的记录一下处理的思路：要爬取的网站是需要登录的，而且内部html代码有很多的JavaScript脚本，登录授权跨越了好几个网站，想要靠requests直接找到登录链接，基本上没可能登录界面...原创 2019-05-01 11:25:02 · 8100 阅读 · 1 评论 -
Python处理数据库插入和查询的一些问题及解决方案
文章目录Python连接DB2使用ibm_db和ibm_db_sa两个包使用ibm_db_sa和sqlalchemy两个包Python处理插入数据库报数据类型不一致问题Python执行SQL语句成功但是数据库没有数据Python插入大体量数据时到一定数量崩溃Python连接DB2IBM的DB2数据库用python做连接真的不是一般的麻烦，一个是因为这个数据库并不是现在主流的数据库，另一方面是因...原创 2019-05-01 11:26:46 · 1889 阅读 · 0 评论 -
qlik入门笔记
文章目录常用概念加载数据面板介绍**APP面板****分析面板**Qlik 常用可视化图表主条目成果共享及应用故事基本语法集合分析注释转换数据数据清洗层次结构存储常用概念维度确定数据在可视化中的分组方式，维度通常指时间、地点或者分类度量是指某些类别的计算结果，通常是聚合的集合加载数据以下截图为加载数据的基本步骤：新建APP之后打开数据加载编辑器在数据加载编辑器中创建数据链接如...原创 2019-06-14 13:18:02 · 6991 阅读 · 0 评论 -
关于SQLSERVER创建代理job的一些问题
最近在部署服务器数据库脚本自动化的时候，摸索出了一些小问题，主要是跟在SQLserver中运行SSIS包，运行sql语句，运行cmd和powershell的一些问题和解决方案，用这篇笔记来做备忘执行SSIS包提示密码错误我这里遇到的问题是，在VS里面跑SSIS包没有任何问题，能够跑通，但是到了SQLserver中创建代理跑的时候老是报下面的错误。这里找到了网上的解决方案。参考这篇博文：点击跳...原创 2019-06-03 16:01:14 · 1103 阅读 · 0 评论