- 博客(57)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 白嫖aws创建Joplin server服务器
在aws中，通过Ubuntu系统，搭建用于Joplin笔记同步的服务器，可能是全网最好的Joplin服务器搭建教程。
2024-01-10 19:02:01
1192
原创 python调用execjs，运行本地js脚本出现JSON 未定义的错误
python 调用execjs 运行本地js脚本出现 JSON 未定义的错误，windows安装配置nodejs
2023-03-28 09:24:05
1700
原创 使用pymssql从SQL Server中取数并生成DataFrame及乱码解决方案
解决pymssql从SQL读取数据时，出现乱码的问题。提供pymssql读取SQL数据生成DataFrame的代码。
2022-10-29 14:37:53
882
原创 1.1 二次项函数及其应用_伯努利函数
伯努利分布定义伯努利分布指的是对于随机变量X有, 参数为p(0<p<1)，如果它分别以概率p和1-p取1和0为值，EX（期望值）= p, DX（方差）=p*(1-p)。Python中的表现形式np.random.binomial(n,p,size=None)# 参数说明# n 单次实验中的组数，整数，即使输入浮点数，也会被截断# p 概率，0<=p<=1, 一个或者一组# size 应用意义是实验的次数，整数或者整数的元组，单个整数，返回一维数组，（X,Y）形式，返回
2022-05-14 11:51:11
689
原创 Python编程实战_办公自动化_整型、浮点型和字符串数据类型（3）
Python的数字类型Python中，数据类型是很简单的，常见的就3种：整型，浮点型，字符串。每个Python中的值，都必然属于也仅属于某一种类型， 以下是常见数据类型及一些例子：———————————————————————————————数据类型 例子整型 -2,-1,0,1,2,100,1000浮点型 -2.1,
2021-08-21 22:36:28
259
原创 Python中浮点型数据计算中一个有意思的现象
浮点数计算需注意的事项在Python中，我们可能需要经常使用浮点型（带小数点的数字）数据进行计算，这里有一个小小的坑，许多新手很容易踩进来。浮点数据四则运算的小坑从常识上来讲，3.2 + 2.1 = 5.3，但是，在Python中并不是这个结果，我们实际操作一下：a = 3.2b = 2.1print(a+b)你会发现，结果是5.300000000000001有没有毁三观？计算机居然连这么简单的计算都会算错！其实，这是因为二进制与十进制的区别。底层的计算机语言，都是用二进制编写的，比如
2021-08-16 09:53:33
169
原创 Python第三方库批量自动升级
不是我原创的代码，忘记从哪抄来的了，挺好用的，四行搞定#!/usr/bin/env python# encoding: utf-8from subprocess import callfrom pip._internal.utils.misc import get_installed_distributionsfor dist in get_installed_distributions(): call("pip install --upgrade " + dist.project_
2021-08-01 08:25:49
166
原创 在Python中使用Pyecharts绘制BI大屏
做一个面积图和折线图import pyecharts.options as optsfrom pyecharts.charts import Line,Pagefrom pyecharts.commons.utils import JsCodefrom pyecharts.globals import ThemeTypedef line_gongguan(): data_y = ['1.11%','0.36%','0.87%','0.30%','0.93%','1.09%','0.33%
2021-07-11 22:51:46
833
原创 Python编程实战_办公自动化_Python安装与调试（2）
Python安装与调试下载Python 任何情况下，我都推荐你上官网https://www.python.org/downloads/下载Python并安装，Python是一个开源软件，因此并不存在收费版本，从官网下载可以确保安装程序的安全性。 Python同时也是一个跨平台软件，在Windows、MAC、Linux下都有对应的版本，本书主要介绍的是Windows下的操作。 注意 Python的大版本有2.X和3.X，在本书中，都是基于Python 3.X来进行说明和示例。同一个大版本下，代码
2021-07-10 23:58:08
260
2
原创 使用Pyecharts与pandas制作简单的折线图
单纯做一个折线图是很简单的，但是在实战中，使用数据来制作就需要转弯了。源数据如下： 区域 1号 2号 3号 4号 5号0 福建 599.000 699.0 857.4 656.400 775.81 上海 189.200 81.4 285.2 283.800 189.22 北京 332.200 203.0 186.8 253.367 292.43 天津 366.300 63.8 238.1 239.8
2021-06-20 21:45:45
921
原创 Python编程实战_办公自动化_前言（1）
前言 自毕业入行，稀里糊涂干起了市场分析师这个岗位，跟各种Office办公软件打交道成为我工作中必不可少的一部分。为了提高效率，同时也为了减少错误，自动化工具成为我必备的武器。然而，这的确是一段漫长而艰辛的旅程。非科班出身，没有系统接触过编程；囊中羞涩，付不起动辄上万的培训费；参考书与视频不配套，知识体系呈现碎片化的分布。 经过多年不停的实践与学习，总算在这条充满荆棘的道路上摸索出了一点属于自己的行走办法，我迫不及待地想要将其与所有人分享，让那些与当年的我一样迷茫和困惑的伙伴们，少走一些弯路，少扯断
2021-04-27 14:20:05
292
原创 Automate the Boring Stuff with Python Chat 6 MANIPULATING STRINGS
用Python让繁琐工作自动化，第6章 6.7 实践项目以下是题目：表格打印编写一个名为 printTable()的函数， 它接受字符串的列表的列表，将它显示在组织良好的表格中， 每列右对齐。假定所有内层列表都包含同样数目的字符串。例如，该值可能看起来像这样：tableData = [[‘apples’, ‘oranges’, ‘cherries’, ‘banana’],[‘Alice’, ‘Bob’, ‘Carol’, ‘David’],[‘dogs’, ‘cats’, ‘moose’, ‘g
2021-03-09 15:53:33
256
1
原创 使用Python截图抓取厦门房地产网签数据之三
经历了只能整个页面截图，到可以抓取图片链接进行截图之后，发现“使用Python截图抓取厦门房地产网签数据之二”里的代码太繁杂了，于是尝试精简，以下为精简后的代码import requestsfrom bs4 import BeautifulSoupfrom datetime import datefrom time import sleepheaders = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) Ap
2021-02-21 10:09:22
321
1
原创 厦门房地产网签备案的图片识别之三
这章主要讲的是对一手房备案的图片进行处理一样使用openpyxl进行excel的处理from datetime import datefrom openpyxl import load_workbookdef yishoufang(pngpath,datapath): pngwb = load_workbook(pngpath) pngsht = pngwb['data'] yishoufang = [str(date.today()),pngsht['c2'].valu
2021-02-21 09:58:41
197
原创 厦门房地产网签备案的图片识别之二
本文主要讲，在对图片的文本进行识别后，如何存入excel文件先从二手房每天成交开始主要使用openpyxl来对excel进行处理import pandas as pdfrom openpyxl import load_workbookfrom datetime import datedef ershoufang(pngpath,datapath): # 先获取当天的二手房成交数据 wb = load_workbook(pngpath) zhuzhai_number =
2021-02-21 09:56:42
232
原创 HTTPSConnectionPool(host=‘finance.yahoo.com‘, port=443解决方案
使用pandas_datareader.data读取雅虎财经的数据时，偶尔会报错，问题为：HTTPSConnectionPool(host=‘finance.yahoo.com’, port=443，不过不用紧张，一般来说，这不是代码的问题（这个代码实在太简单了），是雅虎财经服务器的问题，去喝口水，吃点零食等个几分钟就好了。...
2021-02-18 10:38:27
4699
7
原创 python写入csv或excel时，数字0开头丢失的解决方案
今天尝试抓了几个股票的代码，深证的代码都是以00或000开头，虽然已经转化为str，但写入csv或excel仍出现0丢失的问题，尝试了多种办法，最后发现，在代码前加入’\t’是最优解决方案。代码如下:code = '000123'with open(stock.csv,'w') as f: f.write('\t'+code)f.clsoe()...
2021-02-17 23:22:31
8822
11
原创 厦门房地产网签备案的图片识别之一
1. 本文写于2021年2月11日，鼠年除夕夜，祝所有看到本文的朋友们身体健康，万事如意！2. 之前已经搞定了厦门房地产网签备案的图片下载，接下来就是识别图片的内容。3. 关于图片识别，网上大量的使用pytesseract进行识别的文章，但是使用了之后，发现对于中文的识别并不好，无奈之下另寻他途，发现百度的OCR还不错，每天5000次的免费额度，对于普通个人来说已经足够了，关于如何使用百度OCR，可见这篇文章https://zoutao.blog.youkuaiyun.com/article/details/867
2021-02-11 20:13:07
446
2
原创 使用Python截图抓取厦门房地产网签数据之二
有了链家的房源数据，另一个重要的需求是希望获取每天的成交数据，这个数据在厦门网上房地产“http://fdc.zfj.xm.gov.cn/Home/Index”。这个网站有三个数据是很有用的，分别是“一手房情况”，“一手房网签情况”，“二手房情况”，研究了网页代码后，发现src里没有完整链接，所以一开始只能用最蠢的把整个网页截屏的办法来做，见上一篇“使用python进行截图”。 今天继续研究，找到了整个完整的链接路径，这下好办了，可是用EDGE打开是乱码，试了FireFox和Chrome，都是乱...
2021-02-10 19:45:59
871
1
原创 使用Python截图抓取厦门房地产网签数据之一
初衷是希望获取厦门房地产的几个数据，但是发现数据是用图片形式展示出来，而且链接藏在“/CImg/spfjsimg?id=1283788900”这里面，没法拿到真实的链接，只能走另一条路，对页面进行截图from PIL import ImageGrabimport timefrom selenium import webdriverfrom selenium.webdriver.support.ui import WebDriverWaitclass Open_web: def __in
2021-01-19 13:35:41
299
原创 使用爬虫抓取浦城房产信息
一个朋友让我帮忙找老家的房子，可是链家，安居客这些地方都没有浦城的房产信息，后来在一个论坛里找到了还算比较活跃的房地产板块，于是以此为基础抓取信息。遇到的坑：1、论坛帖子式的帖子，格式不太规范2、信息中包含出售，出租import requestsfrom bs4 import BeautifulSoupwith open(r'c:\pc.csv','a',encoding='utf-8') as f: f.write('{},{},{},\n'.format('链接','更新时间'
2021-01-12 15:40:46
137
原创 使用爬虫抓取淘宝商品数据
没写完，跟着别人的教程写的from bs4 import BeautifulSoupimport timefrom selenium import webdriverfrom selenium.webdriver.support.ui import WebDriverWaitclass taobao_infos: def __init__(self): url = 'https://login.taobao.com/member/login.jhtml'
2021-01-10 21:10:56
1749
原创 爬虫：使用beautifulsoup和requests抓取链家数据之二：抓取所有房源
趁着元旦假期，总算把一直想做但一直没做的爬虫起了个头，上一篇写了爬虫的基础代码，这一篇，就是正儿八经开始抓所有的房子信息了。先说遇到的坑：1、按第一篇直接进二手房的链接，只有3000个房源，这已经提过了。2、房源里是没有房源位于哪个区的信息的，对数据分析而言，等于缺了一个重要信息，完全没法用了。3、原来的想法是在title这个class里面抓房源ID，但是发现有一些房源，在这里是没有房源ID的，必须另找。4、在跑的时候有报错，不知道是什么原因，直接暴力用try跳过去了。5、有很多车位信息，其实我
2021-01-03 23:20:54
499
原创 爬虫：使用beautifulsoup和requests抓取链家数据之一：基础代码
本办法只考虑抓取链家二手房100页的基础数据import requestsfrom bs4 import BeautifulSoupimport re# 链家的二手房基础页面只显示最多100页，每页30个房源的数据，也就是用这个办法，最多可以拿到3000家房源的数据page = 2 # 用于定义页数# 先打开一个csv文件，定义好标题，以备数据插入with open(r'c:\lianjia.csv','a') as f: f.write('{},{},{},{},{},{},{}
2021-01-02 00:14:22
619
2
原创 使用pandas将excel数据导入Mysql
有大概几百万行数据，每行40多列，要导入MYSQL，之前写了一个逐行读取的，但是速度偏慢，而且代码复杂，看着头晕，今天改用pandas进行读取写入，速度显著见快，而且代码极简洁。过程中也遇到了若干坑，会一一说明# 先要安装几个库 sqlalchemy, pandas,mysqlconnectorfrom sqlalchemy import create_engineimport pandas...
2020-03-29 11:51:39
1994
7
破解thinkcell时间限制
2019-08-18
福建各市区PPT地图
2019-01-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人