- 博客(49)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 如何根据具体地址获取经纬度
根据具体地址获取经纬度通过python调用高德地图接口，返回经纬度代码如下：import xlrdimport requestsimport json# 设置路径path = './lj_distinct_data_analysis.xlsx'# 打开execlworkbook = xlrd.open_workbook(path)# 输出Excel文件中所有sheet的名字...
2019-07-02 13:21:13
5822
原创 【爬虫实战】01利用python爬虫并进行数据分析（链家 爬虫）
爬虫实战01——利用python爬虫并进行数据分析爬取链家二手房相关信息并进行数据分析 {https://sh.lianjia.com/ershoufang/pg}一、爬虫部分背景需求来源于生活大数据时代来临，数据就是核心，数据就是生产力，越来越多的企业开始注重收集用户数据,而爬虫技术是收集数据的一种重要手段python版本：3.6.5 ，系统环境是windows，工具包：requ...
2019-06-27 20:05:06
12990
16
原创 定时任务-使用一个无限循环来监控线程，并在线程掉线时重新启动它：
注意，这个监控逻辑假设您不需要保存线程的返回值或执行结果，并且只是简单地重新启动线程。如果您需要更复杂的错误恢复逻辑，可能需要进一步的修改。此外，监控线程使用了一个固定的60秒间隔来检查目标线程的状态，这个间隔可以根据您的具体需求进行调整。上一个版本的定时任务经常掉线，在这个版本中，我们添加了一个。函数，它负责监控传入的线程是否仍然存活。），则记录一条日志消息并重新启动线程。
2025-02-08 15:39:41
165
原创 搭建微信机器人的方式，免费开源，轻量高效（如需协助，可私聊）
"data": [{"content": "你好~"}, {"type": "fileUrl", "content": "https://download.samplelib.com/jpeg/sample-clouds-400x300.jpg?RECVD_MSG_API=http://129.150.39.xxx:3000/receive/：接收消息的 API 地址，实现处理接收消息的逻辑，如果你不想实现这个功能，可以不填，默认为空。下图显示已经登录，如果没登录，这里会出现二维码。想发送群聊信息怎么办？
2025-01-09 11:36:46
698
原创 关于人类&AI的小思考
PS:整理这些文字的时候，脑子里突然冒出“波点女王”几个字，这个名词还是三年前同事闲聊说起的名字，之前没听过，之后生活里再也没有出现过这个词，毕竟一点艺术细胞没有 ，也从没被推过，此刻我已经忘记了她的真实名字，刚还特意百度了一下，叫草间弥生，感觉还是有种，哦，有点熟悉的感觉，人类的潜意识海洋真的很妙哎，话说回来，波点女王的画我依旧欣赏不来。3、人类有自我意识，有群体思想和team力量，但是智能体不能有自我意识，交互之间也不能存在集体、群体的力量，不然这种涌现的力量人类根本招架不住；
2024-12-30 09:48:23
358
原创 python 打包应用小工具
不同于大公司，小公司没有那么多资源，只能通过频次交互以实现高频次的业务数据需求迭代，这样会导致业务、数据双方沟通成本大大增加，那有没有好的方式减少这种低效交互呢？.py文件打包好了之后，相应的目录下会多出这两个文件夹，其中dist文件夹里面有相应打包好了的.exe文件，我们只需要把相关.exe文件发送给业务就好了。业务在需要更新线下excel表格的时候直接点击运行.exe文件就可以完成数据的更新和相关报表的更新就可以啦~业务需要根据不定期更新线下数据（频次高），并于数据库业务数据进行交互，展示可视化报表。
2024-12-29 10:20:49
166
原创 sql中case when若条件重复 执行的顺序
（2）首次匹配：一旦遇到一个条件为真的 WHEN 子句，SQL 将返回对应的 THEN 后面的结果，并立即停止评估其他 WHEN 子句。即使后续的 WHEN 子句条件也满足，也不会被考虑。（3）不处理重复：如果有多个 WHEN 子句的条件相同或重叠，只有第一个匹配的条件会被执行。后续具有相同条件的 WHEN 子句将被忽略。（1）从上到下：SQL 引擎会按照 CASE 表达式中 WHEN 子句出现的顺序，从上到下依次检查每个条件。sql case when若条件重复 执行的顺序。
2024-12-17 16:39:25
601
原创 如何正确使用re.split()
同时使用"、，,："等多个字符分割字符串，需要使用re.split(r'[,：]',text)，而text.split(r'[，：:]')无效；
2024-12-17 16:37:48
192
原创 时间序列处理
# -*- coding: utf-8 -*-"""Created on Sun Mar 27 22:56:24 2022@author: wuxian"""import pandas as pdimport datetimeimport numpy as np(datetime.date.today()).strftime('%Y-%m-%d')#H:小时 D:天 M:月#times #2016 Jul 7/1/2016 2016-07-01 2016/07/01pd.date
2022-04-28 18:21:52
406
原创 collections部分模块使用方法
from collections import Counterfrom collections import Counters = "hello-python-hello-world"a = Counter(s)print(a)# 结果 Counter({'-': 3, 'd': 1, 'e': 2, 'h': 3, 'l': 5, 'n': 1, 'o': 4, 'p': 1, 'r': 1, 't': 1, 'w': 1, 'y': 1})dict(a)#对键或者值排序 用sorted
2022-04-28 16:39:05
248
原创 python中两个字符串日期如何相减，并利用apply()处理df自定义函数
# -*- coding: utf-8 -*-"""Created on Mon Apr 12 14:04:48 2021@author: wuxian"""from datetime import datetimedef date_diff(start_date,end_date): format_pattern = "%Y-%m-%d" # 将 'str' 时间通过格式化模式转化为 'datetime.datetime' 时间戳, 然后再进行比较 differenc
2021-04-12 14:33:50
2159
2
原创 分别用mysql，python查询日期期间连续天数，并求出最大连续天数
1、 首先给出表结构：给出两种处理方法：第一种利用参数解决：set @a := (SELECT max(日期) FROM `sheet1`);set @b :=1;set @c :=1;SELECT riqi 区间最小日期,DATE_ADD(riqi,INTERVAL rank-1 day) 区间最大日期,rank '连续区间的天数' from(SELECT @b :=if(DATEDIFF(@a,日期)=1,@b+1,1) as rank,@a:=日期 as 'riqi'from
2021-04-10 14:46:09
1241
2
原创 python读取.csv 大文件的解决办法（iterator=true）
import pandas as pdimport datetimeimport warningswarnings.filterwarnings('ignore')#数据导入#调查日期today = datetime.date.today() searchdate = datetime.datetime.strftime(today, "%Y-%m-%d") path = r'C...
2020-04-04 17:38:21
3924
1
原创 mysql8.0之caching_sha2_password
dos命令环境下可以正常进入环境，但是navicat 环境下登入本地服务器的时候，出现caching_sha2_password报错该异常原因是：在mysql8之前的版本使用的密码加密规则是mysql_native_password，但是在mysql8则是caching_sha2_password。解决方案：一、创建了一个新用户，并指定加密规则为mysql_native_password：...
2020-03-24 12:53:33
461
原创 python pip升级出错的解决办法
1、升级pip的常规操作python -m pip install --upgrade pip 又或者pip install -U pip结果依旧是报错结果想到卸载重新安装，但是结果依旧是较低版本的python -m pip uninstall pippython -m ensurepip --default-pippip --version结果试了,it works!eas...
2020-03-21 13:31:44
238
原创 关于在安装navicate中出现10061问题、2059问题的解决办法
1、出现10061问题在安装完navicate连接localhost时出现10061错误，如下图所示，也就是说mysql没有起来，百度方法一：通过任务管理器将mysql启动，但在尝试过程中无效；后发现是由于之前已经装过本地服务器（很久之前装的，老版本没有卸载干净），但是由于版本过低，导致服务启动失败，于是卸载本地数据库，重新安装；1、在cmd命令窗口执行命令： sc delete mys...
2020-02-22 20:16:10
1153
原创 将多个sheet合并成一个sheet导出，将多个dataframe导出至多个sheet
# -*- coding: utf-8 -*-"""Created on Mon Jan 20 13:02:27 2020@author: twx253"""import xlrdimport pandas as pdfrom pandas import DataFramefrom openpyxl import load_workbookexcel_name = 'C:...
2020-01-20 13:54:12
882
原创 百度图片爬虫demo
# -*- coding: utf-8 -*-"""Created on Wed Dec 11 17:27:29 2019@author: wuxian"""# -*- coding: utf-8 -*- import jsonimport itertoolsimport urllibimport requestsimport osimport reimport sys...
2019-12-30 14:22:27
136
原创 利用selenium实现动态网页的爬取
import refrom selenium import webdriverfrom selenium.webdriver.chrome.options import Options# 通过获取关键字职位数量def numberPositionsByKeyword(searchWord): # 创建chrome参数对象 chrome_options = Options(...
2019-12-26 16:27:14
382
原创 mysql实现日期补全功能
在接需求的时候我们可能会遇到，某月某日日期缺失的情况，但是需求方会要求把缺失日期补全，可以通过参数解决这个问题set @a := -1;set @days:= (SELECT DATEDIFF(max(create_date),min(create_date)) datediff FROM `alibaba_bi`);set @firdate:= (SELECT min(create_dat...
2019-09-24 20:33:16
714
原创 如何正确将python的DataFrame格式数据导入到mysql数据库
如何正确将DataFrame格式数据导入到mysql数据库读取数据库的操作和将数据写入到数据库还是有点不一样的将DataFrame格式数据导入到mysql数据库，采用create_engine（）方法：from sqlalchemy import create_engine# create_engine('mysql+pymysql://用户名:密码@主机/库名?charset=utf8'...
2019-09-23 18:19:54
9589
4
原创 python基本语法练习
# -*- coding: utf-8 -*-"""Created on Tue Jun 11 14:27:05 2019@author: wuxian"""list6 = [1,5,2,8,10,13,17,4,6]result = []for i in list6: y = i ** 2 + 1 result.append(y)print(result)...
2019-09-22 17:40:30
241
原创 收入预测分析_practice
"""Created on Tue Jun 4 17:40:28 2019@author: wuxian"""import pandas as pdimport numpy as npimport seaborn as snsimport matplotlib.pyplot as plt##数据读取income = pd.read_excel(r'C:\Users\wuxia...
2019-09-22 17:38:26
355
原创 【机器学习实战】8_dimensionality_reduction代码《Hands-On Machine Learning with Scikit-Learn&TensorFlow》
降维（主成分分析和因子分析）# -*- coding: utf-8 -*-"""Created on Fri Feb 1 16:21:14 2019@author: Administrator"""import matplotlib.pyplot as pltimport osimport numpy as npPROJECT_ROOT_DIR = 'E:\wuxian ...
2019-09-22 17:34:28
217
原创 【机器学习实战】9_deeplearning《Hands-On Machine Learning with Scikit-Learn&TensorFlow》
深入学习入门# -*- coding: utf-8 -*-"""Created on Tue Feb 12 17:33:43 2019@author: Administrator"""# To support both python 2 and python 3from __future__ import division, print_function, unicode_lit...
2019-09-22 17:30:56
222
原创 【机器学习实战】7_集成学习_随机森林代码《Hands-On Machine Learning with Scikit-Learn&TensorFlow》
集成学习_随机森林# -*- coding: utf-8 -*-"""Created on Wed Jan 30 10:02:50 2019@author: Administrator"""import matplotlib.pyplot as pltimport osimport numpy as npPROJECT_ROOT_DIR = 'E:\wuxian python...
2019-09-22 17:28:06
258
原创 【机器学习实战】6_decision_trees代码《Hands-On Machine Learning with Scikit-Learn&TensorFlow》
decision_trees(iris_dataset)# -*- coding: utf-8 -*-"""Created on Mon Jan 28 15:35:48 2019@author: Administrator"""from sklearn.datasets import load_irisfrom sklearn.tree import DecisionTreeCl...
2019-09-22 17:10:34
280
原创 【机器学习实战】5_SVM代码《Hands-On Machine Learning with Scikit-Learn&TensorFlow》
SVM# -*- coding: utf-8 -*-"""Created on Wed Jan 16 16:30:13 2019@author: Administrator"""from sklearn.svm import SVCfrom sklearn import datasetsimport numpy as npimport matplotlib.pyplot as...
2019-09-22 17:05:12
270
原创 【机器学习实战】4_Training_Linear_Model代码《Hands-On Machine Learning with Scikit-Learn&TensorFlow》
训练线性模型# -*- coding: utf-8 -*-"""Created on Mon Jan 7 19:32:56 2019@author: Administrator"""'''Linear regression using the Normal Equation'''# =================================================...
2019-09-22 17:02:56
222
原创 【机器学习实战】3_Classification代码《Hands-On Machine Learning with Scikit-Learn&TensorFlow》
手写数字图片分类# -*- coding: utf-8 -*-"""Created on Tue Dec 25 13:43:39 2018@author: Administrator"""#from sklearn.datasets import fetch_mldataimport numpy as npimport scipy.io as ioimport osimpor...
2019-09-22 16:59:18
396
原创 python实战-echarts-关系型图（无向图）可视化
# -*- coding: utf-8 -*-"""Created on Wed Jul 17 18:32:43 2019@author: wuxian"""from pyecharts import Graph nodes = [{"name": "结点1", "symbolSize": 1}, {"name": "结点2", "symbolSize": 2...
2019-07-25 15:09:43
2534
原创 git 常用指令
pwd //查看路径cd d:/jupiter/ //更改文件路径git status //查看仓管文件更改情况git clone https://gitee.com/twx253/GoodFish.git //克隆一个本地库git add 文件 //将文件添加到暂存区git add . //将所有修添加到暂存区git commit -m '注释' //将暂存区的修改...
2019-07-17 12:16:24
140
转载 【爬虫实战】【微信】如何利用python爬取APP评论-本文以ios爬取微信评论
# -*- coding: utf-8 -*-"""Created on Tue Jul 2 16:26:50 2019@author: wuxian"""#完整程序如下：import requestsimport redef getHTMLText(url): try: r = requests.get(url) r.raise_f...
2019-07-16 10:08:48
1119
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人