何加焉的博客

原创 NOAA（美国海洋和大气管理局）气象数据获取与POI点数据获取

NOAA（美国海洋和大气管理局）提供GHCND（全球历史气候学网络）月度摘要数据库，可以满足全球陆地区域历史月度温度，降水和降雪记录的研究需求。GHCND月度摘要数据库数据源自GHCN-Daily数据库，经过质量审查与二次加工制成，主要包含18个气象要素，包括温度（每月平均值和极端值），降水（每月总数，极端值和满足各种数量阈值的天数），降雪，最大雪深等。GHCND月度摘要数据库与它对应的每日数...

原创 win环境下python3操作中文PDF文件提取中文信息

https://github.com/pdfminer/pdfminer.six下载后解压文件由于处理中文文件，需要预编译要处理CJK语言，请在运行setup.py install之前执行以下操作：mkdir pdfminer\cmappython tools\conv_cmap.py -c B5=cp950 -c UniCNS-UTF8=utf-8 pdfmin...

原创 台风灾害舆情社区划分与地理分析

原创 数据挖掘算法研究与地理可视化

原创 网络爬虫数据采集之旅

原创 武汉大学十佳教师投票

application/json;charset=UTF-8post请求有两种请求格式：1、key-value的格式’Content-Type’:‘application/x-www-form-urlencoded’2、标准json的格式：‘Content-Type’:‘application/json’200 成功处理了请求，一般情况下都是返回此状态码；import urll...

原创 解决撰写毕业论文时知网空格处理与中英字符串转化

using System;using System.Collections.Generic;using System.ComponentModel;using System.Data;using System.Drawing;using System.Linq;using System.Text;using System.Threading.Tasks;using System.W...

原创 AE10.2与C#2012开发

此实例是以ArcEngine为平台，在Visual C#的集成开发环境下进行开发的一个简单实例。目的是让大家初步了解二次开发的大致过程。此实例要求达到的功能是：搭建系统的基本框架，实现地图控件（MapControl)、工具栏控件(ToolbarControl)、图层管理控件(TocControl)之间的交互操作，同时实现地图加载、全屏显示、放大、缩小、漫游等基本的GIS功能。 2.1 代码展示

原创 基于百万微博数据进行洪涝灾害反演推理

台风杜苏芮是近几年以来对我国影响最大的台风灾害，虽然防守最严密的是登陆地点的沿海居民，实际上产生影响最大的却是京津冀一带，北京市本次降雨量为140年以来最大。我们以'暴雨', '强降雨', '洪水', '内涝', '山洪', '水灾', '灾害性降雨', '降雨量', '暴雨警报', '雨水', '雨情', '防汛', '抗洪', '灾情', '气象预警', '天气灾害', '险情', '险情预警', '险情发布', '险情汇报'等灾害关键字，检索周边的相关灾害社交媒体内容，来感知洪涝事件的时空热度。

原创 Torch生成类激活图CAM

【代码】Torch生成类激活图CAM。

原创 城市微博签到数据分享&地址解码与纠偏教程

这样处理还有一点小的缺点，因为百度API的准确度并不能达到100%，如果遇见异常值，使用address而不是location字段应该会避免一些问题（使用天目山路518号东南方向160米而不是神游），当然如果地址过于模糊，如（杭州）这样就没办法啦。可以看到这里的lng与lat值为0，不要担心，只是我抓取的时候为了避免网络错误，避免因秘钥超出配额引发的各种各样的错误特意设置的。之前几期我们介绍过微博数据的获取，大概获取为下图所示的json数据。分别是用户的ID，经纬度，转发数，终端设备，地址描述，性别等信息。

原创 处理json和dataframe转化

最近在处理微博数据时遇到了json转化csv换行的问题，记录一下。

原创 大量包含换行符的dataframe如何保存

问chatgpt的答案，记录一下。

原创 pkl来存储python字典

字典保存记录一下。

原创 ChatGPT到底是个啥？它会让我们失业么？

谈起AI届，几家大公司是无论如何都不能不提及的，谷歌的GoogleX与DeepMind (下围棋那个)、Meta的FAIR (Resnet提出者恺明所就职的)、OpenAI (搞大模型的领先公司，代表作是GPT，对标谷歌的Bert)、亚马逊 (中国AI研究生的实际导师李沐大神曾经供职的公司) 以及微软 (亚洲研究院鼎鼎大名)。自从Attention Is All You Need这篇引用超过接近6万(本菜鸡学术生涯能有十分之一就心满意足了)的神文刊出后，直接引爆了AI新范式的研究。该文章提出了一种新的简单网

原创 哪个城市是中国的经济人口重心？

真的是地理可视化中很棒的图，公元1000年（北宋时期）世界经济的重心在亚洲，请注意重心所在地并非最发达的区域，假设北京与广州拥有全国大部分经济活动，我们把这两个城市想象为跷跷板的两头，重心恰恰是距离经济活动中心最远的地方。显示出中国经济的南强北弱，东高西低的分布差异。而无论是经济层面还是人口层面，中国最偏远的城市都是克孜勒苏柯尔克孜州，中国西极实际上也在该州，从卫星影像上可以看到无尽的戈壁与茫茫的雪山，新疆最重要的两座大山，昆仑山和天山在这里交汇，所以这里也是新疆重要的地理分界处。（部分图片来自网络）

原创 基于python的文书网网络爬虫代码以及数据

裁判文书python爬虫以及数据获取

原创 City2vec：一种学习人口迁徙网络知识的新方法

今天给大家分享一篇最新录用在SCS（可持续城市与社会）上的文章，这个期刊主要关注城市的能源与建筑，也有很多GIS相关的如街景，健康分析，城市光伏能源的有趣应用，文末有对应的手稿分享。SCS期刊信息这篇文章是2020年的寒假开始收集数据，当初在床上躺着刷手机，无意中看到了腾讯地图数据提供了手机号码字段，这种数据不仅可以为商业营销有帮助（因为有POI所有者的营业类型，可以做商业的精准推送，也应用到了手机接听电话来识别出电话所有者），也在GIS的人口流动中具有应用潜力，连夜赶紧把全国的数据下载下来，大概有8,00

转载 将pytorch版本的Bert转为TF

# merge: 合并数据集， 通过left， right确定连接字段，默认是两个数据集相同的字段# 参数 说明# left 参与合并的左侧DataFrame# right 参与合并的右侧DataFrame# how 连接方式：‘inner’（默认，内连接）；还有，‘outer’（全连接）、‘left’（左连接）、‘right’（右连接）# on 用于连接的列名，必须同时存在于左右两个DataFrame对象中，如果位指定，则以left和right列名的交集作为连接键# left_on 左侧Da.

原创 一种从文本语义信息中抽取地理属性的社会感知新方法（内附公众号）

一篇增粉文：请大家关注我的公众号，文末可以扫码：协同感知与知识服务不定期推送GIS相关的研究，也可以与我交流。给大家分享一篇最新录用在CEUS的一篇文章。这篇文章的灵感来源于博士入学前的暑假，因为疫情原因延迟开学，在家里收集了疫情期间的新浪微博数据，想着能不能做一些工作可以让GIS在这场与疫情的战役中体现价值。我整理收集好的数据，有着林林种种的观点表达，映射世间百态，既有对国家抗疫政策以及医护人员的力挺，也有很多对疫情期间各种事件的评论，许多医疗资源的求助信息也包含其中。作为一个GISer，我

原创 latex小红心

\begin{table}[!htbp] \centering \caption{} \label{} \setlength{\tabcolsep}{0.6mm} \begin{tabular}{@{}ccccccccccccc@{}} \toprule City & Pop & Light & \begin{tabular}[c]{@{}c@{}}Water\\ Supply\end{tabular} & \begin{tabular}[c]{@{

原创 Neo图数据库与python交互

# -*- coding: UTF-8 -*-__author__ = 'zy'__time__ = '2020/12/29 11:18'# coding:utf-8from py2neo import Graph, Node, Relationship##连接neo4j数据库，输入地址、用户名、密码graph = Graph('http://39.97.100.242:7474', username='neo4j', password='neo4j/mysql')##创建结点tes.

原创 根据电话号码获取归属地

from phone import Phonedef getlocation(num): if ';' in num: nums=num.split(';') for i in nums: if len(str(i))==11: try: info=Phone().find(i) city = info['city'] .

原创 R绘制相关性图

library(corrgram)install.packages("corrgram")library(corrplot)M <- cor(mtcars)col1 <- colorRampPalette(c("#7F0000", "red", "#FF7F00", "yellow", "white", "cyan", "#007FFF", "blue","#00007F"))col2 <- colorRampPalette.

转载 R语言绘制环形图，不停的增加半轴

R语言

原创 X轴间隔显示-长江水位

import matplotlib.pyplot as pltplt.style.use('ggplot')fig =plt.figure(figsize=(15,5)) #图像大小 figsize=(13,5)ax = fig.add_subplot(111)ax.plot(x, y, ls=":", marker='+',markersize=5,label = 'Tweets')ax.plot(x, y1, ls="-.", marker='.',markersize=5,label .

原创 绘制分组图+还可以组内对比

```r# 加载包 ---------------------------------------------------------------------library(tidyverse)install.packages('ragg')library(ragg)# 创建一个数据 ------------------------------------------------------------------data <- data.frame( individu.

原创 R语言相关性绘图

library('corrplot')fivecolcolnames(fivecol) <- c( 'D0','D1','D2','D3','D4','D5','D6','D7','D8','D9') matrix <- cor (fivecol)#直接画图，不设置其它参数corrplot(corr=matrix)corrplot(matrix, p.mat = res1$p, tl.pos = "d",type ="lower",insig = "label_sig",.

原创 R语言绘图，绘制小提琴图加Anova

ggplot(MG_RAST_NocrAss, aes(x=feature, y=log10(rel_res))) + geom_boxplot(aes(fill=feature)) + theme_minimal()+ theme(axis.text.x=element_text(angle=45, hjust=1, size=10), legend.position = "none") + labs(y = "Normalized ARG abundance", x=.

原创 TFIDF与scikitlearin的LDA代码，进行主体聚类，为每个句子打标签

# -*- coding: utf-8 -*-import jiebajieba.suggest_freq('沙瑞金', True)jieba.suggest_freq('易学习', True)jieba.suggest_freq('王大路', True)jieba.suggest_freq('京州', True)jieba.suggest_freq('桓温', True)#cors=[]files=['1.txt','2.txt','3.txt']for i in files:

原创 搜狗词库转txt

#!/usr/bin/env python# _*_ coding:utf-8 _*_## @Version : 1.0# @Time : 2018/8/17# @Author : 圈圈烃# @File : scel2txt.py# @Description: 将搜狗的词库.scel文件转化为.txt文件# 本人在之前作者的基础上进行了部分修改# 添加了单个文件转化函数single_file()# 添加了多个文件转化函数batch_file()# https://blo.

原创 搜狗词库爬虫

#!/usr/bin/env python # _*_ coding:utf-8 _*_ # # @Version : 1.0 # @Time : 2018/9/10# @Author : 圈圈烃# @File : Sougou_Spider# @Description: 搜狗词库爬虫##from bs4 import BeautifulSoupfrom urllib.parse import unquoteimport requestsimport re.

原创 抓取武汉市空气质量

# -*- coding: UTF-8 -*-__author__ = 'zy'__time__ = '2020/10/10 19:06'import requestsimport json,timeimport sqlite3def trans(cursor): wh="https://restapi.amap.com/v3/airquality/aqilist?key=f0f577c0b97d416f142fed74e8bbd3d7&zoom=11&bound.

原创 建立共词网络

#coding:utf-8import numpy as npfrom scipy import integrateimport pandas as pd# In[ ]:import jiebafrom collections import Counter#esult=Counter=# top_1000=result.most_common(1000)# top=[]# for i in top_1000:# print(i[0])# length=len(i.

原创 模型加载分类标准

import numpy as npfrom keras.models import load_modelfrom sklearn.utils import shuffleimport keras.backend as Kfrom keras import Sequentialfrom keras.layers import Denseimport numpy as npdef getPrecision(y_true, y_pred): TP = K.sum(K.round(K..

转载 cesium酷炫插图

<!-- Dynamic Point-Line--><!DOCTYPE html><html lang="en"><head> <meta charset="utf-8"> <meta http-equiv="X-UA-Compatible" content="IE=Edge,chrome=1"> <meta name="viewport" content="width=device-wi.

原创 R语言绘图开帖

A <- A[,-2]A[,-3]这也太人性化了，符号就代表相减。O<-cor(delnan)corrplot.mixed(O, lower = "number", upper = "circle", tl.col = "black",lower.col = "black", number.cex = 1) var.test(X,Y,conf.level = 0.95) F test to compare two variancesdata: X and YF = 1.2

原创 运维日记

1、migrate次数过多https://blog.youkuaiyun.com/cf313995/article/details/843421872、uwsgi报错链接库https://www.cnblogs.com/dbf-/p/11031910.html3、安装mysqlclient4、mysql初始化

原创 服务器运维

systemctl stop iptables今天服务器显示一直有防火墙拦截sudo systemctl stop firewalld.service && sudo systemctl disable firewalld.service执行关闭命令后，在青云后端进行了防火墙的修改，绑定

原创 Keras预测 包括判断方法

import numpy as npfrom keras.models import load_modelfrom sklearn.utils import shuffleimport keras.backend as Kfrom keras import Sequentialfrom keras.layers import Denseimport numpy as npdef getPrecision(y_true, y_pred): TP = K.sum(K.round(K..