php爬虫 爬省市县

使用python获取国家省市区资料 文章仅写个人理解,错误之处望请指出,谢谢 ~ (≧▽≦)/ ~ 使用python获取国家省市区资料 写在前言 后端主要侧重的是思维思路,语言只是一种表达。本篇文章试图侧重于思路讲解。如果有什么描述模糊之处,望请留言提醒,一起共勉。 我主要使用php,python只是现学现用。主要想了解下python爬虫有多方便,事实证明,真香~~ 看正文前不妨先问问自己,爬取数据的本质是什么?爬取数据,主要需要做什么? 首先我们该去哪里获取数据? 这一步主要找到资源所在的网站即可。 去国家统计局搜索最终找到2020年最新 阅读详情

数据库的表结构:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

php 爬虫爬第一级:

 

<?php
$con =mysql_connect("127.0.0.1:3306","root","root");
if (!$con)
  {
  die('Could not connect: ' . mysql_error());
  }
  mysql_select_db("fruitdb", $con);
$url="http://res.42du.cn/region/init";
$content=file_get_contents($url);
//$contents=iconv("UTF-8","GB2312",$content);
$citys=json_decode($content,true);
foreach($citys as $key=>$v)
{
	foreach($v as $vkey=>$k)
	{
		$id = iconv("utf-8","gb2312//IGNORE",$k["re_code"]);
		$re_name = iconv("utf-8","gb2312//IGNORE",$k["re_name"]);
		$re_parent = iconv("utf-8","gb2312//IGNORE",$k["re_parent"]);
		//echo iconv("UTF-8","GB2312",$k["re_code"]." ".$k["re_name"]." ".$k["re_parent"]);
		$sql="INSERT INTO t_zd_region (id, re_name, re_parent) VALUES
('$id','$re_name','$re_parent')";
if (!mysql_query($sql,$con))
  {
  die('Error: ' . mysql_error());
  }
echo "1 record added";
		//echo iconv("UTF-8","GB2312",$k["re_code"]." ".$k["re_name"]." ".$k["re_parent"]);
		echo "<br>";
	}
}

mysql_close($con);
//var_dump($citys);
?>

爬虫爬二三四级:

<?php
$con =mysql_connect("192.168.1.26:3306","root","root");
if (!$con)
  {
  die('Could not connect: ' . mysql_error());
  }
  mysql_select_db("fruitdb", $con);
$sql="select * from t_zd_region where length(id)=4";

if (!mysql_query($sql,$con))
  {
  die('Error: ' . mysql_error());
  }
	$result = mysql_query($sql);
	//$arr=mysql_fetch_row($result);
	
	  $arr = array ();
            $row = mysql_fetch_assoc ( $result );
            while ($row) {
                $arr [] = $row;
                $row = mysql_fetch_assoc ( $result );
			    //echo $row['Id'];
				$url="http://res.42du.cn/region/city/".$row['Id']."";
				$content=file_get_contents($url);
				$contents=iconv("UTF-8","GBK",$content);
				$citys=json_decode($content,true);
				//var_dump($contents);
				foreach($citys as $key=>$v)
					{
					foreach($v as $vkey=>$k)
						{
					$id = iconv("utf-8","GBK//IGNORE",$k["re_code"]);
					$re_name = iconv("utf-8","GBK//IGNORE",$k["re_name"]);
					$re_parent = iconv("utf-8","GBK//IGNORE",$k["re_parent"]);
					$sql="INSERT INTO t_zd_region (id, re_name, re_parent) VALUES
					('$id','$re_name','$re_parent')";
						if (!mysql_query($sql,$con))
						 {

					 die('Error: ' . mysql_error());
					 continue;
							 }
						echo "1 record added";
						echo $id;
						echo $re_name;
						echo $re_parent;
						echo "<br>";
						}
					}
				echo "<br>";
			}

//$url="http://res.42du.cn/region/prov/"+$sqlid;
//$content=file_get_contents($url);

//$contents=iconv("UTF-8","GB2312",$content);
/*$citys=json_decode($content,true);
foreach($citys as $key=>$v)
{
	foreach($v as $vkey=>$k)
	{
		$id = iconv("utf-8","gb2312//IGNORE",$k["re_code"]);
		$re_name = iconv("utf-8","gb2312//IGNORE",$k["re_name"]);
		$re_parent = iconv("utf-8","gb2312//IGNORE",$k["re_parent"]);
		//echo iconv("UTF-8","GB2312",$k["re_code"]." ".$k["re_name"]." ".$k["re_parent"]);
		$sql="INSERT INTO t_zd_region (id, re_name, re_parent) VALUES
('$id','$re_name','$re_parent')";
if (!mysql_query($sql,$con))
  {
  die('Error: ' . mysql_error());
  }
echo "1 record added";
		//echo iconv("UTF-8","GB2312",$k["re_code"]." ".$k["re_name"]." ".$k["re_parent"]);
		echo "<br>";
	}
}*/

mysql_close($con);
//var_dump($citys);
?>

爬虫爬最后一级:

<?php
$con =mysql_connect("192.168.1.26:3306","root","root");
if (!$con)
  {
  die('Could not connect: ' . mysql_error());
  }
  mysql_select_db("fruitdb", $con);
$sql="select * from t_zd_region where length(id)=9";

if (!mysql_query($sql,$con))
  {
  die('Error: ' . mysql_error());
  }
	$result = mysql_query($sql);
	//$arr=mysql_fetch_row($result);
	
	  $arr = array ();
            $row = mysql_fetch_assoc ( $result );
            $a=0;
            while ($row) {
                $arr [] = $row;
                $row = mysql_fetch_assoc ( $result );
			    //echo $row['Id'];
				$url="http://res.42du.cn/region/".$row['Id']."";
				$content=file_get_contents($url);
				$contents=iconv("UTF-8","GBK",$content);
				$citys=json_decode($content,true);
				//var_dump($citys);
				foreach($citys as $key=>$v)
					{
						//echo($v["re_code"]);
					/*foreach($v as $vkey=>$k)
						{*/
					//	echo	$k["re_code"];
					$id = iconv("utf-8","GBK//IGNORE",$v["re_code"]);
					$re_name = iconv("utf-8","GBK//IGNORE",$v["re_name"]);
					$re_parent = iconv("utf-8","GBK//IGNORE",$v["re_parent"]);
				
					$sql="INSERT INTO t_zd_region (id, re_name, re_parent) VALUES
					('$id','$re_name','$re_parent')";
						if (!mysql_query($sql,$con))
						 {
					 //die('Error: ' . mysql_error());
					 $a++;
					 echo "aaa".$a;
					 echo "<br>";
					  continue;
							 }
						echo "1 record added";
						echo $id;
						echo $re_name;
						echo $re_parent;
						echo "<br>";
						/*}*/
					}
				echo "<br>";
			}

//$url="http://res.42du.cn/region/prov/"+$sqlid;
//$content=file_get_contents($url);

//$contents=iconv("UTF-8","GB2312",$content);
/*$citys=json_decode($content,true);
foreach($citys as $key=>$v)
{
	foreach($v as $vkey=>$k)
	{
		$id = iconv("utf-8","gb2312//IGNORE",$k["re_code"]);
		$re_name = iconv("utf-8","gb2312//IGNORE",$k["re_name"]);
		$re_parent = iconv("utf-8","gb2312//IGNORE",$k["re_parent"]);
		//echo iconv("UTF-8","GB2312",$k["re_code"]." ".$k["re_name"]." ".$k["re_parent"]);
		$sql="INSERT INTO t_zd_region (id, re_name, re_parent) VALUES
('$id','$re_name','$re_parent')";
if (!mysql_query($sql,$con))
  {
  die('Error: ' . mysql_error());
  }
echo "1 record added";
		//echo iconv("UTF-8","GB2312",$k["re_code"]." ".$k["re_name"]." ".$k["re_parent"]);
		echo "<br>";
	}
}*/

mysql_close($con);
//var_dump($citys);
?>

 

php省市区详细地址分离算法及省市区数据 资源包含省市区地址分离算法和省市区地址数据,需要省市区地址数据的朋友,直接去adsmsq.php文件中提取。 $Getads=new Getads(); $ar=$Getads->GetAllAddress("安徽省阜阳市颍上县南照镇六里村"); var_dump($ar); exit; 直接调用这个方法就能返回省市区和详细地址的字段。 省市区数据可以引用adssql.php文件,然后直接读取变量: $this->province_data = $province_data; $this->city_data = $city_data; $this->area_data = $area_data; 立即下载

相关推荐

京东商城省市区字典表2018最全版

京东商城,省市区字典表2018最全版本,包含建表脚本,下载解压即可使用。

PHP抓取全国省市区数据

感谢京东大哥的慷慨解囊 https://fts.jd.com/area/get?fid=4744 4744就是起始值,拿到的就是一级数据(全国各省的数据以及直辖市) 浏览器是经过编码的,unicode解码就可以看到数据,不过php不需要,直接就可以拿到数据 /** * [CAN_POST]. */ public function address() { set_time_limit(3600); $province = $this-&

阿拉斯加头头的博客 1454

抓取2018年国家统计局省市区街道数据(含编码ID)

从国家统计局抓取的省市区街道数据,包含区域代码,数据地址来源于:http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2018/index.html

全国省市区数据库(php文件数组版)

<?php return array ( 1 => array ( 'province_name' => '北京市', 'city' => array ( 1 => array ( 'city_name' => '市辖区', 'area' => array ( 1 =

zouhao619的专栏 1万+

从国家统计局抓取的地图省市区划代码和城划分代码(最新2018/10/24)

从国家统计局抓取的地图省市区划代码和城乡划分代码,`areaid` varchar(255) COLLATE utf8_unicode_ci NOT NULL, `area_name` varchar(255) COLLATE utf8_unicode_ci DEFAULT NULL, `fatherid` varchar(255) COLLATE utf8_unicode_ci DEFAULT NULL, `area_type` int(255) DEFAULT NULL COMMENT '区域代码:\\n100 :城镇,110:城区,111 :主城区,112 :城乡结合区,120 :镇区,121 :镇中心区,122:镇乡结合区,123:特殊区域200 :乡村,210:乡中心区,220:村庄\\n\\n', `is_delete` int(255) DEFAULT '0',

高德地图爬取全国省市区和部分街道

高德地图爬取全国省市区和部分街道信息2017年10月,文件为sql,电脑突然死机说以街道信息没有爬取全.省市区信息是完整的.

php获取全国最新省市区行政区划数据

首先打开网址http://www.stats.gov.cn/tjsj/tjbz/xzqhdm/201608/t20160809_1386477.html,这是国家统计局发布最新省市区行政区划代码,这是最全也是最权威的数据 然后把数据复制到txt文件中。比如我保存的是area.txt,对此文件进行以下操作,代码如下 $file = file('area.txt'); $files

chenbalala的博客 1万+

告别手动拍照!用Python+JAKA机械臂+D455相机实现全自动手眼标定(附完整代码)

本文详细介绍了如何利用Python脚本实现JAKA机械臂与Intel RealSense D455相机的全自动手眼标定流程,提供从硬件配置到代码实现的完整解决方案。通过自动化标定,显著提升工业自动化中的精度和效率,适用于机器人视觉领域的二次开发需求。

weixin_30555125的博客 527

PHP 获取国家、省、市、区及街道区域数据

地址:https://github.com/maxsky/taobao-area-php 分支 new 为全新获取方法,只需要 5 分钟,master 分支 fork 自 https://github.com/foxiswho/taobao-area-php,补上了街道地址 该分支执行效率略低,但支持 CSV。output 中的 area.sql 文件为目前最新,可直接食用。 根据淘宝开放平台获取国家、省、市、区数据,自动生成 SQL文件 根据淘宝物流接口获取第四级街道/乡镇地址 命令行执行 php ./

Right! I'm Max Sky. 2496

STM32驱动数码管:从硬件连接到动态显示实现

本文详细介绍了使用STM32单片机驱动数码管的完整流程,从硬件连接到软件实现。内容涵盖共阳/共阴数码管原理、GPIO配置、段码表生成,并重点解析了多位数码管动态显示的核心技术,包括动态扫描原理、消影处理及实战代码,帮助开发者快速掌握这一嵌入式开发基础技能。

p5l2m9n4o6q的博客 576

机载电脑与飞控串口通信(实测读取飞控IMU数据)《一、香橙派5max启动串口UART通信与飞控板通信,一次必通!》《二、allspark1与PIX6C通信踩坑及出坑》《三、orinnx载板与飞控通信》

机载电脑与飞控串口通信(实测读取飞控IMU数据)《一、香橙派5max启动串口UART通信与雷迅v5nano飞控板通信,一次必通!》《二、阿木机载电脑allspark1与PIX6C通信踩坑及出坑》,还有如何打开飞控串口以及如何提高飞控IMU频率。

2402_82745259的博客 3474

php制作行政区划数据表

在我们的开发过程中,很多时候都会用到城市联动的一些信息,网上的一些数据表有些又过于陈旧数据并不是很准确。 所以通过一些api来获取城市信息并处理父子级来保存然后定期进行更新 这样既使用方便也能保证数据的准确性 那怎样处理呢 首先我们要找一个合适的api 在多方的比较下最终我们选择了高德地图的行政区划api 链接 :https://lbs.amap.com/api/webservice/guide/...

割le动脉he脉动 414

学好超几何分布的核心公式,破解双色球!

彩票本质是概率游戏,不存在"必中公式"科学投注的核心是风险收益比管理长期投注的期望值始终为负(理论回报率约47%-63%)数学维度:运用概率工具优化策略经济维度:控制投注成本在可承受范围人文维度:将彩票视为社会公益的参与方式通过本文构建的数学模型,彩民可以在概率框架内实现更理性的投注决策。但最终能否收获幸运,仍取决于那个永恒的未知数——概率女神的眷顾。一、超几何分布的核心公式。

weixin_44904675的博客 1万+

java 省市县数据_Jsoup获取全国地区数据(省市县镇村)

最近手头在做一些东西,需要一个全国各地的地域数据,从省市区到县镇乡街道的。各种度娘,各种谷歌,都没找到一个完整的数据。最后功夫不负有心人,总算找到一份相对来说比较完整的数据,但是这里的数据也只是精确到镇级别,没有村一级的数据(后来通过分析数据源我知道了为什么,呵呵),在加上博主提供的有些数据存在冗余,对于有强迫症和追求完美的我,心想着我一定要自己动手去把这部分数据给爬取出来。上述博文中的内容还算丰...

weixin_42518480的博客 1972

[金仓数据库V8R6]更换授权

上传授权,使用mv license_xxx_0.dat /home/kingbase/KingbaseES/license.dat替换每个授权,并使用ls -l license.dat确保替换前后属主和权限不变。根据步骤1的数据目录位置,执行/home/kingbase/KingbaseES/Server/bin/sys_ctl -D /home/kingbase/KingbaseES/data reload使新的授权文件生效。该参数意义为授权剩余有效天数,查询结果为新授权中有效期间的天数即为替换成功。

l04050924的博客 3713

用C#完成最小二乘法拟合平面方程,再计算点到面的距离

【代码】用C#完成最小二乘法拟合平面方程,再计算点到面的距离。

MechMaster 649

python编程之制作省市县名称字典

在失踪儿童信息保存在本地之后,有一个字段是失踪地点,字段内容通常比较详细,具体到了失踪的街道或者村,我打算通过某种方法将失踪地点中的省、市、县/区三级地址提取出来。 确定分词技术 知道要干什么之后,那就将这个“某种方法”确定下来,根据以往的知识积累,利用分词的原理来做,可能会更简单。这次就不用php来写了,换成python,在我的电脑上已...

weixin_33877885的博客 1961

【毕设实战】基于YOLOv8的HRSC2016船舶智能检测系统开发全指南(含可视化UI界面,打造海事领域高分毕设)

亲爱的同学,通过这篇教程,你已经掌握了“基于YOLOv8的HRSC2016微小船只检测系统”从数据集处理、模型训练到Tkinter界面开发的全流程。这个课题既贴合“海事智能化”的产业战略,又涵盖了“目标检测、深度学习、界面开发”等多个毕设评分点,非常适合作为计算机或海事工程专业的毕业设计。在实践中,你可能会遇到“海面背景复杂导致船只漏检”“微小船只识别精度不足”“UI与模型推理同步卡顿”等挑战——别担心,这些都是技术成长的必经之路。

know_F0727的博客 132

java 省市县数据_使用Jsoup抓取全国地区数据(省市县镇村)

最近手头在做一些东西,需要一个全国各地的地域数据,从省市区到县镇乡街道的。各种度娘,各种谷歌,都没找到一个完整的数据。最后功夫不负有心人,总算找到一份相对来说比较完整的数据,但是这里的数据也只是精确到镇级别,没有村一级的数据(后来通过分析数据源我知道了为什么,呵呵),在加上博主提供的有些数据存在冗余,对于有强迫症和追求完美的我,心想着我一定要自己动手去把这部分数据给爬取出来。上述博文中的内容还算丰...

weixin_30783611的博客 525

MathType公式使用技巧汇总——Mathtype怎么在word中编辑公式?论文中公式有哪技巧?有哪些注意事项?论文中的公式怎么写?

如果word中到公式编号(2-1)中间的符号如下图........ .......类似与省略号的,这是手动打的空格,公式和编号的位置都是手动敲空格操作的,这种就只是使用MathType写了公式而已,格式上还是很不方便的。**如果要修改公示,直接双击文档中的公式,就会自动弹出MathType公式编辑窗口,进行修改。如果要修改公示,直接双击文档中的公式,就会自动弹出MathType公式编辑窗口,进行修改。而第二种,是公式里面带的括号符号,他是可以随着公式结构自适应变化的。这时需要将公式插入到一行文字的某处,

程序员,他们想的是什么?他们想的永远都是技术,他们崇尚的也永远都是技术。 5万+

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

suppo aaa 0.75-php,fastsupport-cn

README这是一个提供「全国省市县乡镇街道」数据的轮子试过了很多数据来源(国家统计局、网上其他开发者提供的json等),发现还是会有小部分省市有遗漏。这个包的数据是来自于京东,相对来说会更准确、详尽一些。内部自带京东「省市县乡镇街道」数据爬虫,用户可以自行运行爬取最新的「省市县乡镇街道」数据项目地址Composer 安装composer require aoxiang/province-city...

weixin_29128423的博客 1288

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

php 抓取中国统计局 最新县及县以上行政区划代码

起因:   前两天突然想找个省市县的行政代码库,发现网上要么不是最新的,要么要帐号,要积分,要钱。让人好烦,就写了这个脚本。 数据库结构: 1 CREATE TABLE IF NOT EXISTS `area` ( 2 `id` int(11) NOT NULL auto_increment, 3 `code` varchar(6) NOT NULL, 4 `n...

weixin_34220179的博客 206

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

Python爬虫笔记(一)正则表达式提取

认识Python网络爬虫 网络爬虫工作原理详解 网络爬虫常见类型与应用领域 正则表达式 批量爬取天善智能学院课程数据 认识Python网络爬虫 网络爬虫是一种互联网信息的自动化采集程序,主要作用是代替人工对 互联网中的数据进行自动采集与整理,以快速地、批量地获取目标数据 。 从技术手段来说,网络爬虫有多种实现方案,如PHP、Python(Urllib 、requests、scrapy、selenium…)… 但,网络爬虫的难点并不在于网络爬虫本身,而在于网页的分析与爬虫 的反爬攻克问题。 网...

风影楼的博客 1545

全国省市区java_Jsoup获取全国地区数据(省市县镇村)

最近手头在做一些东西,需要一个全国各地的地域数据,从省市区到县镇乡街道的。各种度娘,各种谷歌,都没找到一个完整的数据。最后功夫不负有心人,总算找到一份相对来说比较完整的数据,但是这里的数据也只是精确到镇级别,没有村一级的数据(后来通过分析数据源我知道了为什么,呵呵),在加上博主提供的有些数据存在冗余,对于有强迫症和追求完美的我,心想着我一定要自己动手去把这部分数据给爬取出来。上述博文中的内容还算丰...

weixin_30707165的博客 1464

ajax和php二级联动,jQuery+php+mysql,轻松实现ajax无刷新省市二级联动[多图]

jQuery+php+mysql,轻松实现ajax无刷新省市二级联动[多图]08-15栏目:技术TAG:zxfyzxfy用jQuery的ajax方法,结合PHP,轻松实现省市级的二级联动: https://www.jhua.org新建area.phpjhua.org $dbc=mysqli_connect("localhost","xxxx","xxxxxxxxxx","test") or die...

weixin_35540389的博客 272
上一篇: Error parsing Mapper XML. Cause: org.apache.ibatis.builder.BuilderException: Error resolving class.
下一篇: ssm 实现动态菜单 手动加入权限
ArchitectDream
博客等级 码龄9年 48粉丝 288原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值