地址标准化以及地址相似度计算

地址相似度计算 阅读详情
AI摘要

本文介绍了一个Python模块,用于实现地址的标准化处理及相似度计算。模块支持文本地址的解析与标准化,并能通过比较两个标准化后的地址计算其相似度。

地址标准化

该模块用于将不规范(或者连续)的文本地址进行尽可能的标准化, 以及对两个地址进行相似度的计算

注:
该模块为 IceMimosa/geocoding 项目的Python封装,原项目为Kotlin开发

为方便使用Python方法调用,这里使用Python的jpype模块将 IceMimosa/geocoding 进行封装

因此该模块需要Java环境的支持(需要添加JAVA_HOME等环境变量),下边给出新封装后的接口

  • 安装:pip install GeocodingCHN

地址标准化

Geocoding.normalizing(address)

  • address: 文本地址
from GeocodingCHN import Geocoding
text =  '山东青岛李沧区延川路116号绿城城园东区7号楼2单元802户'
address_nor = Geocoding.normalizing(text)
print(address_nor)
Address(
	provinceId=370000000000, province=山东省, 
	cityId=370200000000, city=青岛市, 
	districtId=370213000000, district=李沧区, 
	streetId=0, street=, 
	townId=0, town=, 
	villageId=0, village=, 
	road=延川路, 
	roadNum=116号, 
	buildingNum=7号楼2单元802户, 
	text=绿城城园东区
)

地址相似度计算

Geocoding.similarityWithResult(Address1, Address2)

  • Address1: 地址1, 由 Geocoding.normalizing 方法返回的 Address 类
  • Address2: 地址2, 由 Geocoding.normalizing 方法返回的 Address 类
from GeocodingCHN import Geocoding
text1 = '山东青岛李沧区延川路116号绿城城园东区7号楼2单元802户'
text2 = '山东青岛李沧区延川路绿城城园东区7-2-802'
Address_1 = Geocoding.normalizing(text1)
Address_2 = Geocoding.normalizing(text2)
similar = Geocoding.similarityWithResult(Address_1, Address_2)
print(similar)
0.9473309334313418

添加自定义地址

Geocoding.addRegionEntry(Id, parentId, name, RegionType, alias='')

  • Id: 地址的ID
  • parentId: 地址的父ID,必须存在
  • name: 地址的名称
  • RegionType: RegionType,地址类型,
  • alias: 地址的别名
from GeocodingCHN import Geocoding
Geocoding.addRegionEntry(1, 321200000000, "A街道", Geocoding.RegionType.Street)
test_address = Geocoding.normalizing("江苏泰州A街道")
Address(
	provinceId=320000000000, province=江苏省, 
	cityId=321200000000, city=泰州市, 
	districtId=321200000000, district=泰州市, 
	streetId=1, street=A街道, 
	townId=0, town=, 
	villageId=0, village=, 
	road=, 
	roadNum=, 
	buildingNum=, 
	text=
)

使用Python实现公司地址的(3-4级)标准化 这个博客的目的是实现公司地址的模糊匹配与3-4级标准化,也可以迁移到房产信息、电话号码之类的字段上。本来的应用场景是反团伙欺诈以及失联客户的修复,大概的意思就是说多个相同公司的同事都在我公司借贷的欺诈可能性要高于其他客户,以及造假的房产信息和电话号码可能不完全相同,但有一定的相似性,我们需要把这些客户找出来,但是又不能用精确匹配。因为存在问题的房产信息和电话可能只是相似,而不是完全相同;对于公司地... 阅读详情

相关推荐

nginx和proxy_protocol协议

本文详细介绍了nginx对proxy_protocol协议的支持,以及如何进行配置来开启proxy_protocol协议功能

一个致力于开源代码学习、分析和交流的博客 4425

IP

IPv4和IPv6的区别 IPv6 增强的关键是将 IP 地址空间从 32 位扩展到 128 位 IP地址的分类 IP地址编址方案将IP地址空间划分为A、B、C、D、E五类,其中A、B、C是基本类,D、E类作为多播和保留使用,为特殊地址 .注意各类地址中,如果剩余比特位全为0,则表示是广播地址。 A类地址:以0开头,第一个字节范围:0~127; B类地址:以10开头,第一个字节范围:128~191; C类地址:以110开头,第一个字节范围:192~223; D类地址:以1110开头,第一个字节范围为224~

jj89929665的博客 426

SDM量化噪声等效到PLL输出的传递函数推导

在历年文章或书本中少见SDM量化噪声等效到PLL输出的传递函数推导。需了解SDM量化噪声的本质,配合欧拉方程简化,并将Z域转化成S域。最终结合断环处等效到PLL输出的传递函数,方可完成。

u010486560的博客 1409

nginx代理 netty tcp服务端获取客户端真实IP

场景描述: netty tcp 服务端与客户端进行交互,之前采用服务器直连的方式,即: 客户端 -----------> 服务端(tcp) 此时服务端可以通过: ctx.channel().remoteAddress() 获取客户端IP进行相关的业务使用。 但是后续随着客户端增加,服务端就上来了,此时使用nginx代理的方式增加netty服务端数量一次来处理更多的连接数。 客户端 -----------> nginx --------------->服务端(tcp,多台部署.

K1215400017的博客 7236

服务器被矿工入侵记录

一次服务器被矿工入驻的处理记录

王瑞的技术专栏 1333

无参考图像质量评估方法:BRISQUE、RankIQA、DIQA

常用的图像质量评估(IQA)分为无参考和有参考两种类型。常见的有参考图像质量评估方法有PSNR,SSIM以及VMAF。其中vmaf是针对视频来讲的,在它的评价方法里面添加了一些时域信息,如果应用于单张图片,需要做一些处理,如去除时域信息。有参考意味着图像质量是以参考图为基准。基于参考图像都是高清图像的假设,这些评价方法已经广泛应用于图像压缩以及图像传输、拼接之类的处理后图像的质量,假如这张参考图的质量本身就比较渣,那么该评价指标可信度就大大降低。

weixin_51732791的博客 3191

【免费下载】 地理编码神器:GeoCoding —— 让地址标准化与相似度计算变得轻松简单

在日常的数据处理和应用开发中,我们经常遇到非规范化的地址信息,这些不标准的地址给我们的数据分析和管理带来诸多挑战。而 GeoCoding 这个开源项目正是为了解决这个问题,它能够将杂乱无章的文本地址转化为标准化的形式,并能计算地址之间的相似度,让地理位置信息的管理和分析变得更高效。 ## 项目介绍 GeoCoding 是一个强大的地址标准化和相似度计算工具,其目标是将连续或非标准的文本地址转换...

gitblog_00947的博客 1197

异次元发卡最新漏洞0day(XSS组合拳)

异次元商店头像上传处存在存储型XSS注入(user、admin均存在)。其中,user处有过滤,admin无。 将恶意脚本插入后,管理员访问用户管理页面即可执行恶意脚本。 恶意脚本执行后,会新增一个管理员用户,进而获得权限。鉴于漏洞还没有泛滥,而且很多站都有漏洞。EXP暂时不公开。需要学习可以加入知识星球

白昼小丑的博客 4593

Geocoding技术指南:从基础到进阶的地址处理实践

### 1.1 地址标准化(Address Normalization) 地理编码(Geocoding)的核心功能之一是将非结构化地址文本转换为标准化格式。该功能通过分词器对地址进行拆解,结合区域数据库进行匹配与校正,最终输出包含省、市、区、街道等层级的结构化数据。 **技术原理**:基于词典匹配与层级校验实现地址要素提取 **核心API调用示例**: ```java // 创建地理编码实例

gitblog_00297的博客 461

jetson orin nano 使用cuPCL

jetson开发板上使用pcl时,正常使用的是cpu,拖慢了整体的效率。cuPCL有一些库用于使用CUDA处理点云。

weixin_42256401的博客 1020

Huber损失函数中的阈值δ是如何确定的?

Huber损失函数通过阈值δ将误差划分为两部分:当误差小于等于δ时,采用平方损失(MSE),以保持对小误差的敏感性;当误差大于δ时,采用线性损失(MAE),以降低异常值对模型的影响。

百态·数智思维 | 聚焦大数据、量化与未来AI 1930

小白友好:无需AI基础玩转MGeo地址相似度计算

MGeo是一个专门用于处理地理文本的多模态预训练模型,由达摩院与高德联合研发。完全对齐(exact_match):两条地址完全相同或语义完全一致部分对齐(partial_match):两条地址指向同一区域但详细程度不同不对齐(no_match):两条地址指向不同地点举个例子:- "北京市海淀区中关村大街27号" 和 "中关村大街27号" → 完全对齐- "上海市静安区南京西路" 和 "静安区南京西路" → 部分对齐- "广州市天河区体育西路" 和 "深圳市福田区" → 不对齐。

EmeraldEagle36的博客 894

华为OD机试 - 去除多余空格(Python/JS/C/C++ 2024 E卷 100分)

本专栏收录于《华为OD机试真题(Python/JS/C/C++)》。刷的越多,抽中的概率越大,私信哪吒,备注华为OD,加入华为OD刷题交流群,每一题都有详细的答题思路、详细的代码注释、3个测试用例、为什么这道题采用XX算法、XX算法的适用场景,发现新题目,随时更新。去除文本多余空格,但不去除配对单引号之间的多余空格。给出关键词的起始和结束下标,去除多余空格后刷新关键词的起始和结束下标。条件约束:输入为两行字符串:第一行:待去除多余空格的文本,用例保证如果有单引号,则单引号成对出现,且单引号可能有多对。 第二

学Java,找哪吒 1216

MGeo地址标准化处理:非规范地址归一化匹配实战教程

本文介绍了如何在星图GPU平台上自动化部署MGeo地址相似度匹配实体对齐-中文-地址领域镜像,实现中文地址的智能标准化处理。该镜像的核心应用场景是,通过语义理解快速匹配和归一化用户输入的非规范地址,例如将“北京海淀中关村大街27号”与标准地址库进行对齐,有效提升电商、物流等领域的数据清洗与匹配效率。

weixin_34945060的博客 1028

【FPGA教程案例89】编译码2——使用vivado核实现RS信道编译码

RS编码,又称里所码,即Reed-solomon codes,是一种前向纠错的信道编码,对由校正过采样数据所产生的多项式有效。当接收器正确的收到足够的点后,它就可以恢复原来的多项式,即使接收到的多项式上有很多点被噪声干扰失真。

FPGA/MATLAB学习教程/源码/项目合作开发 3542

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

上市公司地址相似度计算&构建关系图谱

作者:凌岸小伍哥聊风控整理来源1: https://zhuanlan.zhihu.com/p/111203086来源2: https://zhuanlan.zhihu.com/p/459309174文末点击阅读原文跳转知乎,阅读作者更多精彩文章今天和各位小伙伴分析一个在搭建知识图谱的时候遇到的一个麻烦的问题。在构建知识图谱的图关系,基础的原始数据来自很多不同的数据...

weixin_36896856的博客 1469

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

【亲测免费】 开源项目Geocoding常见问题解决方案

Geocoding 是一个开源的地理编码技术项目,旨在将不规范或连续的文本地址进行标准化,并对两个地址进行相似度计算。项目主要分为地址标准库、地址标准化和相似度计算三个步骤。该项目主要用于处理和转换地址信息,以便于在地图服务和地理位置信息系统中使用。 主要编程语言:项目主要使用Java语言开发。 ## 2. 新手在使用这个项目时需特别注意的3个问题及解决步骤 ### 问题一:如何进行地址标准...

gitblog_00405的博客 571

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

揭秘物流行业黑科技:如何用预置镜像快速部署地址标准化服务

基于海量地址语料库训练,准确率高支持20多种地址成分识别内置正编码功能(地址转经纬度)模型规模适中,base版本即可满足大部分场景相比传统正则匹配,MGeo能更好地理解地址语义,处理"地下路上的学校"这类复杂表述。高达95%以上的地址识别准确率分钟级部署的标准化服务灵活可扩展的API接口持续优化的模型版本现在就可以拉取镜像试试效果,让你的订单系统告别地址混乱的烦恼。对于有特殊需求的场景,还可以基于开源模型进行微调,进一步提升在特定领域的表现。

RubyLion56的博客 686

2025最全面地理编码项目实战指南:从安装到企业级配置全解析

你是否还在为地址标准化混乱、地址相似度计算不准确而困扰?作为开发者,你是否需要一个高效可靠的地理编码工具来处理海量地址数据?本文将带你从零开始,全面掌握GitHub加速计划ge/geocoding项目的安装、配置与高级应用技巧,让你的地址处理能力提升10倍! 读完本文,你将能够: - 快速搭建地理编码开发环境 - 掌握地址标准化与相似度计算核心API - 定制化地址库以适应特殊业务需求 - 优化...

gitblog_01247的博客 806

毕业设计救星:用预装镜像快速完成地址标准化系统

创建自定义词典custom_dict.add_entries(["XX科技园", "YY创业大厦"])# 应用自定义词典通过预装镜像,我们快速搭建了地址标准化系统,实现了地址解析、相似度计算和批量处理等核心功能。这套方案特别适合时间紧迫的毕业设计场景。针对特定区域数据微调模型构建更复杂的地址匹配规则开发可视化交互界面现在就可以拉取镜像开始你的毕业设计之旅了!记住,好的工具加上清晰的思路,两周时间完全可以做出令人满意的成果。

OrangeWind56的博客 401

中文地址处理的终极方案:预装MGeo的云端开发环境

MGeo为中文地址处理提供了强大而便捷的解决方案。通过预装好的云端开发环境,即使是NLP新手也能快速搭建专业级的地址处理系统。实测表明,这套方案能有效提升政府历史地址数据的处理效率和质量。下一步你可以尝试:- 结合业务规则定制地址解析逻辑- 将处理流程封装为API服务- 探索MGeo在其他地理文本任务中的应用现在就去试试这个方案吧,相信它会让你的地址处理工作事半功倍!

AmberLeopard26的博客 584

地址数据治理全流程:从清洗到匹配的完整工具链

在企业数据治理工作中,地址数据是最常见也最令人头疼的"脏数据"类型之一。同一地址可能有多种表述方式(如"北京市海淀区中关村大街27号"和"北京海淀中关村大街27号"),而不同地址又可能因为打字错误或简称使用导致相似度过高。本文将分享一套完整的地址数据治理工具链,从原始脏地址清洗到最终标准化匹配的全流程解决方案。这类任务通常需要较强的NLP处理能力和计算资源,目前优快云算力平台提供了包含相关工具的预置环境,可快速部署验证。下面我将结合实战经验,详细介绍每个环节的技术实现和避坑指南。

MorganiteEagle55的博客 1040

MGeo中文地址处理:预配置环境下的高效开发

通过预配置的MGeo开发环境,团队可以快速构建统一的中文地址处理能力。物流行业的地址标准化政府部门的地址数据库建设LBS应用中的POI匹配下一步可以尝试:1. 接入自定义地址词典提升专业领域准确率2. 结合正则规则处理特殊地址格式3. 探索与其他地理信息系统的集成现在就可以拉取一个预配置环境试试效果,体验下统一开发环境带来的协作效率提升。对于中文地址处理这类强依赖NLP模型的任务,好的开发环境能让算法团队把精力集中在业务逻辑而非环境调试上。

IndigoNight21的博客 601

前沿应用:当MGeo遇到大语言模型的地址理解新范式

本文介绍了MGeo与大语言模型结合的地址处理新范式。MGeo提供了专业的地理语义理解能力LLM增强了系统的泛化能力和交互性两者的结合显著提升了地址处理的准确率未来可以探索的方向包括:- 结合视觉信息处理带有图片的地址(如门牌照片)- 构建端到端的地址知识图谱- 开发低资源消耗的轻量级模型现在就可以拉取镜像,尝试构建自己的地址处理系统。建议从简单的地址标准化任务开始,逐步扩展到更复杂的应用场景。

EmeraldWolf23的博客 533

从小白到专家:MGeo地址匹配的云端学习路径全指南

MGeo是一个融合了地理上下文(GC)与语义特征的多模态预训练模型,专门设计用于处理地理相关的自然语言任务。非标准化地址的识别与归一化(如"地下路上的学校"到标准地址)查询-兴趣点(POI)的精准匹配文本中地理位置的提取与结构化同时处理文本语义和地理空间关系支持多级行政区划的自动识别对口语化、简写地址有更好的容错能力special_terms = ["科技园区", "创业大厦", "数码港"] # 业务相关特殊名词# 使用自定义分词。

CrystalwaveHawk54的博客 769

跨界应用:当MGeo遇上房地产——地址智能解析案例

MGeo为房地产行业的地址处理提供了强大工具。快速部署地址解析服务批量处理非结构化房源数据建立标准化的地址数据库未来可以尝试将MGeo与知识图谱结合,构建更智能的房产信息平台。现在就可以拉取镜像,体验AI如何改变传统地址处理流程。在实际应用中,建议先在小规模数据上测试模型表现,再逐步扩大处理规模。

CitrineLion90的博客 724
上一篇: Win10 C盘空间释放
下一篇: Hadoop&Hive环境搭建(附以配置好环境的虚拟机下载链接)
评论 9
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值