一个使用C#和ArcPy实现的版本压缩工具（一）

最新推荐文章于 2021-07-27 15:59:22 发布
原创 最新推荐文章于 2021-07-27 15:59:22 发布 · 530 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#ArcGIS #版本 #压缩 #ArcPy #增量表

本文探讨了ArcGIS版本化数据管理中版本压缩的重要性及其实现方式。详细介绍了传统做法的局限性，以及如何通过ArcPy和C#开发更高效、自动化的版本压缩功能，包括手动、自动和彻底三种模式，旨在提升数据处理效率和用户体验。

目录

ArcGIS版本压缩功能设计与开发

ArcGIS版本化数据管理机制中，增量数据最初是保存在 增量表 即A表和D表中的。当我们压缩版本时，增量表中的数据才会进入到基表（对归档后的数据而言，实质上是视图，只不过给用户的感觉还是一个数据表）。

传统做法

我们固然可以使用ArcGIS Engine去实现版本压缩功能，ArcGIS Engine也提供了相应的接口。
在版本化数据更新流程中，我们去创建一个子版本，将数据更新提交到子版本中，确认无误后可以进行版本协调，解决冲突，完成数据更新过程。子版本不再需要时，可以将其删除。
久而久之，随着更新的数据越来越多，增量表变得越来越大，版本世系表中也会保存越来越多的更新记录，导致进行浏览和编辑的速度越来越慢。性能下降，对用户而言，就是体验不好。
此时，一个行之有效的解决办法是进行版本压缩，将增量表中的记录压缩到基表中。最理想的压缩结果是增量表是记录为0，版本世系表中也只保留一条DEFAULT版本的记录。
如果不进行数据压缩，或压缩进行得不彻底，性能方面的问题可能将会一直存在。
基于ArcGIS Engine去开发版本压缩功能，是一种可行的方案。但是，考虑到以下几点：

  1. 版本压缩一般是在服务器端进行的，不需要客户端去看或取得操作结果
  2. 彻底的版本压缩一般是在非使用时段进行的，可以设置其定时执行
  3. 普通的版本压缩，应当在每次更新数据完成后自动执行，而非当增量表已经太大时执行
  4. 版本压缩过程一般需要伴协调更新数据、删除子版本、重建空间索引、分析数据集等操作
  5. ArcGIS Engine开发代码行数较多，且受ArcGIS产品版本影响较大
  6. 服务器端一般都会安装ArcGIS，且自带Python解释器和ArcPy开发包

我们认为，使用ArcGIS Engine开发，不如使用ArcPy更佳。且该功能应当能够以某种服务的方式，提供给客户端调用。

预期功能

  • 手动版本压缩，提供普通、自动、彻底三种模式
  • 定时执行，可设置启动时间，触发执行，且支持重复
  • 触发启动，可接收客户端传来的压缩命令，立刻启动压缩进程
  • 压缩前要进行版本数据提交，可指定冲突定义和解决策略
  • 其他辅助功能，如记录操作日志、开机自启

从技术选型上，我们决定使用ArcPy来实现针对ArcSDE的操作，如压缩、协调版本、删除子版本、重建空间索引、分析数据集等功能，而使用C#来做界面，实现对Python脚本的触发。

界面设计

版本压缩功能界面

acngiser
关注
ArcEngine二次开发实用函数15：C#调用Arcpy编写的GP工具
m1m2m3mmm的博客
06-21 1178
提供了三种调用toolbox工具的源代码
基于arcpy开发arcgis工具
QBigBangQ的博客
07-11 1500
基于arcpy开发的arcgis工具
C#调用python.exe使用arcpy方式
chinaherolts2008的博客
03-02 507
背景 环境：ArcGis10.2.2。C#开发程序一直以来以调用Desktop的python环境（32位）来做数据处理分析。但是数据量大时，出现了内存资源不够的情况。因此决定换成使用64位python环境。 遇到问题 C#通过Process.Start()去调用64位python.exe，在Debug模式下毫无问题，但是直接运行exe就报错Process finished with exit code -1073741819 (0xC0000005)。指向异常。 分析问题 后来发现是由于arcpy模块导致的
C#调用python.exe使用arcpy
漓涂
06-05 692
文章目录背景遇到问题分析问题解决问题 背景 环境：ArcGis10.2.2。C#开发程序一直以来以调用Desktop的python环境（32位）来做数据处理分析。但是数据量大时，出现了内存资源不够的情况。因此决定换成使用64位python环境。 遇到问题 C#通过Process.Start()去调用64位python.exe，在Debug模式下毫无问题，但是直接运行exe就报错Process finished with exit code -1073741819 (0xC0000005)。 指向异常。 分析
C#调用Arcpy方法
weixin_34236869的博客
11-09 863
1、安装InronPython 要在.NET环境中使用Python，先要安装InronPython（当然也要安装Python），下载地址：http://ironpython.net/或https://ironpython.codeplex.com/ 2、添加引用库 在Visual Studio新建一个工程后，添加引用IronP...
一个使用C#和ArcPy实现的版本压缩工具（二）
a_dev的专栏
03-16 577
ArcGIS版本压缩功能设计与开发目录ArcPy实现的版本压缩功能普通压缩自动压缩彻底压缩ArcPy实现的其他功能协调版本删除所有子版本重建空间索引分析数据集 目录 ArcPy实现的版本压缩功能 普通压缩 import arcpy import sys print "Start a Compress Session (Mode: Normally)" print "Get Connection ...
ARCGIS二次开发实现高效格网绘制工具
ARCGIS提供了Python的集成环境，例如ArcPy，它是一个Python模块，专门用于自动化ARCGIS中的地理数据处理任务。 #### 5. 压缩包子文件的文件名称列表中的“fishnet”： 这个文件名很可能指的是源代码文件或者是脚本...
arcgis Card Conversion Tools（数据转换工具介绍）
qq_36877275的博客
03-25 9616
Card Conversion Tools（转换工具） 工具箱介绍 Arcgis Conversion Tools 提供了当下绝大多数地理空间数据和地理属性数据的各种数据格式之间的转换，我们常用的且移植性较强的两种数据格式：一是矢量文件，在Arcgis下统称为Shape File（Feature Class）,主要有三种存储方式，（.shp、ArcInfo、Database），当下绝大...
ArcGIS Pro中国工具全面攻略：从安装到高级应用的11个秘籍
本文从基础操作到高级应用，全面介绍ArcGIS Pro的安装、界面熟悉、数据处理与分析工具、高级功能定制以及在特定领域的应用案例。通过详细说明安装过程中的系统要求，本论文将指导用户有效地启动和配置ArcGIS Pro。...
如何将tif格式的数据导入arcgispro使用
最新发布
11-14
4. 如何将多个TIFF文件合并为一个镶嵌数据集？ ### 如何将TIFF格式数据导入ArcGIS Pro #### 一、标准导入方法（图形界面） 1. **直接拖拽导入** - 打开ArcGIS Pro项目后，直接从文件资源管理器拖拽TIFF文件到地图...
arcpy 工具包
09-15
arcpy ArcGIS 10 引入了 ArcPy，这是一个 Python 站点包，它涵盖并进一步加强了 ArcGIS 9.2 中所采用的 arcgisscripting 模块的功能。ArcPy 提供了一种用于开发 Python 脚本的功能丰富的动态环境，同时提供每个函数、模块和类的代码实现和集成文档。 使用以 ArcPy 编写的 ArcGIS 应用程序和脚本的优势在于，可以访问并使用由来自多种不同领域的 GIS 专业人员和程序员开发的大量 Python 模块。使用 Python 中的 ArcPy 的另一个主要原因是，Python 是一种通用的编程语言，易于学习和使用。通过解释和动态输入这种编程语言，用户可以在交互式环境中快速地创建脚本原型并进行测试，同时这种编程语言功能强大，可编写大型应用程序。
Arcpy批量掩膜工具箱
03-14
Arcpy 实现批量按掩膜提取，只需要输入文件路径(*.tif)，掩膜栅格，输出路径，就可以自动批量进行掩膜，亲测两个0.8s，速度很快。
碎图斑条件合并工具源代码（基于ARCGIS开发，C#源代码）
07-02
碎图斑条件合并工具（基于ARCGIS开发，C#源代码）可完美运行
使用C#调用arcpy脚本，no module named arcgisscripting 问题解决
qq_36699649的博客
07-27 1167
使用C#调用arcpy脚本，no module named arcgisscripting 问题解决 使用IronPython调用python脚本没有问题，如果报 “no module named xxxx” 相关问题，添加path路径即可解决，具体网上很多解决方案。 但是如果调用arcpy脚本，由于arcpy有引用.pyd文件的原因，会报module named arcgisscripting的问题。原因是IronPython无法解析arcgisscripting.pyd这个文件，根本原因是不支持.pyd
在C#中调用python脚本，并使用python第三方arcpy模块
qq_24794717的博客
12-29 9186
前言 1、C#中调用python脚本，一是通过ironpython直接运行python脚本，二是通过调用Process类启动电脑上的python.exe，运行python脚本。 前者在使用第三方arcpy模块式，会提示错误：No Module Named arcpy，网上的解决方案是在python脚本中通过sys.appendpath添加arpy路径，但是又会提示新的错误：No Module
python3调用arcpy_C#调用Arcpy方法
weixin_32821579的博客
02-09 965
1、安装InronPython要在.NET环境中使用Python，先要安装InronPython(当然也要安装Python)，下载地址：http://ironpython.net/或 https://ironpython.codeplex.com/2、添加引用库在Visual Studio新建一个工程后，添加引用IronPython.dll和Microsoft.Scripting.dll(位于I...
一个使用C#和ArcPy实现的版本压缩工具（三）
a_dev的专栏
03-16 499
ArcGIS版本压缩功能设计与开发目录参数的设置和存取使用C#调用Python脚本（带参数）三种模式压缩 目录 参数的设置和存取 上一篇文章中，我们已经将进行压缩等操作的代码写好，并在PyCharm中调试完毕。从代码中可以看出，功能的调用，是需要传入一定的外部参数的。这些参数，我们在C#中进行设置和存取。 为此，我们定义了一个类和一些静态变量，用于保存相关参数。 public class ...
C#从注册表中获取ArcPy的python.exe安装位置
a_dev的专栏
05-11 979
文章目录为何要获取该位置？如何获取该位置？需要注意的地方？ 为何要获取该位置？ 在C#中调用命令执行Python脚本的时候，Python解释器是必不可少的工具。ArcGIS 10.2.2安装时默认安装Python，但不同用户可能将Python安装到不同位置，比如，本人就将其安装到D盘而非默认的C盘。那么，当我们的系统给其他用户使用时，势必需要找到Python解释器即python.exe文件位置，才...
arcgis python脚本筛选与线共边的面_基于ArcGIS的python编程 5、Arcpy的一个简单应用（近邻分析工具进行点线拓扑）...
weixin_40006965的博客
11-28 675
前段时间在一个专业交流群里看到这样的一个需求：有两个图层，一个线图层，一个点图层，比例尺小的时候看起来点是在线上的（相交），可是放大到一定程度的时候，点跟线是不相交的（如图1，2），现在要做的就是要把不在线上的点移动在线上。按照一般的思路就是在桌面版软件，进行要素编辑，放大到一定程度，然后一个一个点的移动在线上。但是数据量很大，几万个点，范围很大，工作量很大，这个方法明显是很不明智的。那时我在想，...
C#中使用ArcPy工具
10-06
<think>我们注意到用户之前的问题是关于在ArcGIS Pro中使用C#处理大数据量图层相交的问题，而现在用户的新问题是关于在C#中使用ArcPy工具的方法。结合引用内容，用户似乎在尝试在C#中调用ArcPy（即ArcGIS的Python模块）来执行地理处理工具。 引用[1]提到在C#中调用Python.exe执行包含arcpy的脚本时，需要注意Python解释器的路径问题。 引用[2]提到在C#中调用Python脚本时，如果脚本中包含import arcpy，可能会出现运行问题，需要排查原因。 引用[3]则提供了一种通过C#调用ArcPy编写的GP工具（工具箱.tbx）的方法，使用Geoprocessor对象。 因此，我们可以总结出在C#中使用ArcPy工具的几种方法： 方法1：通过命令行调用Python脚本（使用Python解释器） 方法2：利用ArcGIS Engine或ArcGIS Pro SDK中的Geoprocessor类调用ArcPy编写的工具（.tbx） 注意：在ArcGIS Pro环境中，通常推荐使用ArcGIS Pro SDK进行开发，但有时也可以使用Python脚本作为中间层。 下面分别详细介绍这两种方法： 方法1：通过命令行调用Python脚本 步骤： 1. 准备一个包含arcpy的Python脚本（.py文件）。 2. 在C#中，使用Process类启动Python解释器并执行该脚本。 示例代码： ```csharp using System.Diagnostics; public void RunPythonScript(string pythonScriptPath, string arguments) { // 配置Python解释器的路径，注意ArcGIS Pro自带Python，通常位于： // C:\Program Files\ArcGIS\Pro\bin\Python\envs\arcgispro-py3\python.exe string pythonExePath = @"C:\Program Files\ArcGIS\Pro\bin\Python\envs\arcgispro-py3\python.exe"; ProcessStartInfo start = new ProcessStartInfo(); start.FileName = pythonExePath; start.Arguments = $"\"{pythonScriptPath}\" {arguments}"; // 第一个参数是脚本路径，后面可以跟参数 start.UseShellExecute = false; start.RedirectStandardOutput = true; start.RedirectStandardError = true; start.CreateNoWindow = true; using (Process process = Process.Start(start)) { using (System.IO.StreamReader reader = process.StandardOutput) { string stdout = reader.ReadToEnd(); Console.WriteLine(stdout); } using (System.IO.StreamReader reader = process.StandardError) { string stderr = reader.ReadToEnd(); Console.WriteLine(stderr); } process.WaitForExit(); } } ``` 方法2：直接调用GP工具（通过Geoprocessor类） 步骤： 1. 在ArcGIS Pro中创建一个工具箱（.tbx），并在其中编写一个Python脚本工具（或者模型工具）。 2. 在C#中，使用Geoprocessor类来调用这个工具箱中的工具。 注意：这种方法需要引用ESRI.ArcGIS.Geoprocessing命名空间，该命名空间属于ArcGIS Engine或ArcGIS Pro SDK。 示例代码（参考引用[3]）： ```csharp using ESRI.ArcGIS.Geoprocessing; public void RunToolboxTool(string tbxPath, string toolName, List<string> parameters) { // 创建地理处理器 IGeoProcessor2 gp = new GeoProcessorClass(); gp.OverwriteOutput = true; // 覆盖输出 gp.AddToolbox(tbxPath); // 添加工具箱 // 构建参数数组 IVariantArray paramArray = new VarArrayClass(); foreach (string param in parameters) { paramArray.Add(param); } // 执行工具 gp.Execute(toolName, paramArray, null); } ``` 注意：如果使用ArcGIS Pro SDK，则可以使用更现代化的Geoprocessing工具调用方式（需要引用ArcGIS.Core和ArcGIS.Desktop.Framework）： ```csharp using ArcGIS.Core.Geometry; using ArcGIS.Desktop.Framework.Threading.Tasks; using ArcGIS.Desktop.Core.Geoprocessing; public async Task RunGeoprocessingToolAsync() { // 工具名称可以是工具箱的路径，也可以是系统工具名称 string toolName = @"C:\MyToolbox.tbx\MyTool"; // 参数列表 var parameters = Geoprocessing.MakeValueArray("param1", "param2", ...); // 执行工具 var result = await Geoprocessing.ExecuteToolAsync(toolName, parameters); // 处理结果 } ``` 注意事项： 1. 在调用Python脚本时，确保C#程序有足够的权限运行Python，并且Python脚本中的路径要用绝对路径，避免相对路径导致的错误。 2. 如果使用Geoprocessor类，需要确保程序运行环境中已经安装了ArcGIS Engine或ArcGIS Pro，并且有相应的许可。 3. 在调用包含arcpy的Python脚本时，可能会因为环境变量或路径问题导致导入arcpy失败。需要确保使用ArcGIS Pro自带的Python解释器，并且该解释器的路径正确。 引用[2]提到的问题，可能是因为在运行Python脚本时，arcpy模块需要访问ArcGIS的安装路径，而系统环境变量可能没有正确设置。为了解决这个问题，可以尝试在Python脚本开头添加以下代码来设置环境变量（或者在C#中设置环境变量）： ```python import sys import os # 设置ArcGIS Pro的安装路径（如果需要） sys.path.append(r'C:\Program Files\ArcGIS\Pro\bin\Python\envs\arcgispro-py3\Lib\site-packages') ``` 或者，在C#中启动进程时设置环境变量： ```csharp // 在ProcessStartInfo中设置环境变量 start.EnvironmentVariables["PATH"] = @"C:\Program Files\ArcGIS\Pro\bin\Python\envs\arcgispro-py3;" + Environment.GetEnvironmentVariable("PATH"); ``` 综上所述，在C#中使用ArcPy工具主要有两种途径：命令行调用Python脚本和直接使用Geoprocessor类。根据实际需求选择合适的方法。 §§相关问题§§ 1. 在C#中调用Python脚本时，如何传递参数并获取返回值？ 2. 如何解决在C#中调用ArcPy时出现的导入错误（ImportError）？ 3. 使用Geoprocessor调用工具时，如何处理工具执行过程中的错误？ 4. 在ArcGIS Pro SDK中调用GP工具与在ArcGIS Engine中有何不同？ </think>在C#中调用ArcPy工具主要有三种方法，各有适用场景和注意事项： ### 一、通过Python解释器直接调用脚本 这是最灵活的方式，适用于完整Python脚本的执行： ```csharp using System.Diagnostics; void RunArcPyScript(string scriptPath, string args) { // 定位ArcGIS Pro的Python解释器（注意安装路径可能不同） string pythonPath = @"C:\Program Files\ArcGIS\Pro\bin\Python\envs\arcgispro-py3\python.exe"; ProcessStartInfo startInfo = new() { FileName = pythonPath, Arguments = $"\"{scriptPath}\" {args}", UseShellExecute = false, RedirectStandardOutput = true, CreateNoWindow = true }; using Process process = new() { StartInfo = startInfo }; process.Start(); // 获取输出结果 string output = process.StandardOutput.ReadToEnd(); process.WaitForExit(); Console.WriteLine($"输出结果：{output}"); } ``` **注意**： 1. 必须使用ArcGIS Pro自带的Python环境（路径根据实际安装位置调整） 2. 脚本中`import arcpy`可能因环境变量问题失败，需确保： ```python import sys sys.path.append(r'C:\Program Files\ArcGIS\Pro\Resources\ArcPy') import arcpy # 现在应能正常导入 ``` 3. 推荐传递绝对路径作为参数[^1][^2] --- ### 二、调用GP工具箱（.tbx）工具 适用于已封装成工具箱的地理处理工具： ```csharp using ESRI.ArcGIS.Geoprocessing; void RunGeoprocessingTool(string tbxPath, string toolName) { IGeoProcessor2 gp = new GeoProcessorClass(); gp.AddToolbox(tbxPath); // 添加工具箱路径 IVariantArray parameters = new VarArrayClass(); parameters.Add("输入要素"); // 参数1 parameters.Add("输出要素"); // 参数2 // 执行工具 gp.Execute(toolName, parameters, null); // 检查错误 if (gp.MessageCount > 0) { for (int i = 0; i < gp.MessageCount; i++) Console.WriteLine(gp.GetMessage(i)); } } ``` **特点**： - 直接集成ArcGIS Engine运行时 - 需要引用`ESRI.ArcGIS.Geoprocessing`程序集 - 参数顺序必须与工具定义严格匹配[^3] --- ### 三、通过ArcGIS Pro SDK调用（推荐） 现代开发首选方式，无缝集成ArcGIS Pro： ```csharp using ArcGIS.Desktop.Core.Geoprocessing; async Task RunGPAsync() { // 拼装参数（工具名 + 参数键值对） var parameters = Geoprocessing.MakeValueArray( "输入要素", @"C:\Data\input.shp", "输出要素", @"C:\Data\output.gdb\result" ); // 执行系统工具 await Geoprocessing.ExecuteToolAsync("analysis.Intersect", parameters); // 执行自定义工具箱工具 await Geoprocessing.ExecuteToolAsync(@"C:\Tools\MyTools.tbx\CalculateDensity", parameters); } ``` **优势**： - 原生异步支持，避免UI冻结 - 自动处理环境设置和工作空间 - 内置结果验证和错误处理 - 支持进度显示（通过`GPExecuteToolFlags`控制） --- ### ⚠ 关键注意事项 1. **权限问题**： ```csharp // 以管理员身份运行（若需访问系统目录） var startInfo = new ProcessStartInfo { Verb = "runas", // 请求提升权限 ... }; ``` 2. **路径处理**： ```csharp // 统一使用绝对路径 string scriptPath = Path.GetFullPath("scripts/tool.py"); ``` 3. **错误诊断**： ```csharp catch (Exception ex) { // 捕获COM异常（ArcGIS典型错误） if (ex is System.Runtime.InteropServices.COMException comEx) Console.WriteLine($"GIS错误 0x{comEx.ErrorCode:X8}"); } ``` --- ### 三种方法对比 | 方法 | 适用场景 | 依赖项 | 执行效率 | |-----------------------|-----------------------------------|----------------------------|----------| | Python解释器调用 | 复杂脚本/已有Python代码 | ArcGIS Pro安装位置 | ★★☆ | | GP工具箱接口 | ArcGIS Engine环境/传统桌面应用 | ArcObjects运行时 | ★★★ | | ArcGIS Pro SDK | Pro插件/现代桌面应用 | ArcGIS Pro SDK for .NET | ★★★★ |
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值