<Excel> 数据分析之数据采集

最新推荐文章于 2025-05-08 00:05:51 发布
最新推荐文章于 2025-05-08 00:05:51 发布
阅读量1.5k 收藏 7
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 数据分析 Power Query EXCEL 文章标签： Excel Power Query 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/su_2018/article/details/83351353
本文详细介绍了如何使用Excel的数据菜单和Power Query进行数据采集，包括从文本、网站、Access数据库以及各种文件格式导入数据的方法，特别讨论了Power Query在处理CSV文件（包括乱码问题）和从Access数据库及WEB获取数据的技巧。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

image_1cqj3pv2k82epcq4rt1ad9q382t.png-36.1kB

从EXCEL数据菜单中直接导入数据-自文本

EX自文本.gif-1301.4kB

从EXCEL数据菜单中直接导入数据-自网站

EX自网站.gif-2366.6kB

从EXCEL数据菜单中直接导入数据-自Access

EX自Access.gif-851.7kB

利用Powe

最低0.47元/天 解锁文章

200万优质内容无限畅学
这就是数据分析之数据采集
小白不白
12-04 793
数据主要分以下四类： 开放数据源一般是针对行业的数据库。比如美国人口调查局开放了美国的人口信息、地区分布和教育情况数据。除了政府外，企业和高校也会开放相应的大数据，这方面北美相对来说做得好一些。国内，贵州做了不少大胆尝试，搭建了云平台，逐年开放了旅游、交通、商务等领域的数据量。 爬虫抓取，一般是针对特定的网站或 App。如果我们想要抓取指定的网站数据，比如购物网站上的购物评价等，就需要我们做特定的爬虫抓取。 第三类数据源是传感器，它基本上采集的是物理信息。比如图像、视频、或者某个物体的速度、热度、压强等。
数据分析06|数据采集
夜路破晓的博客
05-13 845
文章目录数据采集Python爬虫Requests访问页面XPath定位JSON对象利用JSON数据自动下载周星驰图片Python爬虫概述导图 数据采集 巧妇难为无米之炊。没有数据支撑一切都是空想。 彼得德鲁克说过，对于一项业务如果不能衡量它，那就无法实现有效增长。衡量的本质就是量化思维，数据则是实现量化的主要手段和结果。 数据（英语：data），是指未经过处理的原始记录。一般而言，数据缺乏组织及...
用EXCEL做的采集工具(采集网页上的数据)
12-06
用EXCEL做的采集工具(采集网页上的数据),非常实用!
数据分析之数据采集
u010655911的专栏
12-22 1102
在数据分析前我们要先有数据，这就要考虑数据的来源了。数据的来源基本上有两种：直接来源和间接来源。通俗点说，直接数据就是通过我们采集的数据，间接数据就是我们引用别人的数据。自己采集的数据可靠性高，灵活度好，但采集比较麻烦；引用别人数据的方式虽然简单，但数据可靠性要大打折扣。 数据来源 数据属性 备注 直接数据 日志数据 某人
如何做好数据分析的数据采集工作？
CDA数据分析师
11-27 809
数据分析离不开数据采集。数据采集包括历史数据的采集和当前市场数据的采集，是科学进行数据分析的基础。数据采集准确性决定了数据分析的价值。那么数据采集是怎么做的呢？一般来说，是需要制定市场研究的计划、明确数据的来源、明确抽样方案、明确数据采集方法、做好数据处理分析工作这四项工作。 1、制定市场调研的计划 在进行数据分析之前，数据采集工作是一项最重要的工作，数据采集的工作能...
数据采集与数据清洗+数据库连接+JMP+EXCEL+数据分析
09-10
一、数据采集 二、原始数据的获取 2.1 使用JMP软件从数据库获取数据 2.2 使用EXCEL从数据库获取数据 2.3 将多个数据文件合并到一个表 三、数据清洗 3.1 选择子集 3.2 字段（列名）重命名 3.3 删除重复...
数据分析实践 使用Excel和SQL进行数据分析 数据分析教程课件 数据分析实战课程 共94页.pdf
04-29
在Excel部分，学习内容包括数据采集与处理。学员将学习如何导入数据，掌握基本操作，如排序、筛选和格式设置。Excel函数的应用是关键，如SUM、AVERAGE、COUNT等，用于数据计算和统计。此外，数据透视表是进行复杂...
Excel商务数据分析与应用-期末试卷(含答案).docx
06-11
《Excel商务数据分析与应用》是一门关注于利用Excel进行商务数据处理、分析和决策的课程。这门课程的期末试卷涵盖了商务数据的分类、场景营销、电商基础数据、数据下载限制、大数据能力等多个方面，旨在考察学生对...
Excel入门数据分析
05-27
### Excel入门数据分析知识点详解 #### 一、数据预处理概述 数据预处理是数据分析过程中的第一步，也是至关重要的一步。良好的数据预处理能够确保后续的数据分析工作顺利进行，并提高数据分析的准确性和有效性。 ...
数据分析入门系列教程-数据采集
数据森麟
10-27 930
公众号后台回复“图书“，了解更多号主新书内容作者：周萝卜来源：萝卜大杂烩前面我们一起完成了一个数据清洗的实战教程。现在，我们一起来学习数据采集的相关知识。其实在当今社会，网络上充斥着...
用EXCEL做的网页数据采集工具3.0.xls
01-05
用EXCEL做的网页数据采集工具3.0.xls 采集阿里爸爸网站数据，要多少有多少！
Restcloud ETL实践之Excel文件数据采集
RestCloud的博客
06-13 586
工作中会有好多地方需要将收集Excel数据进行汇总统计的数据来源使用，在进行数据的统计分析之前需要对收集的数据清洗、转换等。
数据分析基础知识之数据收集与分析软件
sjjsaaaa的博客
06-11 2090
数据收集与分析软件 一、数据收集过程 1.数据的类型 数据是采用某种计量尺度对事物进行计量的结果，采用不同的计量尺度会得到不同类型的数据，通常按数据的手机途径可以将数据进行如下分类： 1.1按度量尺度分 定性数据（也称计数数据，qualitative data） 定性数据是对度量事物进行分类的结果。数据表现为类型，用文字来表述，如性别、区域、产品分类等。 定量数据(也称计量数据，quantitative data） 定量数据是对度量事物的精确测度。结果表现为具体的数值，如身高、体重、家庭收入等。 1.2
使用excel收集数据心得 一
complx的博客
04-23 8424
      之前参与了一个农业信息管理的开发项目，我负责数据的收集与入库。收集数据的方式是通过excel填报，（事先设计好格式），单独开发了一个数据导入小软件。      大家应该都知道，程序在读取数据时都是按照你事先给定的命令来执行，一旦事先设计好的excel格式或填表的规则被改变，被读取的数据就可能是错的，在这个项目中就出现这样的情况。很多收集到的表都是格式都被改变了。需要花很长时间来处理这些...
16.Excel：数据收集
weixin_74727170的博客
05-08 1059
在使用excel进行数据采集的时候，会制作表头给填写人，最好还制作一个示例。excel的在线表格协作在国内无法使用，而数据采集最需要在线协作。身份证18位，如果少填写了，输入回车的时候要弹出提示。当点击某个单元格的时候，会显示出详细的提示文本。1.每个文件要有相同的表头，表格结构要一样。因为默认弹出的提醒看不懂，要人性化一点。在外面新建一个空白工作簿或工作表。2.office 2016及以上才有。对收集上来的工作簿进行合并。打开文件夹后点合并和加载。然后再处理一下数据。
使用excel收集数据心得 二
complx的博客
04-24 2528
在上一篇我们已经介绍了在数据收集时为了保护表格的格式使用了允许用户编辑区域和保护工作表功能，这一篇我们将介绍如何控制不同用户填写。数据收集是一个复杂的过程，很多情况下数据收集是“多合一”的，“多”指的数据的提供方很多，“一”就是收集数据汇成的数据库；好比我要做一个农业农村信息数据库，可能要通过农业局、工商局、规划局、国土局等多个单位获取信息，然后把这些信息汇总成为一个农业农村信息数据库。如果我们使...
EXCEL爬取数据（两种方法）
weixin_50040016的博客
04-12 5025
EXCEL爬取数据的两种方法
从excel文件中获取数据(2)
weixin_30607029的博客
11-21 220
本方法引用 Aspose.Cells.dll，ICSharpCode.SharpZipLib.dll ，NPOI.dll，NPOI.OOXML.dll，NPOI.OpenXml4Net.dll，NPOI.OpenXmlFormats.dll static void Main(string[] args) { string filepath = @"E:\我的...
中国自动识别和数据采集市场趋势报告、技术动态创新及市场预测
贝哲斯咨询的博客
03-06 452
自动识别和数据采集市场的企业竞争态势 该报告涉及的主要国际市场参与者有Datalogic、Honeywell、Zebra Technologies、Sick、Cognex、Toshiba、NEC、NXP、Synaptics、Sato、Avery Dennison、Epson、NCR、Casio、Denso Wave、M3 Mobile、Cipherlab、Impinj、B.O.S. Better Online Solutions、Bluebird等。这些参与者的市场份额、收入、公司概况和...
<table><thead><tr><th data-spm-anchor-id="5176.28103460.0.i429.22481db8KRCfLK">序号</th><th data-spm-anchor-id="5176.28103460.0.i441.22481db8KRCfLK">功能模块</th><th>描述</th></tr></thead><tbody><tr><td>1</td><td>RFID</td><td>- 通过modbus tcp/rtu协议同RFID通讯</td></tr><tr><td></td><td data-spm-anchor-id="5176.28103460.0.i440.22481db8KRCfLK"></td><td>- 基于工位RFID做调度和跟踪每个工段的料盒、托盘流向</td></tr><tr><td></td><td></td><td>- 记录相关库存，并处理异常</td></tr><tr><td>2</td><td>设备管理</td><td>- 统一管理设备元数据</td></tr><tr><td></td><td></td><td>- 通过modbus tcp/rtu协议同PLC通讯监控设备状态（四种运作状态：运行（1）、待机（2）、异常（3）、维护（4））</td></tr><tr><td></td><td></td><td>- 在前端界面展示，提供异常报警抛出</td></tr><tr><td data-spm-anchor-id="5176.28103460.0.i431.22481db8KRCfLK">3</td><td>实时库存管理</td><td>- 设置缓存分档规则</td></tr><tr><td></td><td></td><td>- 在相关工位读取rfid调mes获取绑定分档信息，调度料盒进缓存立库</td></tr><tr><td>4</td><td>报警管理</td><td>- 设置报警规则，报警等级</td></tr><tr><td></td><td></td><td data-spm-anchor-id="5176.28103460.0.i439.22481db8KRCfLK">- 定时监控PLC和相关点位数值，超出阈值时记录报警，提供报警接口</td></tr><tr><td>5</td><td>数据采集</td><td>- 设置设备的关键采集点位</td></tr><tr><td></td><td></td><td>- 根据配置的点位从plc等采集设备数据</td></tr><tr><td></td><td></td><td data-spm-anchor-id="5176.28103460.0.i438.22481db8KRCfLK">- 时序点位数据进入时序数据库方便统计</td></tr><tr><td>6</td><td>工厂耗用</td><td>- 监控智能电表数据</td></tr><tr><td></td><td></td><td>- 按时间维度存储到时序数据库</td></tr><tr><td></td><td></td><td>- 折线图展示耗用情况</td></tr><tr><td>7</td><td>工艺产能</td><td>- 设置工艺工段元数据，工段标准产能，班次元数据</td></tr><tr><td></td><td></td><td>- 采集工段产能数据统计每2小时产能</td></tr><tr><td></td><td></td><td data-spm-anchor-id="5176.28103460.0.i403.22481db8KRCfLK">- 设定班次结束定时统计当班产能数据</td></tr><tr><td>8</td><td>OEE</td><td data-spm-anchor-id="5176.28103460.0.i405.22481db8KRCfLK">- 定时采集设备运行状态</td></tr><tr><td></td><td></td><td>- 统计记录设备正常运行时间、待机时间、异常时间、维护时间、报警次数、实际产出等</td></tr><tr><td></td><td></td><td data-spm-anchor-id="5176.28103460.0.i407.22481db8KRCfLK">- 折线图展示设备有效利用率、产能达成率、时间开动率(开动时间 / 负荷时间)、性能开动率、合格品率</td></tr><tr><td>9</td><td>时间同步服务</td><td data-spm-anchor-id="5176.28103460.0.i436.22481db8KRCfLK">- plc和上位机使用ntp协议</td></tr></tbody></table> 转为csv
最新发布
05-16
### 将HTML表格转换为CSV格式的方法 要将包含功能模块及其描述的HTML表格（涉及RFID、设备管理、实时库存管理等模块）转换为CSV文件格式，可以通过以下几种方法实现： #### 方法一：使用Python脚本自动化处理 通过Python中的`pandas`库和`BeautifulSoup`库可以从HTML中提取表格数据，并将其导出为CSV文件。 以下是具体代码示例： ```python from bs4 import BeautifulSoup import pandas as pd # HTML字符串或从文件读取的内容 html_content = """ <table> <thead><tr><th>序号</th><th>功能模块</th><th>描述</th></tr></thead> <tbody> <tr><td>1</td><td>RFID</td><td>- 通过modbus tcp/rtu协议同RFID通讯...</td></tr> <tr><td>2</td><td>设备管理</td><td>- 统一管理设备元数据...</td></tr> <!-- 更多功能模块 --> </tbody> </table> """ # 解析HTML内容 soup = BeautifulSoup(html_content, 'html.parser') table = soup.find('table') # 查找表格元素 # 使用pandas读取表格数据 df = pd.read_html(str(table))[0] # 导出到CSV文件 csv_output_path = 'output.csv' df.to_csv(csv_output_path, index=False, encoding='utf-8-sig') print(f"Data has been successfully exported to {csv_output_path}") ``` 这种方法能够自动解析复杂的HTML表格结构，并生成标准化的CSV文件[^1]。 --- #### 方法二：手动复制粘贴至Excel再另存为CSV 如果不想编写代码，可以直接在浏览器中选中整个HTML表格区域，右键点击“复制”，然后切换到Microsoft Excel软件，在单元格A1处执行“粘贴”。接着，保存工作簿时选择“CSV (逗号分隔)”格式作为输出选项。这适合简单的场景，但对于大型或嵌套表格可能不够精确[^2]。 注意：由于HTML表格可能带有额外样式或其他隐藏字段，因此推荐先验证导出的结果是否完全匹配预期。 --- #### 方法三：利用在线工具进行转换 许多免费的在线服务允许用户上传HTML文件或将网页地址直接提交给它们，从而自动生成对应的CSV版本。这类工具通常简单易用，无需安装任何软件即可完成任务。然而，在共享敏感业务逻辑（如RFID通信细节或OEE计算公式）时需谨慎对待隐私问题[^3]。 例如，可以选择像Tabula这样的开源桌面应用程序来识别PDF或HTML文档里的表格布局并轻松转储成平面文件形式供后续分析之用。 --- ### 注意事项 无论是采用何种手段实施迁移作业之前都应该做好充分准备，包括但不限于备份源材料以防万一出现问题无法恢复原状造成损失；另外还要考虑跨平台兼容性以及字符编码一致性等问题以免因小失大影响整体进度安排[^4]。 最后提醒一点就是确保最终形成的CSV文档内部各列顺序排列合理清晰便于后期进一步开发利用价值最大化的同时也减少了不必要的麻烦环节出现可能性大大提升工作效率水平达到事半功倍的效果[^5]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值