Python爬虫数据处理

最新推荐文章于 2025-10-14 16:07:00 发布

原创

最新推荐文章于 2025-10-14 16:07:00 发布 · 1w 阅读

17 ·

CC 4.0 BY-SA版权

文章标签：

#python #编码 #数据 #爬虫

本文介绍了Python爬虫数据处理中的关键函数，如length(), char_length(), replace()，并详细讲解了如何在ETL清洗过程中利用这些函数处理带有明显分隔符的数据。同时，文章还探讨了Kettle转换中的ETL1清洗步骤，包括建表、索引算法的选择以及数据流方向等，提供了一个名为trans_etl1_socom_data的Kettle转换实例。" 134932818,8711003,Matlab到Python转换技巧详解,"['Python', 'Matlab', '数据处理', '数组操作', '转换']

一、首先理解下面几个函数

设置变量 length()函数 char_length() replace() 函数 max() 函数
1.1、设置变量 set @变量名=值

set @address='中国-山东省-聊城市-莘县';
select @address

1.2 、length()函数 char_length()函数区别

select length('a')
,char_length('a')
,length('中')
,char_length('中')

1.3、 replace() 函数和length()函数组合

set @address='中国-山东省-聊城市-莘县';
select @address
,replace(@address,'-','') as address_1
,length(@address) as len_add1
,length(replace(@address,'-','')) as len_add2
,length(@address)-length(replace(@address,'-','')) as _count

etl清洗字段时候有明显分割符的如何确定新的数据表增加几个分割出的字段

计算出com_industry中最多有几个 - 符以便确定增加几个字段最大值+1 为可以拆分成的字段数此表为3 因此可以拆分出4个行业字段也就是4个行业等级

select max(length(com_industry)-length(replace(com_industry,'-',''))) as _max_count
from etl1_socom_data

1.4、设置变量 substring_index()字符串截取函数用法

set @address='中国-山东省-聊城市-莘县';
select 
substring_index(@address,'-',1) as china,
substring_index(substring_index(@address,'-',2),'-',

最低0.47元/天解锁文章