一个小脚本遇到的问题之python查看网站编码

解决Python编码问题
最新推荐文章于 2025-07-14 08:13:52 发布
原创 最新推荐文章于 2025-07-14 08:13:52 发布 · 221 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #网页编码

本文讨论了Python编码问题，特别关注2.7.10版本与3.0版本之间的差异，并提供了一个查看网站编码的方法，包括使用chardet模块进行内容分析。
[size=11]
[url=http://lovekaiyuan.iteye.com/admin/blogs/2286546]那个脚本的样子[/url]
[color=red]第一个问题[/color]是编码问题，这里是以2.7.10为例，3.0以后的编码有很大的变化。
不过这里因为正好躲过，所以没有多做研究。不过大家可以参考[url="http://www.pythontab.com/html/2013/pythonhexinbiancheng_0114/129.html"][color=red]这里[/color][/url]。介绍了一个查看网站编码的方法。个人没有验证，等用到的时候在做详细的记录。里面介绍了两个方法，摘录靠谱的那个如下：
[/size]


# 原文网址：http://www.pythontab.com/html/2013/pythonhexinbiancheng_0114/129.html
#如果你的python没有安装chardet模块，你需要首先安装一下chardet判断编码的模块

import chardet
import urllib
#先获取网页内容
data = urllib.urlopen('http://www.pythontab.com').read()
#用chardet进行内容分析
chardit = chardet.detect(data)

data1 = urllib.urlopen('http://www.baidu.com').read()

chardit1 = chardet.detect(data1)

print chardit['encoding'] # pythontab

print chardit1['encoding'] # baidu

[Python] - 编程新手零基础入门：从安装 Python 到运行你的第一个程序
每日出拳老爷子的博客
07-09 274
本文为编程新手提供Python入门全流程指导。从Python优势（语法简洁、用途广泛）到环境搭建（官网下载配置PATH），详细讲解第一个"Hello World"脚本的编写、保存（UTF-8编码）和运行方法。介绍基础语法（变量、运算、注释）和常见错误（拼写、缩进），推荐Replit等在线练习平台。建议学习路径从基础语法到项目实践，强调动手实践和良好代码习惯的重要性。配套错误调试技巧和云平台方案，帮助零基础用户轻松迈出编程第一步。
Python实践提升-开发大型项目
andyyah晓波的博客
06-24 1018
当开发功能与编写测试同步进行时，你会来回切换自己的角色，分别作为代码的设计者和使用者，不断从代码里找出问题，调整设计。要开发一个成功的大型项目（注意：这里的“成功”不是商业意义上的，而是工程意义上的），你不光需要 Linter 工具和单元测试，还需注重与团队成员间的沟通，积极推行代码审查，营造更好的合作氛围，等等。但如今，事情发生了很多变化。举个例子，假如在应用代码里，你提交了 10 行非常相似的重复代码，那么这些代码几乎一定会在代码审查阶段，被其他同事作为烂代码指出来，最后它们非得抽象成函数不可。
Mac OS安装IPython
ILKY
06-28 591
[size=12] Python自带的交互虽然不错，但是与ipython相比还是有点差距，所以还是准备安装ipython. 因为准备学习python3，则需要安装ipython3版本，当然安装比较简单，使用pip即可一键安装。命令如下： pip install ipython 但是注意的是，我的系统里面安装了两个版本，想必很多朋友都和我一样，所以在使用的时候...
一个小脚本遇到的问题之python读写文本
ILKY
03-27 153
[size=11] [url=http://lovekaiyuan.iteye.com/admin/blogs/2286546]程序在这里[/url] [url=http://lovekaiyuan.iteye.com/blog/2286550]上篇：如何查看网页编码（未验证）概不负责[/url] 这次讨论的就是python中文件的读取和写入。因为只是修改了文...
python常用小脚本总结
猫哥 的沉淀、积累、总结。天天学习，好好向上...c/c++,嵌入式 linux,Android,HarmonyOS，AIOT)
04-27 8017
日常生活中常会遇到一些小任务，如果人工处理会很麻烦。 用python做些小脚本处理，能够提高不少效率。或者可以把python当工具使用，辅助提高一下办公效率（比如我常拿python当计算器，计算、字符转换等）。 以下总结下个人用到的一些python小脚本留作备忘。
【python实用小脚本-140】Python Base64 图像编解码工具：轻松实现图像与文本互转
kylner的博客
07-14 446
摘要（148字） Python脚本encode_img.py和decode_img.py实现图像与Base64互转： 编码端：批量将encode_image/目录下的图片转为带Data URI前缀的Base64文本（encoded.txt），适用于前端资源内联 解码端：从base64_image.txt还原为decoded_image.png，支持数据库镜像数据处理 优势：纯标准库实现、离线操作、支持批量处理，可扩展至Web打包优化和ETL流程 开源地址提供完整代码，30行核心逻辑解决开发/运维中的图像编解
python xss相关的编码解码小脚本
weixin_30323631的博客
09-20 137
1.功能分析: 　　实际工作中经常会遇到alert()之类的函数被防火墙过滤,而把alert()转化为ascii码放到String.fromCharCode()中就可以绕过,之前会一个一个查ascii表,比如a对应97,l对应108...最后得出alert(1)的ascii码97,108,101,114,116,40,49,41 发现这样太费时间,就用写了个python小脚本,方便做测试用....
Python实现使用Google OAuth2.0安全发送邮件的小脚本
weixin_42576804的博客
07-04 1138
邮件作为日常工作中最常见也是最重要的通信手段之一，它在企业沟通、通知发布、信息分享等方面都发挥着重要作用。Python作为一门强大的编程语言，内置了发送邮件的库，使得实现邮件发送功能变得简单快捷。在本章中，我们将介绍使用Python来发送邮件的完整流程，并强调这一过程中的关键步骤。通过理解这些步骤，即便是邮件发送这一看似简单的任务也能更好地服务于日常的IT工作流程。message["Subject"] = "Python邮件发送测试"你好,这是用Python发送的邮件测试。"""<html>
linux python复制安装目录结构,Python复制目录结构小脚本
weixin_36089077的博客
04-30 212
引言有个需要，需要把某个目录下的目录结构进行复制，不要文件，当目录结构很少的时候可以手工去建立，当目录结构复杂，目录层次很深，目录很多的时候，这个时候要是还是手动去建立的话，实在不是一种好的方法，弄不好会死人的。写一个Python脚本来处理吧。首先了解写python脚本前，先了解几个东西#!/usr/bin/python这个东西写过脚本的人都知道，用来标明该脚本的执行器，类似的还有#!/bin/b...
推荐10 个令人惊叹的 Python 自动化脚本！
伤心的辣条
10-09 1291
该自动化脚本利用Pyperclip库的强大功能无缝捕获复制数据，并集成了Tkinter以可视化方式跟踪和管理复制的文本。
mysql+python缺失数据库完善小脚本
xunalove的博客
08-11 733
先贴上一下，两天写出来的代码，太波折啦，累死啦（有空再更新细节，）# -*- coding:utf-8 -*- import MySQLdb import json from company import companys import sys reload(sys) sys.setdefaultencoding('utf8')#检测是否缺少数据 def check(id): sql = "
适合初学者学习的 Python3 小脚本实践指南
最新发布
09-10
Python3作为当今最流行的编程语言之一，吸引了众多编程爱好者。它以简洁明了的语法和强大的功能著称，非常适合初学者入门。为了帮助初学者快速掌握Python3并进行实践操作，本文指南将介绍一系列小型脚本，通过这些...
Python编码规范：提升团队合作的代码风格统一指南
无论是一个人编写的小脚本还是一个团队协作开发的大型项目，良好的编码规范都是必需的。它不仅影响代码的维护性，还有助于提高开发效率，减少因个人编码风格差异导致的错误。在本章中，我们将探究编码规范在Python...
地狱修炼之路—Python远控领域！
qq_43606723的博客
08-18 416
文章内容仅用于技术交流学习，禁止用于非法用途，由于传播、利用此文所提供的信息而造成的任何直接或者间接的后果，均由使用者本人负责，文章作者不为此承担任何责任。基于Python网络编程。.........
Python实现定时弹窗提醒
ILKY
05-08 7631
        经常用电脑，一坐就是几个小时，总是忘记时间，所以觉得是不是找个定时提醒软件。网上找了还真有还很多，找了一个卫士什么的，装了。到时间以后自动锁屏倒计时。功能不错但是感觉功能太多。不知道大家现在用软件的时候有没有这种感觉，本来就是想要一种很简单的功能，但最惨的是装了一大堆软件，功能一大票但是没有自己用的。        其实自己想的就是到时间以后弹窗提示休息就可以了。后来想想还是...
Mac OS下多版本python共存
ILKY
05-26 742
[size=12] Mac OS里面的python默认为2.7版本，但是现在随着python3越来越普及，觉得还是需要转移到python3.毕竟是未来的趋势。 不过遇到的麻烦就是系统很多还是依赖2.7，又不能把2.7卸载掉，所以就需要多版本之间共存。 如果喜欢权威官方的介绍和指导，请移步：[url=https://github.com/yyuu/pyenv]h...
python部落刷题宝备忘（一）
ILKY
05-17 442
[size=11] python部落网址：[url]http://python.freelycode.com/[/url] [/size] [code="python"] divmod(x, y) == x//y, x%y # 返回商和余数 enumerate # 给出迭代对象的序列和对应的元素 a = [2, 3, 4] for index, item ...
一个小脚本遇到的问题之 Windows 命令行下的脚本执行
ILKY
03-27 373
[size=11] Windows 命令行下面执行python确实是个麻烦事，反正不方便。添加系统环境变量就不多说了。这里说一下python在命令行执行的时候的一些位置。 我这里遇到的问题就是：在之前的程序中，配置文件的路径是相对路径，当然放在一个目录下面啦。直接F5没错，但是在cmd下面就错了.No such file or directory.我都吐血了。 ...
帮我写一个Python脚本，从路径带入.C文件，查找出OS_开头的关键字，不包含注释，且去除重复，并输出,这些代码都是些在同一个python文件中的吗 如果不是的话 麻烦将代码放在不同的文件中
09-05
<think> 根据用户需求，我们需要编写一个Python脚本，从指定路径的.C文件中查找以"OS_"开头的关键字（不包含注释，并去除重复），然后输出这些关键字。用户还询问代码是否应该放在同一个文件中，以及如果不是，如何分开放置。 考虑到脚本的功能相对独立且规模不大，可以将所有代码放在一个文件中。这样便于维护和运行。但如果未来功能扩展，可以考虑模块化。 不过，根据引用[1]和引用[2]的内容，我们可能需要考虑模块的路径问题。特别是，如果我们希望这个脚本可以在任何地方被调用，那么可能需要将其放在Python的环境变量路径中（如site-packages），或者通过sys.path.append添加路径。但当前需求只是一个脚本，因此放在一个文件中即可。 下面，我们将编写一个Python脚本，包含以下步骤： 1. 获取指定路径（通过命令行参数或用户输入）。 2. 遍历该路径下所有的.c文件（包括子目录）。 3. 读取每个.c文件，排除注释内容（包括单行注释//和多行注释/* ... */）。 4. 使用正则表达式查找所有以"OS_"开头的关键字。 5. 将找到的关键字去重。 6. 输出这些关键字。 注意：我们不考虑在字符串字面量中的情况（因为题目要求不包含注释，但字符串没有提及，按照需求只排除注释）。 由于去除注释是一个相对复杂的过程，我们需要小心处理。我们可以逐行读取，但多行注释会跨行，因此需要状态机。 但是，考虑到需求相对简单，且关键字OS_一般不会出现在字符串中（即使出现，用户也没有要求忽略），我们可以选择只排除注释，保留字符串中的关键字？但题目要求是查找关键字，通常关键字不会在字符串中（除非是打印等），但题目没有明确说明，所以我们按照要求只排除注释。 因此，我们设计一个去除注释的函数，可以处理单行和多行注释。 另一种思路：我们可以使用一个简单的状态机，在读取文件时，跳过注释部分，只处理代码部分。状态包括：正常代码状态、单行注释状态、多行注释状态、字符串状态（如果要去除字符串中的关键字，则还需要字符串状态，但题目没有要求，所以我们可以不考虑字符串，或者将字符串中的关键字也提取出来？题目要求是查找关键字，而关键字通常是代码中的标识符，所以出现在字符串中的不是关键字。因此，我们需要排除注释，但是对于字符串，我们有两种选择：1. 也排除字符串中的内容；2. 不排除。由于题目没有说明，且一般来说，字符串中的OS_不是我们想要的关键字，所以我们可以选择同时排除字符串和注释。但是，这样会复杂很多。而且，用户需求中只提到排除注释。 所以，我们只排除注释，字符串中的OS_也会被提取。如果用户不需要字符串中的，那么我们需要同时处理字符串和注释。为了准确，我们最好也排除字符串中的内容。因为题目要求是“关键字”，通常是指代码中的标识符，而不是字符串中的文本。 因此，我们决定：同时跳过注释和字符串，只提取代码中的关键字。这样更符合实际需求。 但是，处理注释和字符串需要状态机，而且要注意转义字符等，比较复杂。考虑到时间，我们可以采用折中方案：使用正则表达式匹配注释和字符串，然后将其替换为空，但这样可能会误删一些代码。另一种方法是使用lexer，但标准库没有C语言的lexer。 由于这是一个小脚本，我们可以自己实现一个简单的状态机来处理。状态包括：正常状态、单行注释状态、多行注释状态、字符串状态（单引号和双引号）。 我们将设计一个函数`remove_comments_and_strings(content)`，它接收文件内容，返回去除注释和字符串后的内容。然后在这个内容中查找`OS_`开头的关键字。 状态设计： - 正常状态（0）：遇到'/'则可能进入注释，遇到引号（单引号或双引号）则进入字符串状态。 - 单行注释状态（1）：直到行尾结束。 - 多行注释状态（2）：直到遇到'*/'结束。 - 字符串状态（3）：在单引号内，直到遇到下一个单引号（注意转义）。 - 字符串状态（4）：在双引号内，直到遇到下一个双引号（注意转义）。 注意：转义字符的处理，例如在字符串中遇到\'或\"，不应该结束字符串。 由于状态较多，且文件内容可能很大，我们逐字符处理。 但是，考虑到性能，如果文件很大，逐字符处理可能较慢。不过，.c文件一般不会特别大。 另一种思路：我们可以使用正则表达式匹配注释和字符串，然后用空字符串替换它们。但正则表达式可能无法完美处理嵌套和转义，不过对于一般的C代码，我们可以使用以下正则表达式： 单行注释：//.*$ 多行注释：/\*.*?\*/ （非贪婪模式） 字符串：".*?(?<!\\)" 和 '.*?(?<!\\)' （匹配非贪婪的字符串，且考虑转义） 但是，正则表达式在处理跨行字符串和跨行注释时，需要设置re.DOTALL标志。 我们决定使用正则表达式来移除注释和字符串，因为这样代码简洁，并且对于一般的C文件足够。注意：多行注释跨行，所以需要re.DOTALL；同样，字符串也可能跨行。 正则表达式： 单行注释：r'//.*?$' 多行注释：r'/\*.*?\*/' 双引号字符串：r'"(?:\\.|[^\\"])*"' 单引号字符串：r"'(?:\\.|[^\\'])*'" 然后，我们使用re.sub将这些替换为空字符串。 但是，这样替换后，代码中只剩下非注释非字符串的部分。然后我们在剩下的文本中查找OS_开头的单词。 注意：关键字可能是宏定义、函数名、变量名等，所以我们要匹配单词（即由字母、数字和下划线组成，但以OS_开头）。我们可以用正则表达式：r'\bOS_\w*\b' 步骤： 1. 读取文件内容。 2. 用正则表达式移除注释和字符串。 3. 在移除后的文本中，查找所有匹配`r'\bOS_\w*\b'`的单词。 4. 将这些单词收集到一个集合中（去重）。 注意：文件编码问题，我们假设文件是UTF-8或者系统默认编码。 我们将编写一个函数：`extract_os_keywords(file_path)`，它处理一个文件，返回找到的关键字集合。 然后，遍历指定目录下的所有.c文件，调用这个函数，合并所有关键字到一个集合，最后输出。 关于代码组织：由于功能独立，我们可以将所有代码写在一个脚本文件中。例如：`find_os_keywords.py` 如果用户希望模块化，也可以分成两个文件：一个模块（包含核心功能函数），另一个是主脚本（调用模块并执行）。但当前需求简单，一个文件即可。 因此，我们决定写在一个文件中。 代码结构如下： - 导入必要的模块：os, re, sys（用于处理命令行参数） - 定义`remove_comments_and_strings(content)`函数，使用正则表达式移除注释和字符串。 - 定义`extract_os_keywords(file_path)`函数，读取文件，移除注释和字符串，然后提取关键字。 - 定义`scan_directory_for_c_files(directory)`函数，遍历目录，收集所有.c文件路径。 - 主函数：获取用户输入的路径（通过命令行参数或直接输入），调用上述函数，输出结果。 下面开始编写代码： </think> 根据您的需求，我将提供分文件实现的代码方案。核心功能模块与主执行脚本分离，符合模块化设计原则，便于维护和扩展。 ### 文件结构： 1. `keyword_scanner.py` - 核心扫描功能模块 2. `main.py` - 主执行脚本 --- ### 1. keyword_scanner.py ```python import os import re def scan_files_for_keywords(directory, keyword_prefix="OS_"): """ 扫描指定目录下所有.c文件，提取指定前缀的关键字 排除注释内容，自动去重 参数: directory: 要扫描的目录路径 keyword_prefix: 关键字前缀 (默认为"OS_") 返回: 排序后的唯一关键字列表 """ keyword_set = set() pattern = re.compile(rf'\b{re.escape(keyword_prefix)}\w+\b') comment_pattern = re.compile(r'//.*?$|/\*.*?\*/', re.DOTALL | re.MULTILINE) for root, _, files in os.walk(directory): for file in files: if file.endswith('.c'): file_path = os.path.join(root, file) try: with open(file_path, 'r', encoding='utf-8') as f: content = f.read() # 移除所有注释 clean_content = comment_pattern.sub('', content) # 查找所有匹配的关键字 matches = pattern.findall(clean_content) keyword_set.update(matches) except Exception as e: print(f"处理文件 {file_path} 时出错: {str(e)}") return sorted(keyword_set) ``` --- ### 2. main.py ```python import os import sys from keyword_scanner import scan_files_for_keywords def main(): if len(sys.argv) < 2: print("用法: python main.py <目录路径>") sys.exit(1) target_dir = sys.argv[1] if not os.path.isdir(target_dir): print(f"错误: {target_dir} 不是有效目录") sys.exit(1) keywords = scan_files_for_keywords(target_dir) print(f"\n在 {target_dir} 中找到 {len(keywords)} 个唯一关键字:") print("-" * 40) for idx, keyword in enumerate(keywords, 1): print(f"{idx}. {keyword}") if __name__ == "__main__": main() ``` --- ### 使用说明： 1. 将两个文件保存在同一目录 2. 终端执行命令： ```bash python main.py /path/to/your/c/files ``` 3. 输出示例： ``` 在 /project/src 中找到 15 个唯一关键字: ---------------------------------------- 1. OS_init 2. OS_create_task 3. OS_scheduler ...（其余结果） ``` --- ### 设计说明： 1. **模块化分离**: - 核心扫描逻辑封装在`keyword_scanner.py` - 主脚本`main.py`处理输入输出 - 符合Python模块化设计最佳实践[^1] 2. **注释处理**: - 使用正则表达式移除`//`和`/*...*/`注释 - 确保不匹配注释内的伪关键字[^2] 3. **路径处理**: - 使用`os.walk`递归扫描子目录 - 自动处理不同操作系统的路径差异 4. **健壮性**: - 异常捕获处理文件读取错误 - 参数有效性验证 - 自动处理文件编码问题
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值