PYTHONIOENCODING 信用评分 2016.06.28回顾

最新推荐文章于 2023-08-15 19:52:29 发布
原创 最新推荐文章于 2023-08-15 19:52:29 发布 · 1.6k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#编码 #信用评分

本文首先探讨了Python日志文件编码问题，从gbk到utf-8的转换过程中出现的乱码现象及其解决办法；接着介绍了系统配置参数对中文显示的影响；随后分享了一种提高效率的前端修改方案；并对业务系统中征信上传错误及消息接收异常等问题进行了修复；最后通过变量检查发现了一些反直觉的数据结果。

1、开始用的PYTHONIOENCODING=gbk生成的日志文件，这样日志文件就是gbk编码，再用PYTHONIOENCODING=utf-8，确实是按照utf-8写入，但是“翻译”成了gbk，所以是乱码，最后删除掉旧的日志文件，重新生成一个，就是按utf-8编码，解决中文乱码问题
2、en_US是系统所在地区，可能是涉及一些任务栏，菜单栏语言，不会影响中文的显示
3、我想写成一种队列的形式，但是研究了下有点麻烦，所以当前最效率的解决方案，就是叫前端做出修改
4、解决了同时上传征信出错异常，解决了业务系统不能收到第二次正确消息异常
5、研究了下几个变量，并且认真检查了几个变量的正确性，发现了一些和直觉相反的结果，那些历史上有90天以上逾期的居然和整体的逾期率是一样的，2年内90天以上逾期率居然比整体还低，冻结的太少了，找到了有效的三个，三个都履约情况很差！
6、这个手工的分析过程也是对抓数据sql的检查，大多数还是对的，逻辑上可能还需要检查一遍！

Python实现信用评分模型
学习使你进步。
06-12 516
首先，需要获取有关用户的数据，该数据应包含与信用风险有关的各种信息，例如性别、年龄、收入水平、婚姻状况等等。信用评分是一种基于个人或实体的信用记录和历史数据来预测未来违约风险的方法。常用的信用评分模型有逻辑回归模型、决策树模型等。本文将介绍使用Python实现信用评分模型的过程，并提供相对应源代码。以上是使用Python实现信用评分模型的全部过程和代码。通过此模型，我们可以快速地识别高风险借款人，并采取相应的措施来减少违约风险。接下来，使用构建逻辑回归模型，它是最常用的信用评分模型之一。
电赛K230部署报错：部署yolo在下载whl文件时出现报错：Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple...如何解决？
**My Coding Family**
08-12 937
🏆本文收录于 《全栈Bug调优(实战版)》 专栏，该专栏专注于分享我在真实项目开发中遇到的各类疑难Bug及其深层成因，并系统提供高效、可复现的解决思路和实操方案。无论你是刚入行的新手开发者，还是拥有多年项目经验的资深工程师，本专栏都将为你提供一条系统化、高质量的问题排查与优化路径，助力你加速成长，攻克技术壁垒，迈向技术价值最大化与职业发展的更高峰🚀！
信用评分python_信用评分卡模型在Python中实践（上）
weixin_39744408的博客
12-08 371
python金融风控评分卡模型和数据分析微专业课(博主亲自录制视频)：http://dwz.date/b9vv一、 前言之前看到信用标准评分卡模型开发及实现的文章，是标准的评分卡建模流程在R上的实现，非常不错，就想着能不能把开发流程在Python上实验一遍呢，经过一番折腾后，终于在Python上用类似的代码和包实现出来，由于Python和R上函数的差异以及样本抽样的差异，本文的结果与该文有一定的差...
【Python】利用Python开发信用评分卡
fulk6667g78o8的专栏
08-15 6009
【Python】利用Python开发信用评分卡
一行代码搞定信用评分模型（python）
fulk6667g78o8的专栏
08-15 5733
一行代码搞定信用评分模型（python）
基于Python的信用评分卡模型分析（一）
codingpy的博客
09-14 1770
点击上方“编程派”，选择设为“设为星标”优质文章，第一时间送达！信用风险计量体系包括主体评级模型和债项评级两部分。主体评级和债项评级均有一系列评级模型组成，其中主体评级模型可用“四张卡”...
PySpark数据分析基础：pyspark.sql.SparkSession类方法详解及操作+代码展示
m0_67402236的博客
08-02 2536
SparkSQL是用于结构化数据处理的Spark模块。它提供了一种称为DataFrame的编程抽象，是由SchemaRDD发展而来。不同于SchemaRDD直接继承RDD，DataFrame自己实现了RDD的绝大多数功能。SparkSQL增加了DataFrame（即带有Schema信息的RDD），使用户可以在SparkSQL中执行SQL语句，数据既可以来自RDD，也可以是Hive、HDFS、Cassandra等外部数据源，还可以是JSON格式的数据。PySpark数据分析基础。...
(base) C:\Users\123>PYTHONIOENCODING= 'PYTHONIOENCODING' is not recognized as an internal or external command, operable program or batch file.
07-12
首先，用户的问题是：“我想解决在Windows命令行中设置PYTHONIOENCODING环境变量时出现的错误 请问如何在Windows命令行中正确设置PYTHONIOENCODING环境变量”。用户提到在Windows命令行中设置这个环境变量时出现错误...
backend.ai-client-py：适用于Python的Backend.AI客户端库
02-24
后端.AI客户端 的官方API客户端库 用法（KeyPair模式） 您应该将访问密钥和秘密密钥设置为环境变量以使用API​​。 从或您的集群管理员那里密钥对。 在Linux / macOS上，在...set PYTHONIOENCODING = UTF-8 set BAC
vs code上配置python的运行环境.docx
03-12
"PYTHONIOENCODING": "UTF-8" } } } ``` 这样，通过快捷键`Ctrl+Shift+B`就能运行当前文件的代码，并保证输出的编码格式为UTF-8，避免中文乱码问题。 6. **配置Pylint**： - Pylint是一个静态代码分析工具，...
python的申请评分卡模型 数据集
07-15
基于python的申请评分卡模型，训练，测试数据集 application.csv
信用风险标准评分卡模型的开发及实现
08-04
基于R语言的信用风险标准评分卡模型的开发及代码实现，适用于互联网金融行业的评分卡模型开发。
基于Python的信用评分卡模型建立和分析，万字阐述，收藏
fulk6667g78o8的专栏
06-18 5317
基于Python的信用评分卡模型建立和分析，万字阐述，收藏
基于 Python 的信用评分模型开发-附数据和代码
fulk6667g78o8的专栏
08-15 9416
基于 Python 的信用评分模型开发-附数据和代码
软件测试学习 之 Python 环境变量PYTHONIOENCODING 与 sys.stdout.encoding
日暮途远无蹉跎
04-22 7253
本文主要是针对以下两个问题进行的验证 sys.stdout.encoding是否就是控制台的编码（代码页）？ 配置环境变量PYTHONIOENCODING之后，sys.stdout.encoding就会取该值？ ...
python encoding_你可能不知道的Python之Encoding
weixin_39754411的博客
11-28 2425
阅读：2,005由一个简单的问题，引发了这么一连串的代码分析，Python设计者也确实煞费苦心。不过研究技术，还是要有刨根问底的精神，把原理弄清楚，才能做好开发。刚刚不久前才开始用Python写点小程序，没有怎么仔细研究过，然后就遇到了一个很有趣的问题。关于字符串输出的问题，如下：str与unicode_str一个是utf-8编码，另外一个是unicode，但是通过print输出来的都是同样的“毛...
python文件操作 信用模型 2016.06.27回顾
strwolf的专栏
06-28 1074
1、python在linux中创建文件夹，os.mkdir，os.mkdir不能递归地创建文件夹，也就是说父文件夹必须存在，os.makedirs可以递归地创建文件夹 2、python判断文件是否存在，用到的是os.path.exists() 3、nohup重定向的命令问题，nohup command >log 2>&1 &这样写日志，重启一次命令，上次的log会被覆盖，运维告诉我用nohup
Python + re + scrapy.Selector: 分析提取某在线征信站体系内容（一）
Nnnn的博客
08-24 873
对于大多数求职者而言，查询企业征信是很有必要的。作为一个有“内涵”有技术的计算机科学技术人员，纯手动搜索实在不是流行的手法。半自动化和自动化才是办公流行的新趋势。科学技术是第一生产力，而时间就是金钱。智能分析可以节省大量的精力和资源，提高工作效率和产出质量。不管是作为一名有“深度”的劳斯基亦或是懵懂的菜鸟，下面就来试试如何使用Python工具包智能分析提取在线征信内容吧。
python中coding=utf8 的作用
技术成就梦想，梦想成就未来。If you try hard enough, it can be.
09-23 3637
Python2: 在python2中，解释器缺省使用ascii编码进行 解释执行，在没有指定.py文件编码时，如果遇到中文字符，则直接报错：Non-ASCII character found, but no encoding declared。 通过在.py文件第一行加上 # coding=utf-8/gbk，解释器就认为当前文件编码格式为utf-8/gbk，从而可以正确解释执行。 ...
subprocess.run失败
最新发布
11-22
<think> 我们正在分析subprocess.run失败的原因及解决方法。根据引用内容，我们可以总结出几个常见的失败原因以及相应的解决方案。 ### 常见失败原因及解决方法 1. **命令执行失败（非零退出码）** 当子进程返回非零退出码时，表示命令执行失败。如果设置了`check=True`，则会抛出`CalledProcessError`异常。 **解决方法**：使用`try-except`捕获异常，并检查返回码和输出信息。 ```python try: result = subprocess.run(['ls', '/nonexistent'], check=True, text=True, capture_output=True) except subprocess.CalledProcessError as e: print(f"命令执行失败，退出码：{e.returncode}") print(f"标准错误输出：{e.stderr}") ``` 2. **命令超时** 如果命令执行时间超过设定的`timeout`，会抛出`TimeoutExpired`异常。 **解决方法**：捕获超时异常，并考虑是否重试或终止。 ```python try: result = subprocess.run(['sleep', '10'], timeout=5, text=True, capture_output=True) except subprocess.TimeoutExpired as e: print(f"命令执行超时：{e}") ``` 3. **命令不存在** 如果尝试执行一个不存在的命令，会抛出`FileNotFoundError`异常。 **解决方法**：确保命令路径正确，或使用绝对路径。 ```python try: result = subprocess.run(['non_existent_command'], text=True, capture_output=True) except FileNotFoundError as e: print(f"命令不存在：{e}") ``` 4. **输出捕获问题** 如果没有正确捕获输出（例如，忘记设置`stdout=subprocess.PIPE`），则无法获取命令的输出。 **解决方法**：使用`capture_output=True`（Python 3.7+）或显式设置`stdout`和`stderr`。 ```python # 正确捕获输出 result = subprocess.run(['ls', '-l'], capture_output=True, text=True) print(result.stdout) ``` 5. **shell注入风险** 当使用`shell=True`时，如果命令字符串来自用户输入，可能存在安全风险。 **解决方法**：尽量避免使用`shell=True`，或严格校验用户输入。 ```python # 不安全的做法（用户输入可能包含恶意命令） user_input = "some; rm -rf /" subprocess.run(f"echo {user_input}", shell=True) # 更安全的做法：使用列表形式并避免shell=True subprocess.run(['echo', user_input]) ``` 6. **编码问题** 如果命令输出包含非UTF-8字符，且未正确处理编码，可能导致解码错误。 **解决方法**：指定正确的编码，或使用`bytes`输出后再解码。 ```python result = subprocess.run(['ls', '-l'], capture_output=True) # 手动解码，忽略错误 output = result.stdout.decode('utf-8', errors='ignore') ``` ### 总结 使用`subprocess.run`时，应始终考虑错误处理。通过捕获异常、检查返回码和正确处理输出，可以更稳健地运行子进程。对于关键任务，建议结合日志记录，以便于故障排查。 §§相关问题§§ 1. 如何安全地执行用户提供的命令？ 2. 如何同时捕获标准输出和标准错误？ 3. 如何设置子进程的环境变量？ 4. 如何在Windows系统中正确使用subprocess.run？ </think> ### `subprocess.run` 失败原因及解决方法 当 `subprocess.run()` 执行失败时，常见原因和解决方案如下： #### 1. **命令不存在或路径错误**（引发 `FileNotFoundError`） ```python try: result = subprocess.run(["non_existent_cmd"], check=True) except FileNotFoundError as e: print(f"命令不存在: {e}") # 输出具体错误信息[^1] ``` **解决方法**： - 使用绝对路径：`subprocess.run(["/usr/bin/ls"])` - 添加环境变量： ```python env = {**os.environ, "PATH": "/custom/bin:" + os.environ["PATH"]} subprocess.run(["custom_cmd"], env=env) ``` #### 2. **非零退出码**（引发 `CalledProcessError`） ```python try: # grep 在未找到匹配时返回1 result = subprocess.run(["grep", "pattern", "file"], check=True) except subprocess.CalledProcessError as e: print(f"命令失败(退出码 {e.returncode}): {e.stderr.decode()}") # [^1][^2] ``` **解决方法**： - 移除 `check=True` 捕获退出码： ```python result = subprocess.run(["cmd"], capture_output=True) if result.returncode != 0: print(f"错误输出: {result.stderr.decode()}") ``` #### 3. **超时问题**（引发 `TimeoutExpired`） ```python try: result = subprocess.run(["sleep", "10"], timeout=5) except subprocess.TimeoutExpired as e: print(f"命令超时: {e}") # [^1] e.stdout # 获取已捕获的输出 ``` **解决方法**： - 增加超时时间：`timeout=30` - 使用异步执行： ```python with subprocess.Popen(["long_running_cmd"]) as proc: try: proc.communicate(timeout=30) except TimeoutExpired: proc.kill() ``` #### 4. **权限不足** ```python try: subprocess.run(["sudo", "apt", "update"]) except PermissionError as e: print(f"权限不足: {e}") ``` **解决方法**： - 添加执行权限：`os.chmod("script.sh", 0o755)` - 使用权限提升： ```python subprocess.run(["pkexec", "privileged_cmd"]) ``` #### 5. **输出编码问题** ```python result = subprocess.run(["cmd"], capture_output=True, text=True, # 自动解码 encoding="utf-8", # 指定编码 errors="ignore") # 忽略解码错误[^1] ``` **解决方法**： - 使用原始字节后处理：`output = result.stdout.decode("utf-8", errors="replace")` - 设置环境变量：`env={"PYTHONIOENCODING": "utf-8"}` #### 6. **资源限制导致失败** ```python try: # 限制子进程资源 result = subprocess.run(["mem_hungry_cmd"], rlimits={ resource.RLIMIT_AS: 500 * 1024 * 1024 # 500MB内存限制 }) except OSError as e: print(f"资源不足: {e}") ``` ### 最佳实践总结 1. **始终处理异常**：使用 `try-except` 捕获 `CalledProcessError`, `TimeoutExpired` 等 2. **明确指定路径**：避免依赖 `$PATH` 环境变量 3. **安全使用 `shell=True`**： ```python # 避免! 可能引发注入攻击 subprocess.run(f"rm -rf {user_input}", shell=True) # 推荐做法 subprocess.run(["rm", "-rf", sanitized_path]) ``` 4. **及时清理资源**： ```python with subprocess.Popen(...) as proc: # 自动清理 ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值