花菜回锅肉的博客

最近在学习大模型部署，需要安装flash-attn，在编译时报错centos7.9默认gcc最高版本为4.8.5以上报错需要高版本的gcc支持，所以需要升级GCC的版本，对应关系参考这里选择9.0版本进行升级。网上搜索教程，多是 基于centos yun 安装替换方式，比较复杂，该文章基于conda虚拟环境来进行升级，操作简单，对原系统侵入少。

网络数据爬取大致分为两类：静态爬取：该种方式针对那种架构比较老的网站，使用模版方式，通过浏览器F12只能找到静态页面，找不到返回json数据的接口，数据以html的方式存在api爬取：网站采用前后端分离架构，可以很容易找到接口，获取json数据，这种爬取比较简单，只需按照规则调用接口即可获取目标数据。这里仅介绍复杂一些的静态爬取方式。1 cookie是关键，也是难点，但抓住了主线也就迎刃而解，这主线即是cookie原理。

1 工作中做数据分析的代码，可以加上交互界面，抽象打包成小工具进行使用，提高工作效率，其他场景可做类似考虑；

python 使用列表来定义栈stack = []1 如果只想获取栈顶元素，而不删除，则可以使用stack[-1]2 想要遍历栈，貌似只能从栈顶元素不断弹出3 python实现栈是使用的列表，那就意味着使用stack[n]或者stack[-n]可以遍历栈的元素，也就是把栈当列表使用，但这个时候，栈就不叫栈了吧4 栈是一端封口，元素从另一端放入和取出，可以根据这句话感受下栈元素变化的特性。

Selenium可以模拟浏览器运行，用于web应用程序测试工具。可以直接运行浏览器，像用户自己操作一样。1 显示等待和隐式等待不能一起使用，会报超时错误；2 显示等待有时不太好用，直接使用time.sleep()会稳定很多，但效率会低，看怎么取舍；