- 博客(103)
- 资源 (14)
- 收藏
- 关注
RSS订阅原创 爬取b站评论
本博客旨在分享关于爬虫技术的学习和实践经验，仅供学习使用，请使用爬虫技术的用户自行承担相应的法律责任，务必在进行任何网络数据抓取操作之前，仔细审查相关法律法规，并取得相应的授权或同意。请确保你的行为符合道德和法律的双重标准，尊重知识产权和网站的服务协议，仅将此技术应用于正当、合法的学习和研究目的。
2025-01-10 16:32:20
657
原创 玩alfworld
一开始在win上安装一直出错，后来发现Jericho库安装一直失败，后来在github上看到需要linux环境，本来打算用虚拟机，但我的win内存不够了，在虚拟环境里面安装anconda一直装不上，所以只能放弃win部署。是一个轻量级的 Python 库，用于连接学习代理与交互式小说游戏。由微软开发并维护，它提供了一个直观的接口，使人工智能和机器学习模型能够理解、互动，并通过经典的文本冒险游戏进行学习。通过 Jericho，你可以训练智能代理解决复杂的环境问题，体验阅读理解与决策制定的结合。
2025-01-08 16:06:29
457
原创 爬虫基础知识点
items.py在app里面导入模型类(from ..items import CarItem)，创建空对象，然后把爬取的数据赋值给对象,最后yield item（此时item对象就到了pipelines）
2024-12-12 16:27:58
1192
原创 Gemma
配置lora的训练参数，包括损失计算compute_metrics，并对输入的input_ids构造输入样本列表批次处理。使用nlp-getting-started数据集训练模型做二分类任务。，下载gemma需要HF的Token，按照步骤就可以下载。在源model基础上配置LoRA的参数，形成lora_model。处理csv数据，将输入文字经过tokenizer编码处理。首先是去HF下载模型，但一直下载不了，所以去了。这里我有时是2b有时是7b，换着用。配置lora_model的训练参数。
2024-02-27 16:19:17
964
原创 开源模型部署及使用
具体用什么模型实现什么任务可以在flagai\auto_model\auto_loader.py里面看到可用的模型和方法，如果你用的不对也会有输出，可以根据提示选择。修在configs/model_config.py里面模型文件的地址，这里确保你的两个模型文件都放在MODEL_ROOT_PATH ，并名字都和代码里的一样。据说要开源33b大模型，而且还是中英双语，有些期待，可以先试试他们的7b，这里面竟然还有生成code和sql的模型，感觉可以跟一波。不适用缓存数据重新下载，最后就可以了。
2024-01-25 18:08:22
1824
原创 chatglm4使用
登录，这里注册就送10万token，去API keys拿到自己的key。给自己的环境安装一下他们的库。使用流式输出时，在messages里面添加stream参数，打印时使用循环。glm4开始闭源了，所以就使用api来试试。
2024-01-22 14:20:15
4207
5
原创 内网穿透工具的使用
生成的还是https，这里访问时遇到了问题Invalid Host header，可以参考博文：https://blog.youkuaiyun.com/i_am_father_for_/article/details/130831142，就是修改了vue的配置文件。选择隧道管理-隧道列表，可以看到website的状态是activite状态(默认8080端口，可以自己编辑修改)。前两个都不能生成http，搞得头疼，终于找到了可以生成http的。终于找到了可以http访问的工具了，不过我用的免费版，网络不稳定。
2024-01-18 15:41:50
642
原创 win部署stable-diffusion
去找自己喜欢的风格，然后下载里面的模型，放到自己的model文件里面的Stable-diffusion文件夹去使用。下载一个ckpt模型到这里面的model文件夹里的Stable-diffusion文件夹。首先下载stable-diffusion-webui，这个包了一层ui，特别好用。2.删除掉venv和repositories文件夹。里面找到自己喜欢的风格，然后去。这里的pytorch，自己去。这里遇到git不下来的可以去。然后搭建conda环境。找自己电脑合适的版本。
2023-12-27 10:41:22
1078
1
原创 FastAPI实现文件上传下载
最近的项目需求，是前端vue，后端fastAPI，然后涉及到图像的消息发送，所以需要用fast写文件上传下载的接口，这里简单记录一下。
2023-12-22 10:52:42
2380
2
原创 springboot_vue知识点
1.跨域问题，后端common里面加一个CorsConfig.javaimport org// 1 设置访问源地址 corsConfiguration . addAllowedHeader("*");// 2 设置访问源请求头 corsConfiguration . addAllowedMethod("*");// 3 设置访问源请求方法 source . registerCorsConfiguration("/**" , corsConfiguration);
2023-11-23 14:06:00
293
原创 chatglm3部署使用
然后还有一个问题是requests异步访问有问题，所以用了httpx，修改front_end.py里面的@app.get(“/api/chat”)项目，模型地址换成本地的glm3，运行app文件即可，这里主要是环境的问题配了好久，之后会把环境文件导出附上。这里我踩的一个坑是没有自定义jupyter内核用glm3环境设置的，所以一直是有代码没图像。项目，这里面有连接互联网，查询天气和思维导图等很多功能，这里面遇到的问题是把前端vue里的。api用的8000端口，所以在front_end.py最后一行改为。
2023-11-23 14:05:05
2245
原创 简单宿舍管理系统（springboot+vue）
最近看了springboot和vue，为了练一下把前后端打通就自己手动写个简单的系统，测试一下，把代码放在仓库。
2023-10-22 19:04:12
935
3
原创 Springboot写电商系统（2）
在IAddressService 接口里面定义新增地址的方法addNewAddress，这里面从前端拿到的表单信息是address（这里面有name是收货人），然后从session中拿到uid和username（这个将是修改人和创建人）。
2023-10-20 15:35:07
879
原创 Streamlit学习笔记
无意间看到低代码的Streamlit，感觉很好用还可以免费部署，这个结合AI和数据科学来演示，效果很好。最近比较有空就看看文档学习一下。文档里的内容很全面，我就只记一些自己觉得有用的，想学习的推荐去看。
2023-10-19 19:53:28
420
原创 Spring Boot学习笔记（1）
1.下载vscode2.安装jdk，我电脑有这个环境，没有的可以搜一下，记得配置环境变量；然后如果电脑里有多个jdk的话，切换的时候在环境变量里把的值变成你要的版本，我现在用的是17版本，所以是。查看：3.安装maven，然后配置环境变量path，可以参考博文，我的版本3.9.4，然后在conf/settings.xml 里面配置本地仓库地址和jdk版本：并修改阿里云镜像：配置完之后可以查看maven版本和配置的jdk版本4.在vscode里面安装插件：Java Extension Pack(Ja
2023-10-19 19:51:33
593
原创 Springboot写电商系统（1）
BaseEntity类实现了Serializable接口。Serializable是Java中的一个标记接口，它没有任何方法，仅用于指示该类的对象可以被序列化。序列化是将对象转换为字节流的过程，以便可以将对象保存到文件、数据库或通过网络传输，然后在需要时反序列化还原成对象。这里用的包装类来创建对象的属性，包装类（Wrapper Class）是Java中的一种特殊类，用于将基本数据类型（如整数、字符、布尔值等）包装成对象。
2023-10-18 17:37:25
293
原创 VUE3写电商系统(4)
1.首页的轮播图和category的轮播图，用参数来做分别const { distributionSite = '1' } = params//默认为1，首页轮播图， 当为2时，categoryparams: {})2.category里面给参数设为2，然后访问后台拿数据})
2023-10-13 13:17:42
165
原创 Android实现钉钉打卡并邮箱通知
因为一系列原因，本人咸鱼50块钱淘了一个小米note移动4G，系统是MIUI6，因为版本太老了，所以不能设置自动开启应用，所以就用了adb,链接电脑，定时跑程序，按按键实现打卡，并且截屏发送到自己的邮箱，实现打卡自由。主要应用了。
2023-09-27 17:28:34
670
2
原创 VUE写后台管理(2)
1.使用element组件搭建Main.vue的主要框架（Container 布局容器，Menu 菜单,Icon 图标）而组件的渲染位置除了主路由在App.vue里面渲染，子组件也在主组件的vue里面渲染，所以要在主组件里面添加。目录作为视图组件，然后在里面创建自己的组件文件（Home.vue和User.vue）搞了好久没成功，干脆在最初创建项目时手动选择，然后选择到typescript。6.在main.js中将上面导出的router挂载到根节点上。里面将路由和组件进行映射，并创建router示例导出。
2023-09-07 17:34:27
756
原创 TP5多用户商城
这里的访问路径配置了好久，首先是在phpstudy里面设置根目录到public文件夹，然后高级配置里打开目录索引，然后在public目录下的.htaccess文件里写。application\system\view\login\index.html是在网上随便找的模板，其中css等静态文件放在public/static文件夹下。然后就可以访问http://www.system.com/system/login/index/（域名/模块名/控制器名/方法名/）。4.某二级类目进行编辑操作。
2023-08-25 15:16:00
396
原创 VUE基础知识(1)
之前学习flask后端时接触到了vue，感觉比大学学的基础html，css，javascript要好用效果还好，所以就看看vue的相关知识，具体的环境搭建，在我之前的里面有。用进行学习。
2023-08-09 17:00:36
170
原创 Flask学习笔记_异步CMS（五）
这篇博客是上一篇的后台，使用Vue3+VueCli+VueRouter+Vuex搭建，这个是，具体的代码放到了。
2023-08-04 11:30:08
1179
原创 Flask学习笔记_异步论坛（四）
celery（分布式任务队列/任务调度器）和redis（内存数据库）的。Broker和Backend都用redis存储。flask-caching的相关教程可以查看。在app.py文件的目录下。
2023-07-31 16:56:32
1496
原创 Flask学习笔记（二）
6.永久性重定向：http的状态码是301，多用于旧网址被废弃了要转到一个新的网址确保用户的访问，最经典的就是京东网站，你输入www.jingdong.com的时候，会被重定向到www.jd.com，因为jingdong.com这个网址已经被废弃了，被改成jd.com，所以这种情况下应该用永久重定向。比如php、python的代码，是不能直接通过nginx这种web服务器来处理的，只能通过应用服务器来处理，常见的应用服务器有uwsgi、tomcat等。我电脑安装了anconda，所以这一块我就不用操作了。
2023-06-29 16:53:28
1547
原创 Flask学习笔记（一）
传到html的变量处理再渲染，这时用管道操作符（|），连接自带的过滤器或者自定义的过滤器.在html文件里加载static里面的css,js,picture等文件。static（文件夹，放css，js，图片文件等）创建一个名为database_learn的数据库。2.在python中连接数据库并测试是否连接成功。templates（文件夹，放html文件）1.安装mysql，这里可以参考。1.第一个flask项目.py。4.加载静态文件.py。然后在flask环境中。
2023-06-19 17:10:31
1059
原创 Java学习笔记
int age;System . out . println("名字：" + name);System . out . println("年龄：" + age);System . out . println("职位：" + designation);System . out . println("薪水：" + salary);} }EmployeeTest.java,程序都是从main方法开始执行。
2023-06-16 15:47:41
1199
原创 Langchain学习笔记
发现是代理问题，所以需要修改虚拟环境的site-packages/openai/api_requestor.py。3.打开juypter，选择langchain虚拟环境。测试是否是自己虚拟环境。还删掉了urllib3，下载了urllib3==1.25.11。这时就可以使用这个环境学习langchain了。1.创建虚拟环境,名叫langchain。2.在jupyter中使用这个虚拟环境。因为在第一个测试文件里面出现了问题。
2023-06-06 16:40:00
3647
3
原创 chatglm6b和闻达的功能扩展
最近大火的chatgpt，老板说让我看看能不能用自己的数据，回答专业一些，所以做了一些调研，最近用这个倒是成功推理了自己的数据，模型也开源了，之后有机会也训练一下自己的数据。
2023-05-16 09:39:09
3895
15
原创 VITS训练自己的AI歌手
最近大火的AI孙燕姿真是好玩，大佬们把训练工作做成了集成包，不用配环境，上手即用，跟着大佬训练了自己喜欢的Leslie，顺便写一下笔记，喜欢的可以参考，最后一章附上大佬们的视频链接和文章链接。
2023-05-11 17:08:35
983
原创 NLP基础知识
Gensim的输入是原始的、无结构的数字文本（纯文本），内置的算法包括Word2Vec，FastText，潜在语义分析（Latent Semantic Analysis，LSA），潜在狄利克雷分布（Latent Dirichlet Allocation，LDA）等，通过计算训练语料中的统计共现模式自动发现文档的语义结构。主要有根据中心词V预测上下文词U的skip-gram（跳字模型）方法和根据U预测V的CBOW（Continuous bag-of-words model连续词袋）模型。
2023-04-13 19:56:01
197
原创 GPT2训练自己的对话问答机器人
data/train.pkl:对原始训练语料进行tokenize之后的文件,存储一个list对象，list的每条数据表示一个多轮对话，表示一条训练数据。这里我是参考了大佬的代码复现了一下，里面包含训练数据和训练好的模型文件，链接放下面，需要的自取。运行interact.py，使用训练好的模型，进行人机交互，输入Ctrl+Z结束对话之后，聊天记录将保存到sample目录下的sample.txt文件中。运行train.py,使用预处理后的数据，对模型进行自回归训练，模型保存在根目录下的model文件夹中。
2023-04-09 20:00:33
2230
2
AgentLM部署环境
2023-11-01
windows10_python3.7下安装jax用的jax0.2.9和jaxlib0.1.61
2022-06-16
model_data.rar
2020-07-25
deblur-gan-master.rar
2020-07-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人