- 博客(26)
- 收藏
- 关注
RSS订阅原创 轻松上手腾讯云Elasticsearch，解锁向量搜索新姿势！
在腾讯云上申请es集群用python 连接es,并导入数据连接es,并进行文本检索。
2025-03-10 20:23:22
146
原创 Ollama部署指南
首先从官网上下载https://ollama.com/download/linux对应的命令。Ollama是一个专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计的开源工具。从这里找自己需要的模型https://ollama.com/search。我是使用的云平台，大家也可以根据自己的云平台的特点进行适当的调整。如何部署Ollama？使用系统：ubuntu。查看ollama的状态。结束之后，就可以对话了。什么是Ollama？
2025-02-01 17:14:05
331
原创 探索Milvus数据库：新手入门指南(tencent云)
Milvus通过优化存储和计算资源的使用，使得在大数据环境下进行高效的向量搜索成为可能。选择Milvus的理由有很多。首先，它提供了高性能的向量搜索能力，这对于需要快速检索相似项的应用场景至关重要。其次，Milvus支持多种索引类型，包括Faiss、Annoy、HNSW等，这些索引技术可以帮助用户根据不同的需求选择合适的索引策略。此外，Milvus还提供了一个友好的用户界面和一个完整的API集，使得即使是初学者也能快速上手。如果你是Milvus的新手，这篇文章将带你一步步了解如何开始你的Milvus之旅。
2025-01-01 15:38:04
1062
原创 Docker新手：在tencent云上实现Python服务打包到容器
Docker 容器可以在任何支持 Docker 的环境中运行，无论是开发者的笔记本电脑、测试服务器还是生产环境。这确保了应用在不同环境中的行为一致，减少了“在我的机器上可以运行”的问题。：每个 Docker 容器都是独立的，拥有自己的文件系统、网络接口和进程空间。这使得不同应用之间不会互相干扰，提高了系统的稳定性和安全性。：Docker 容器共享宿主机的操作系统内核，因此它们比虚拟机更轻量，启动速度更快，占用的资源更少。这使得在相同的硬件资源下可以运行更多的应用实例。
2024-12-30 19:48:45
849
原创 RPA系列-uipath 学习笔记4
这里解释一下，新建hover是为了让uipath捕获到我的hover是从那个主按钮中得到的，然后点击click的时候，点击pause并且在悬停项上面右击鼠标是为了让页面能够准确抓取到悬停之后的选择项，如果不点击pause,这个uipath无法正确捕捉到ui element.今天呢，就是记录一下，怎么实现网站上悬停功能，以便在自己记忆出走的时候能找回来。然后点击run file,可以看到程序执行，并且跳转到正确的页面。使用的时候，是已经登录的状态，并且把这个网页弄成当前活动页面。
2024-12-28 09:57:50
619
原创 RPA系列-uipath 学习笔记3
因为这个表中有多行信息，点击之后会出现让你再继续填写的界面，但是在这里，为了保险起见，可以加上一个检查是否完成的状态，检查下面这个页面是否出现，若出现，那么点击填写另一个表单，若没出现，那么，就不做任何操作。在activity中拉入excel process scope,同时在里面点击use_excel_file,选择你要使用的file,并且按行做循环read range,因为是全表做循环，到这里，整个流程就结束了，点击run file,就可以看到uipath就能自动帮你填写表单了，
2024-12-25 15:59:56
607
原创 RPA系列-uipath 学习笔记2
备注：使用version：2024.10.6,所有学习来源自uipath-学院在执行整个process的过程中，要保持所有的数据文件处于关闭状态，因为打开状态的时候，这个文件会被认为是锁定状态，会报错。对应的数据文件来自：链接: salesreport打开uipathstudio，新建一个模板文件，并把所有数据合并到这个新的模板文件中，原来的数据文件是这样的从activity中选择excel process scope,第一步选择delete file,是为了这个流程每次都能从头开始执行，保证数据不会
2024-12-08 17:35:13
925
原创 RPA系列-uipath 学习笔记1
通过学习UiPath的各个组成部分，可以全面掌握RPA技术，并在实际工作中应用自动化流程来提高效率和准确性。希望这份学习记录对你有所帮助！
2024-12-05 14:01:00
1817
原创 在腾讯云上安装并使用docker
第一次使用腾讯云，记录一下过程因为我平时需求量不大，所以选择的是按需购买按照提示一步步往下走，创建实例如果你不记得密码，那么在下面这幅图中可以重置(选择在线重置，对实例没影响)因为这个对于你上传本地文件到服务器有用。
2024-10-03 08:53:45
679
原创 本地访问autodl的jupyter notebook
点击最下面的访问地址，会弹出一个让你输入密码的页面，输入当时你本身设置的密码，不是sha1密码，即可访问。编辑刚才的config文件 vim /root/.jupyter/jupyter_notebook_config.py。返回原来的控制台，重新输入jupyter notebook --allow-root。安装完成后，输入jupyter notebook --generate-config。下载autodl 的客户端，输入登录指令和密码，记住密码，并输入exit();
2024-10-01 15:10:40
905
原创 InternLM-llama3微调（进阶作业）
把命令替换成xtuner train ~/Llama3-Tutorial/configs/llama3-llava/llava_llama3_8b_instruct_qlora_clip_vit_large_p14_336_lora_e1_finetune.py --work-dir ~/llama3_llava_pth --deepspeed deepspeed_zero2_offload。文本Embedding模型。但是我出现了显卡不够的情况。然后比较训练前和训练后。
2024-05-14 17:26:44
649
1
原创 llama3实践记录-InternLM（基础作业）
输入streamlit run ~/Llama3-Tutorial/tools/internstudio_web_demo.py。作业3:- 使用 XTuner 完成小助手认知微调。也正常回答了，但是回复的都是英文，可以让它中文回复。作业3：使用LMDeploy 部署。但是在 执行chat命令，没有影响。我没有找到解决这个问题的办法，因为代码会强制用llama3,在vscode中建立远程连接。恢复默认源就可以新建环境了。打开本地浏览器，进行测试。
2024-05-11 11:11:51
516
1
原创 书生浦语第七课-OpenCompass 大模型评测实战 笔记-作业
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。注意查看一下有没有 python -c “import opencompass;print(‘version =’,opencompass.列出所有跟 internlm 及 ceval数据集 相关的配置，以表格形式展示。解压之后的文件目录是这样的。
2024-04-25 21:35:51
323
1
原创 书生浦语-第二课轻松分钟玩转书生·浦语大模型趣味 Demo 笔记-作业
这里我用的是浦语·灵笔2 ，它是基于 书生·浦语2 大语言模型研发的突破性的图文多模态大模型，具有非凡的图文写作和图像理解能力，在多种应用场景表现出色。这里我特意找了一张医学上的影像图片，看看它能否识别出来，结果还不错。作业1：让它书写一个300字的小故事。作业2：完成图文创作。
2024-04-25 09:51:20
307
1
原创 书生浦语第四课--XTuner 微调个人小助手认知 笔记及作业
对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型，而是一个额外的层（adapter）。那么训练完的这个层最终还是要与原模型进行组合才能被正常的使用(备注：全量微调不需要)python /root/ft/data/generate_data.py,生成对应的语料文件。但是由于算力有限，我这个微调时间太长，因此换成了deepspeed 来加速训练。同时可以看到train文件夹中已经存放了对应的模型文件。后续可以看到对应的lr的变化以及loss的不断降低。程序启动，打印一些必要的信息。
2024-04-23 15:42:15
268
原创 书生-浦语第六课-Lagent & AgentLego 智能体应用搭建-作业
ssh -CNg -L 7860:127.0.0.1:7860 -L 23333:127.0.0.1:23333 root@ssh.intern-ai.org.cn -p 你的 ssh 端口号。可以重新刷新几次，就会有正确的界面，一定要注意模型IP 要改成127.0.0.1:23333。新建文件touch /root/agent/direct_use.py,并执行，可以看到。1 Lagent Web Demo的部署以及使用。作业2：AgentLego的使用。1 前期的环境以及文件准备。
2024-04-20 14:42:20
366
原创 书生浦语-第五课作业
打开VSCode。在左边栏空白区域单击鼠标右键，点击Open in Intergrated Terminal。终端中输入touch /root/pipeline_transformer.py，新建pipeline_transformer.py按Ctrl+S键保存（Mac用户按Command+S）返回terminal ,运行程序使用LMDeploy与模型进行对话的通用命令格式为：lmdeploy chat [HF格式模型路径/TurboMind格式模型路径]
2024-04-14 20:15:45
1364
1
原创 xgboost的算法整理
1 算法原理xgboost是boosting 中的一种，所用到的树模型是cart tree它的目标函数为第一部分是真实值和预测值的差，第二部分是正则化项，T表示叶子节点的个数，w表示叶子节点的分数，由于新生成的树要拟合上次预测的残差，当生成t颗树后，预测分数写成：y(t)=y(t-1)+f(x)因此将目标函数改写为然后在f_t=0处的泰勒二阶展开近似从而进行进一步求解2在寻找...
2019-04-10 21:29:33
308
原创 基本算法梳理(2)-random forest
接上篇：随机森林的思想1 为什么会产生随机森林解决决策树的过拟合问题。2 随机森林的产生方法给定一个有n个样本的训练集{X，Y}，for b=1,…,B:1.从X中有放回的采样n个样本，组成集合{Xb，Yb}；2.在{Xb，Yb}上随机抽取n个特征训练决策树（或者回归树）3.通过投票决定结果3随机森林的优缺点：优点：随机森林几乎不需要输入准备。它们可以处理二进制特征，分类特...
2019-04-04 21:49:36
203
原创 算法梳理_集成学习（1）
1 概念梳理集成学习(ensemble Learning)：通过构建并结合多个学习器来完成学习任务个体学习器(base learners):也叫基学习器，通常由一个现有的学习算法从训练数据中产生。(这个现有的学习算法可以是朴素贝叶斯，决策树这种单一算法，也许是random forest这种ensemble算法)2 分类常见的有三类：bagging,boosting,stacking（ba...
2019-04-03 09:49:51
278
原创 load json文件时常见错误以及修正总结（亲测有效）
示例1：json_file=’/home/mashagua/my_pycharm/hr_plot/data/address.json’with open(json_file,‘r’) as jf:data=json.loads(jf)错误1：TypeError: the JSON object must be str, bytes or bytearray, not ‘TextIOWrapp...
2019-03-29 08:43:17
7359
1
原创 leetcode刷题-26 删除重复元素
题目：给定一个排序数组，你需要在原地删除重复出现的元素，使得每个元素只出现一次，返回移除后数组的新长度。不要使用额外的数组空间，你必须在原地修改输入数组并在使用 O(1) 额外空间的条件下完成。（题目链接：https://leetcode-cn.com/problems/remove-duplicates-from-sorted-array/）题目的要点：1 数组是已经排序过的，2 在原地删...
2019-02-28 08:52:14
295
原创 使用python自动发送QQ邮件
from smtplib import SMTP_SSLfrom email.mime.text import MIMETextfrom email.mime.multipart import MIMEMultipartfrom email.mime.application import MIMEApplicationfrom email.header import Headerhost...
2019-01-26 18:54:32
754
原创 ubuntu 16.04.1配置tensorflow-gpu教程（tensorflow1.9）(所有亲测有效)
首先，nvidia driver和cuda的关系如下图Table 1. CUDA Toolkit and Compatible Driver VersionsCUDA Toolkit Linux x86_64 Driver Version Windows x86_64 Driver VersionCUDA 10.0.130 ...
2018-12-15 22:01:51
535
原创 SVN Update Error: Please execute the 'Cleanup' command的解决办法
我们经常会从SVN上拉文件或者上传文件，如果拉的文件数量太多，中间有操作中断，那么再重新update的时候会报文件被锁，需要cleanup,那么解决办法是（亲测有效）：选中所在的文件夹，点击右键出现下面界面：把Break write locks勾选上，然后再右键SVN update即可...
2018-12-11 09:16:29
8828
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人