- 博客(27)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 书生大模型学习笔记9 - LMDeploy 量化部署
lmdeploy lite auto_awq: lite这是LMDeploy的命令，用于启动量化过程，而auto_awq代表自动权重量化（auto-weight-quantization）。/root/learning/InternLM/XTuner/merged_20b-w4a16-4bit: 这是工作目录的路径，用于存储量化后的模型和中间结果。–calib-dataset ‘ptb’: 这个参数指定了一个校准数据集，这里使用的是’ptb’（Penn Treebank，一个常用的语言模型数据集）。
2024-08-19 11:49:54
550
原创 书生大模型学习笔记5 - 提示词工程实践
LangGPT 是 Language For GPT-like LLMs 的简称，中文名为结构化提示词。LangGPT 是一个帮助你编写高质量提示词的工具，理论基础是我们提出的一套模块化、标准化的提示词编写方法论——结构化提示词。我们希望揭开提示工程的神秘面纱，为大众提供一套可操作、可复现的提示词方法论、工具和交流社群。我们的愿景是让人人都能写出高质量提示词。LangGPT社区文档：https://langgpt.ai。
2024-08-08 22:18:26
919
原创 书生大模型学习笔记6 - InternLM + LlamaIndex RAG 实践
安装 Llamaindex下载 Sentence Transformer 模型下载 NLTK 相关资源我们在使用开源词向量模型构建开源词向量的时候，需要用到第三方库 nltk 的一些资源。正常情况下，其会自动从互联网上下载，但可能由于网络原因会导致下载中断，此处我们可以从国内仓库镜像地址下载相关资源，保存到服务器上。
2024-08-06 21:35:50
842
原创 书生大模型学习笔记4 - 模型的部署
LMDeploy 已经支持了 InternLM-XComposer2 系列的部署，但值得注意的是 LMDeploy 仅支持了 InternLM-XComposer2 系列模型的视觉对话功能。InternLM-XComposer2 是一款基于 InternLM2 的视觉语言大模型，其擅长自由形式的文本图像合成和理解。LMDeploy 启动一个与 InternLM-XComposer2-VL-1.8B 模型交互的 Gradio 服务。Streamlit web运行。创建 cli_demo.py。
2024-08-05 13:02:16
975
原创 书生大模型学习笔记2 - Python
1: continue: 继续运行到下一个断点2: step over：跳过，可以理解为运行当前行代码，不进入具体的函数或者方法。3: step into: 进入函数或者方法。如果当行代码存在函数或者方法时，进入代码该函数或者方法。如果当行代码没有函数或者方法，则等价于step over。4: step out：退出函数或者方法, 返回上一层。5: restart：重新启动debug。
2024-08-02 22:22:22
360
原创 JavaScript 高质量编码要点笔记
原文来自 编写高质量JavaScript代码的基本要点，本文为经过整理之后的笔记全局变量问题```javascriptvar a = 5;function func(){ b = 6;}```不使用没有声明的变量，使用 var 声明使用var创建的变量不能被delete，直接使用的全局变量可以被delete单var形式，提供了一个单一的地方去寻找功能所需要的所有局部变量var a
2016-11-21 11:17:10
516
原创 Mycat分库分表
mycat分片规则规则种类，在rule.xml文件中<table name="t_config" primaryKey="id" dataNode="dn1,dn2" rule="规则名" />sharding-by-intfile 分片枚举rule1 固定分片hash算法 auto-sharding-long 范围约定 mod-long 取模 sharding-by-date 按日期（
2016-10-21 17:12:54
2517
原创 Linux下Mycat安装配置和使用
mysql安装下载mysql【百度云】tar -zxvf mysql-5.6.32-linux-glibc2.5-x86_64.tar.gz 解压把mysql文件夹移动到 /usr/local/ 下mv mysql-5.6.32-linux-glibc2.5-x86_64 /usr/local/mysql创建mysql用户和组groupadd mysqladduser -r -g mysq
2016-10-20 15:07:13
28515
4
原创 java在linux下新建文件夹
java在linux下新建目录需要先获取权限File f=new File("/home/hay");f.setWritable(true, false); //设置写权限，windows下不用此语句f.mkdirs();
2016-10-14 17:58:29
18332
6
原创 python模块win32com 实现数据库表结构自动生成word表格
下载win32模块下载链接连接mysqlimport MySQLdbdb_host = ""db_port = 3306db_name = ""db_user = ""db_pwd = ""db = MySQLdb.connect(host=db_host,port=db_port,user=db_user,passwd=db_pwd,db=db_name,charset="utf8")
2016-08-29 13:56:46
5028
1
原创 kettle安装使用
下载kettile安装kettle前必须要装了java，如果系统内存大于4G，最好装64位的 下载链接解压之后根目录下找到Spoon.bat文件，用编辑器打开，找到下面代码PENTAHO_DI_JAVA_OPTIONS="-Xms1024m" "-Xmx2048m" "-XX:MaxPermSize=1024m"-Xms：设置JVM初始内存 -Xmx：设置JVM最大可用内存 -XX:MaxPe
2016-07-08 15:26:42
4896
原创 centos6.5安装配置spark
安装java下载jdk解压 tar -zxvf jdk-8u91-linux-x64.tar.gz设置JAVA_HOME：修改配置文件vi /etc/profile，最后一行添加以下代码export JAVA_HOME=/usr/java/jdk1.8.0_91 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.
2016-06-28 18:12:39
6528
原创 Hadoop-2.7.2在Linux（centos6.5）上安装配置
下载Hadoop-2.7.2官方下载地址百度云下载地址下载JAVA64位百度云下载VMware启动linux注意事项：VMware设置网络为nat模式linux设置启动后自动连接网络 方法一：修改配置文件 vi /etc/sysconfig/network-scripts/ifcfg-eth0，将ONBOOT=no 改成 yes 就表示开机后默认链接
2016-06-28 17:28:59
2781
1
原创 idea配置spark开发环境时产生的错误总结
错误一null>bin>winutils.exe not found这种情况下只是需要winutils.exe文件即可，不需要下载所有hadoop winutils.exe下载链接 然后放在hadoop/bin文件夹下，环境变量加上HADOOP_HOME错误二build Artifacts时报错java.lang.outofmemoryerror配置时output，因为运行环境中已经有相关包，所
2016-06-28 14:28:42
3138
原创 shell脚本编写，实现爬虫挂掉后重启
首先我说一下需求我有一个java写的爬虫，需要运行在linux后台，爬虫分为服务器端和客户端后台运行爬虫linux运行jar文件 java -jar ./spider_server.jar 后台运行：nohup java -jar ./spider_server.jar > server.log 2>&1 &使用nohup命令，然后把日志信息输出到server.log中如果直接使用 java -j
2016-06-23 17:42:57
1727
原创 xshell端口转发，plsql连接远程oracle
xshell端口转发首先用xshell连接上远程linux主机点击xshell窗口下’查看’>’隧道窗格’，底端出现如下窗口 点击右键>添加,填写端口转发信息 请求本地的5568端口时，将请求转发到主机192.168.0.142的1521端口，5568是随意设置的，1521是目标主机中oracle的端口号 左边圆点为绿色即代表转发成功plsql远程连接oracle下载plsql和
2016-06-17 10:36:29
7984
1
原创 Linux安装使用mongodb
下载wget http://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel55-3.2.7.tgz解压tar -zxvf mongodb-linux-x86_64-rhel55-3.2.7.tgz新建数据存放目录mv mongodb-linux-x86_64-rhel55-3.2.7 mongodb-3.2.7mkdir mongodb-3.2
2016-06-16 15:10:24
1818
原创 eclipse下开发mapreduce需要导入的jar包
hadoop-2.7.2/share/hadoop/mapreduce下的所有jar包（子文件夹下的jar包不用）hadoop-2.7.2/share/hadoop/common下的hadoop-common-2.7.2.jar
2016-06-16 14:26:48
13677
1
原创 python 爬虫抓取19楼租房信息
查看19lou.com的Cookiechrome中打开19lou.com，按F12可以打开开发者工具查看 不获取Cookie会导致爬取网站时重定向而抓不到内容定义headersheaders = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:14.0) Gecko/20100101 Firefox/14.0.1', '
2016-05-21 17:39:33
1891
原创 JavaScript学习笔记5
Object类型var person = new Object();person.name = 'Jayson';//对象字面量表示法，不会调用Object构造函数（Firefox3及更早版本会）var person = { name : 'Jayson'};var student = {};student.name = 'Jayson';//访问时可以使用两种表示法pers
2015-08-11 19:39:55
391
原创 JavaScript学习笔记4
变量包含两种不同数据类型的值基本类型值(undefined,null,boolean,number,string) 引用类型值(object) 例 obj1,obj2 引用了同一个对象 //访问变量有按值和按引用两种方式var obj1 = new Object(); var obj2 = obj1;function setName(obj){ //参数只能按值
2015-06-22 19:54:29
385
空空如也
kNN分类算法中k的取值如何确定？
2016-04-18
TA创建的收藏夹 TA关注的收藏夹
TA关注的人