添柴程序猿的专栏

瀚高数据库,免费版的语法和安全版的语法,还不太一样,确实,用习惯了mysql等,再用这个,就有不少问题,这个时候,如果没有厂家支持,是很麻烦的,所以用瀚高数据库,一般都需要配备厂家技术支持吧,1.插入数据的时候对于日期类型,使用sysdate(),获取当前时间插入报错.这样才行. 如果不这样写会报错,提示,没有sysdate()这个函数.这里总结一些常见的语法,希望用到的同行们,能少走些弯路.

上面这是一些,在springboot使用msyql迁移到人大金仓的时候,碰到的问题.首先来看一下这个是人大金仓的,数据库迁移工具,这个是在线版的,然后。如果要迁移,在迁移之前先把mysql的自增去掉.然后再去迁移.再给id列主键列,设置一下刚刚,创建的序列就可以了。然后对于在springboot中的集成也不麻烦。然后人大金仓的安装也简单,看文档操作就可以了.然后迁移以后,对于原来的自增在,人大金仓这边。然后对于人大金仓的文档,可以去官网去看看。需要在序列这里创建序列,然后。然后对于mysql来说。

实体类映射字段之前的修改。要注意,达梦中的一些关键之,user是关键字所以,查询的时候要用 " " 双引号,注意.这里修改成4,兼容mysql的,修改了以后,大部分代码中的mysql语句就不需要修改了.说明一下如何做,然后,后面实际操作项目上用的时候,碰到问题会继续记录。然后开发的时候,注意,@TableName这里 需要用模式名,表名.往后的很多项目估计都要使用国产软件了,也挺好,支持国产!注意迁移到mysql的时候需要修改一下达梦数据库的,兼容模式。然后迁移如果不好用,用达梦的迁移工具,那么这里有个。

然后再去使用manager.get 去获取某个key对应的结果,注意这个结果,并不是key对应的value。然后还可以去用manager.delete 去执行删除.操作,可以看到删除了一个key是name的数据。这个就是对key的值,如果值没有,那么就用initValue,如果有就用,key对应的值,来自增。注意这里的1,表示我们要使用1这个namespace,这个是1到65535 这个数.可以看到value的内容. 返回的信息比较详细,需要使用的时候去看。这个就是使用自带的客户端,去测试了一下,命令行,

可以看到,这个quota info 是配额信息,也就是配置,控制每个namespace的内存大小。./sbin/tair_server -f ./etc/dataserver.conf 对吧。可以看到这个group.conf的内容,然后再来修改这个group.conf配置文件。slab_mem_size 这个是MDB引擎使用的存储数据的内存池的总大小,这个。mdb_inst_shift 可以修改一下 这个是MDB引擎的实例的个数,然后再来看其他的group.conf 这个,集群分组的配置文件。

然后需要配置一下:tmpfs的大小,这个是基于内存的虚拟文件系统,MDB就是利用这个文件系统进行存储.然后上一节已经安装好了依赖.接下来就可以进行编译安装Tair了.可以看到。生成安装对应的文件 可以看到是可以修改安装位置的,使用--prefix。可以看到这里这个/dev/shm 就是这个大小,我们需要设置这个大小.执行以后,然后咱们可以看到,又有一个Makefile文件生成.可以看到默认是基于MDB,也就是纯内存存储.,如果最小化配置。就可以来搭建一个Tair集群. 最简单的集群.

prefix:这个,可以让相同的key对应的数据,存到同一个dataserver上,集群中的某个机器,就是说同样的key的数据,不要分散存在不同机器上。namespace:应用的内存或持久化存储区域,0到65535之间一个数. 用来存储数据的一个区域的标识.安装git以后然后使用git,去下载tb-common-utils.git的源码。这部分不多说了,这里用的visualbox,自己去安装一个虚拟机环境就可以了。这个非常简单了,主要是,安装,以及后面的,看一下原理和架构吧.

可以看到支持range分区,就是按照范围比如小于50的分到p0,小于1000的分到p1,然后list就是按照类型,比如1分到p0,2分到p1。p0smp0,就是p0主分区的子分区mp0这个分区,这个写法要知道,不能直接指定mp0查看这个子分区,需要加上主分区才能查询.10,500,因为50,1100,不符合子分区mp0的条件,因为mp0指定了col2小于1000的放到mp0中。两条数据,然后10,500这条数据,放到了主分区的,子分区mp0这个分区中.

可以看到,首先有很多的unit单元,每个observer可以看到是不同的unit单元,属于不同的zone,然后。之前我们已经安装过了,使用的模板安装的.上一节,我们使用白屏部署了一个OceanBase集群.还有一种meta租户,是OceanBase数据库内部自管理的租户,是自动创建的,用来保存。租户占用的磁盘等都可以查看,日志占用的也可以查看,这个挺有用的.可以看到,会显示租户名字,资源池,使用了哪些unit,然后。然后我们来创建租户,可以看到创建租户的流程,文档也有。

比如tradedb中的表t1,放在了p0这个分区中对吧,p0分区是在zone1~zone3中,有6个副本.然后其中有一个是leader对吧.6个unit也就是资源单元对吧,这些资源单元可以组成不同 的资源池zone,每个zone中可以有1个或者多个unit,然后和资源池绑定到。当然对于,城市1 中的两个机房,也可以划分,zone1 zone2, zone3 ,zone4 对吧.然后数据目录也可以看一下,还有日志目录,他都给自动生成了.然后端口,用默认的就可以了。

就是先存在mem内存中,当存满了一定值的时候,再顺序刷到磁盘,顺序刷写要必随机读写快的多.DBeaver平时都在用,就是一个数据库连接工具,跟navicat差不多.可以看到直接支持,使用官方的JDBC,Mysql的JDBC驱动直接连接,然后跟jdbc连接的代码,甚至连接字符串,一点区别都没有.可以看到这个jdbc的代码,不讲解了跟之前的一样很简单.另外这个odc,其实就是,官方提供的一个开发者中心.这个是连接地址,可以看到,直接就是之前那一套.去请求对应的接口,看一下,结果没问题对吧,

其实他就是执行了obclient -h127.0.0.1 -uroot@sys -A -Doceanbase -P2881。dk pull oceanbase/oceanbase-ce 但是这个镜像会拉取失败,网络的原因可能是。然后可以看到OceanBase是支持mysql数据库兼容,mysql5.7 /8.0的大部分语法。然后我们再来看一下如何使用dk来部署一下OceanBase。然后插入数据的时候还可以指定,把数据插入到哪个分区中去.可以看到卡在连接observer的地方了.

然后我们自己去操作配置一个,单机的本地的带有obp,也就是代理的OceanBase proxy的。memory_limit 这个是内存限制observer使用的,比如有6G,你可以设置5G这样。system_memory:给系统保留的内存这个是.有6G可以设置成1G这样,根据情况。可以看到datafile_size 需要设置,不设置会占用到百分之90,都占完了.修改成5开头的,因为我们机器上已经部署了一个集群了,用的是2开头的对吧.eth0 默认是,如果自己的不是这个,需要自己去修改一下。

obd demo -c oceanbase-ce,....去安装需要的组件就可以了.也就是说官网给的前置的条件,都要根据说明去执行一遍,如果不执行可能后面安装会报错.可以看到已经有grafana的进程了,我们去kill -9 去杀一下。注意前置条件一定要去做一下,检查好,要不然,安装过程会报错.然后使用odb demo 去启动就可以了,这样执行执行。可以去看看,是有的,这种情况,就是再去启动一遍就好了。然后再去直接obd demo 去安装部署其他服务.如果过程中报错了,可以官方文档,跟着错误去找原因.

然后每个资源单元中,可以看到存了很多的Log Stream1,还是Log Stream2,其实就是副本1 ,副本2,每个副本,可以看到。里面有很多的P1 P3 P4等,其实就是这个副本中的分区,然后,每个副本,可以看到都有自己的副本Leader对吧,也有副本的。可以看到上面的架构图，就是一个集群，上面忽略了Region，因为Region太大了，可能是不同区域或者国家，这个，表又对应了使用分区来存储，然后分区，又对应了很多副本，主要来做安全的，然后副本分布在不同机器上，然后对于开发者来说。

2.springbootadmin有自己的界面风格无法跟系统整体,风格融合,所以需要修改界面,ruoyi-monitor项目中,没有springbootadmin的源码,springbootadmin是以jar的形式导入到ruoyi-monitor中的.拿着打包出来的jar包,然后,替换掉,之前ruoyi-cloud-plus项目中,ruoyi-monitor子项目,引用的spring-boot-admin-server-ui-2.7.10.jar。

然后我们从其他spring-boot-admin-sample-custom-ui中找到这个autoprefixer组件,然后复制到,中的package.json中的这个copy-webpack-plugin 这个组件的版本,可以看到是5.1.2版本的.说node-ipc@9.2.2的版本 需要使用node 8 10 12 14 16 17的版本,而我安装的是。spring-boot-admin-server-ui项目中的package.json中去,然后再去执行。

但是springbootadmin的源码编译很麻烦,主要是由于,springbootadmin-server-ui这个项目,因为他是一个前后端分离的。然后在pom.xml中去下载node和npm,然后执行命令去npm install 然后去编译,打包的过程.他编译的时候是使用Maven对vue项目进行的打包,会自动去下载node和npm对应的版本,然后执行命令,然后再去安装一个nodejs,去下载就可以了,直接安装,选择一个目录。打开settings.txt文件,然后,将上面的变量放到文件中.

这里报错的这个包,单独找到,可以先去,右键pom.xml relaod project 导入一下依赖,然后再去,单独,使用右边栏Maven,package执行一下。Maven的本地仓库中,去搜索lastupdated这样的文件,就是下载了一半没下载完的,全部删除,然后重新下载.内存溢出了.这个就需要设置内存,在第一篇就已经说过了,设置Maven编译时候使用的内存设置大一些.可以看到这个地址,在里面搜索就搜到了,然后点击jar(361.9MB)去下载就可以了.如果依赖多次下载失败,那么,可以到。

由于需要对NFI进行汉化,以及二次开发,首先要下载源码以后编辑通过,NIFI的源码,项目非常多,编译过程中需要编译超过570个jar包,同时编译过程很慢需要30多分钟.1-3.注意,使用Maven的阿里云的源,很可能下载不全依赖,导致失败,即使你科学上了网也是不行的,也会有个别的jar包依赖下载不下来,1.首先下载源码,就是上面提供的地址,这个是nifi-1.26.0的不是最新的源码,当然如果你下载最新的源码也是一样的.首先介绍一下,这个是一个公司根据nifi进行定制开发的,已经汉化,但是不能商业化使用.

对应的包中有个dbclient 这个目录,选中这个目录以后,就可以了,然后。某个模式,比如bigdata_huiju 然后右键进行,点击。其实就是hgdbdeveloper,瀚高的数据库开发管理工具。但是只要报错中没有语法错误,sql执行错误就可以,恢复,然后进行恢复就可以了,但是要注意。data_middle 中,选中。使用瀚高数据库,备份 恢复数据。就正常用就行,不用管了就.在对应的数据库,比如。恢复以后会是报错的.

cmd中pg_ctl.exe -D D:\2024\highgo\data start 能启动后,然后再去执行 pg_ctl -D D:\2024\highgo\data stop ，然后去服务中其中再看下。D:\2024\highgo\data中postgresql.auto.conf和 postgresql.conf看下maintenance_work_mem。可以启动以后,然后修改一下,允许远程连接的配置;就可以了,然后再去用桌面上的工具去连接查看。手动启动无法启动,这个时候,首先去。

可以看到，使用的时候，可以直接先去安装最新版的datax，然后再把，这个编译好的，highgoreader，去放到。6.复制一个插件中的pom.xml文件，然后，到我们新建的插件中。如果想直接使用，开发好的插件，那么可以去下载笔者上传的，打包好的插件，直接放入到。8.然后在最外层的package.xml中，加上，我们自己的插件。10.打包，将最外层的pom.xml其他模块注释，留下自己的。12.然后把插件放到安装好的，服务器上的datax中，比如。7.将其他插件的这个文件夹，复制一份到我们自己的插件中。

打开以后找到工具选项,然后找到,实验室,这里有个C++强力修复,打钩。这里解压以后有个win8,win10的修复,直接修复就可以了.mysql 以及oracle 等 迁移到瀚高中去.dll修复工具,以及 数据迁移工具会放到资源中。不能从瀚高把数据迁移到mysql等中去。注意这个时候使用这个修复软件就可以了.使用瀚高数据库迁移工具,目前支持,从。20240612_143928补充。就可以进行修复了等待执行完成。这个文件我上传到资源中去.再去使用就可以正常使用了.可以看到缺少这个dll。然后点击确定就可以了。

因为,对于输出的文本,是需要参与loss计算的,其他的都是训练部分,不参与loss计算,所以用代替表示了.checkpoint就是对模型的节点保存,就是保存了一个时间点的模型状态,这个状态包括了这个时间点的模型的参数权重,和优化器的状态,这个优化器后面我们会说.注意这里的token_id,其实就是,文本的向量化后的数字,这个数字,能让机器,理解自然语言,的表达方式。这个的作用是,这样的话,因为我们说,我们的数据输入到训练器中是,随机一批一批输入的,那么。

学习率的大小直接影响到模型的训练速度和最终结果的准确性。这里计算loss,可以理解为正态分布中计算y的值,因为训练数据y值已知,通过函数计算得到,学习率,直到学习率收敛到合适的值。训练器的超参数指的是,指定学习率的,批次的大小,求解器的类型和参数 学习率的调节方式 dropout概率。5.在训练器进行训练之前还需要,给训练器配置超参数,这里指的是,模型的参数和训练的参数,模型的参数主要是。AI开发的重点,在于跟其他传统开发不一样的地方就是,在做AI开发的时候,需要大量的实验,看实际的效果,

这行代码是Python中的一个常用结构，用于判断当前的脚本是被作为主程序运行还是被作为模块导入到另一个脚本中。Action.py文件,用来存动作功能,然后创建一个Tools文件夹,里面放上各种的,供大模型使用的工具。__init__.py文件用来初始化,然后因为我们需要让大模型根据,我们指定的目录中的文件去分析,可以根据提示进行安装,但是注意,如果网络不通的话,可能会装不上的,这个时候,需要,先弄网络。可以看到我们在Agent目录中添加一个__init__.py初始化的文件,然后,创建一个。

region和region之间,因为是分布式,所以,当第一次TIDB把数据,存储到某个TIKV的region以后,还需要把这个region数据,传输到其他节点上,做为副本。比如这里首先左侧,前端使用TiDB的用户,发送过来一个SQL,然后这个SQL首先经过TiDB Cluster,然后一个sql以row,行数据的形式,存到Ti KV中。然后我们继续看这里,当前端应用,执行一个SQL,其实他只需要,通过负载均衡,找到一个TIDB Server,然后剩下的由TIDB Server去做后续操作,

然后我们再来看,他支持这个OLTP,支持在线事务处理,表示可以用来处理交易数据,然后OLAP,表示支持在线数据分析,支持流式数据在线处理。可以看到首先是一款关系型数据库,支持分布式,同时支持数据分析和事物处理.兼容MySQL5.7协议和MySQL生态。可以看到金融可用因为支持在线事物OLTP,实时这个HTAP后面说,分布式,扩展,云原生后面说。支持多数据源,满足高并发,低延时,数据一致性,高可用。使用HTAP,可以实现统一,实时 和弹性的特点,另外。支持实时分析,支持实时写入,实时查询。

我问的问题是:LLM安全吗?可以看到上面的代码,如果我们用之前的版本分割文本,其实就是按照空行的部分分割的文本,这样,就是一个段落一个文本,但答案有可能是,需要在上一段,以及结合,这一段,一起才能找到答案.然后我们来看如何做文本分割的粒度,为什么要做文本分割的交叠分割,是因为如果不做,保留上下文的这种,关键词提取,还有文本分割,以后,存入到es中的话,那么,准确率不高.比如,我要1,2,3前三个相关性的文本,排序的时候,他给出了1,2,3但是可能低3个,相关性最好,应该放到排序的第一位.

之前都是用mysql和Postgresql之间进行同步的,已经实现了数据的实时同步,现在要实现Oracle数据库到Mysql数据库的全量,以及增量同步.因为之前配置的不对,这里架构名写成了orcl,所以导致,虽然能连接上,但是,在进行数据同步的时候,看不到表,所以这里说一下如何进行连接。架构名指的就是数据库名称,不要写错了,这里并不是orcl,这里是数据库名称。这里,首先选择驱动,然后选择类型,选择Oracle,然后这里填写一个名称。添加完驱动,选择全量同步,然后选择对应的表,添加上主键,就可以了。

然后这个时候,打开新生成的Navicat.exe点击注册,然后,再去优化工具,点击第一个generate,然后生成一串号码,然后把号码,放到Navicat对应的框中,然后点下一步,然后再去把Navicat15显示的一串码,放到优化工具中点击第二个generate按钮,然后又生成了一串码,把这串码放到Navicat下面的框中,然后点击注册就可以成功使用了.重要的一步,就是先关闭Navicat,然后再去打开,这个时候,再去连接Oracle就可以连接上了.走到这个Navicat界面,找到工具,选项,然后。

{"number_of_replicas":0}' 回行了,但是是一句哈,将副本分片设置为0。可以看到这个是status就是yellow表示就是有问题的,然后。查看状态就可以看到,状态显示green了。可以看到这句. 执行以后,然后再去。

在多分类问题中，softmax函数可以将其压缩为长度为KKK，值在[0,1][0,1][0,1]范围内，并且向量中元素的总和为1的实向量。可以看到最上面是softmax的函数对吧,但是如果当k = 2 那么这个时候softmax的函数就可以退化为sigmoid函数,也就是 逻辑斯蒂回归了对吧。可以看到k=2 表示,只有两个类别对吧,两个类别的分类不就是sigmoid函数嘛对吧,所以说。这个是分子对吧,展开的时候,其实就是两个,这里表示两个分子,这个是一个作业,这里是用来区分识别手写字分类的,这里就是。

X_train,X_test,y_train,y_test=train_test_split(X,y,random_state=1024) 打乱数据顺序,并且获取,默认百分之80做为训练数据,百分之20做为测试数据。是比如有1行3列,那么这里的axis = 1 就是,纵向,沿着列的方向相加,其实就是每一列加起来对吧。执行看看结果,打印出z,可以看到对应的z就是每个公式的结果对吧,也就是,对应的X_test的。因为38行3列,这个也是二维的,是第二维的里面,有个一维,这个每个一维都是1行,3列的。

因此，如果某个类别的样本数量远大于其他类别，那么该类别的分类器就会具有更高的权重，从而可能导致分类器的偏向性。由于第一类的样本数量远远大于其他类别，因此第一类的分类器更加关注第一类的样本，而忽略其他类别的样本。在测试阶段，如果我们提交一个新样本给分类器进行分类，那么第一类的分类器很可能会将该样本判定为第一类，而其他类别的分类器则可能判定该样本为第一类或其他类别，但概率相对较低。上面这个公式,其实就是,对于y=1的时候,对应的hthetax的概率计算,y=2的时候概率计算,一直到y=k的时候概率计算。

比如举个例子,有3个数1,2,3 ,那么用1 / (1+2+3) 2/ (1+2+3) 3/ (1+2+3) 这样得到的概率,加起来就是1对吧,一个道理。- 对于类别{1, 2}，比较1和2之间的年龄差异，可以得到1比2年轻，因此1属于一类，2属于另一类。- 对于类别{1, 3}，比较1和3之间的年龄差异，可以得到1比3年轻，因此1属于一类，3属于另一类。1. 首先，将三个人分别标记为1、2和3，形成三个类别：{1, 2}, {1, 3}和{2, 3}。

X_train, X_test, y_train, y_test = traintest_ split (X, y, test_size = 0.2) 然后这个意思是,test_size表示使用样本中的百分之20的数据,做为测试数据,然后剩下的百分之80是训练数据,并且打乱以后,把数据分别赋值给X_train, X_test, y_train, y_test。30,4 X_test这个是测试数据,获取了30行4列的数据,用来做测试用的,其实就是按咱们指定的百分之20来划分的。

这个是函数的推导过程,这里我们最好是能理解,如果不能理解,需要去学习导数了,数学里面的东西,不过不懂不影响我们使用,需要知道,以后,再去把数学部分补上.可以看到,最后得到的导函数和多元线性回归的导函数一样对吧,有了这个导函数。可以看到上面是逻辑回归的梯度下降公式,这里的阿尔法是学习率,这里的。上面是求导sigmoid函数,然后我们再去对损失函数进行求导,我们。然后我们再去看,其实损失函数的求导,就是对上面损失函数的一个变换。他的导数,我们对他来求导,就能看到它的导数就是它自身,很神奇。

将训练数据 测试数据分开：这里我们让80%是训练数据，保留20%做为测试数据X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2)=2 #过滤数据：类别是2,过滤掉 , 这个意思就是如果y不等于2 ,那么就是y数据,其实就是只获取y不是2的部分的数据,因为我们处理的是2分类问题,所以这里就把数据归为2种了。这意味着，对于一个二维数组。其实就是w[[1,2,3,4]] 获取第0个,其实就是获取里面的数据,对吧,要一个1维的数据。