- 博客(167)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 ros2使用过程的一些踩坑问题
cmakelist里面要添加find_package(msg_package REQUIRED)自定义包的查找;则可以使用colcon build --packages-select 同时编译msg包和app包。如上，第一个参数必须是${PROJECT_NAME}，后面的参数如果要拼接路径，必须用:分割。如果不在同一个目录层级，只能用第一种方法;
2025-01-13 16:06:29
129
原创 protobuf的资料文档记录
3.release和tag地址，protoc地址：https://docs.ros.org/en/galactic/Tutorials/Advanced/Discovery-Server/Discovery-Server.html#1.源码地址：https://github.com/protocolbuffers/protobuf/blob/main/README.md。2.教程https://protobuf.dev/getting-started/cpptutorial/
2024-12-24 10:43:31
89
原创 regression里面的误差来源
下图比较直观，bias是和期望值(真实值）之间的偏差，variance是样本与样本均值的的方差。bias和variance。
2024-12-19 16:43:54
181
原创 在ros2中使用共享内存 -- 案例
前面写了一篇文章专门讲述了在ros2中使用fastdds的共享内存中间件实现的一些配置项及参考资料，下面我们来通过一个案例来说明共享内存的配置使用。
2024-12-17 14:11:49
243
原创 源码安装编译gcc-12
装完后可能gcc -v更新了，g++ -v没更新，需要人工再指定下g++的路径，或者软链下。如果要自己指定安装目录，需要自行指定路径。默认装在/usr/local下，解压并执行相关依赖下载。
2024-12-16 18:40:24
292
原创 在ros2中使用fastdds
配置取决于环境变量RMW_FASTPS_USE_QOS_FROM_XML。ros2和fastDDS之间的接口是通过ros2的rmw_fastrtps包来实现的（https://github.com/ros2/rmw_fastrtps），rmw_fastrtps提供了两种ros2中间件实现，rmw_fastrtps_cpp 和rmw_fastrtps_dynamic_cpp，rmw_fastrtps_dynamic_cpp使用自省类型来支持序列化和反序列号，而rmw_fastrtps_cpp使用自定义类型。
2024-12-12 17:26:36
1287
原创 ptp时间同步配置
这里ptpd和linuxptp装一个就行，两台都要装，我个人觉得ptpd好用，linuxptp在主时钟变更时不会主动同步系统的时钟，需要人为同步；ubuntu下配置ptp主从时钟，我们使用两台ubuntu系统电脑来模拟，首先需要安装ethtool和ptpd，linuxptp，直接。从时钟监听（建议用ptpd，方便自动同步Ubuntu系统时钟，ptpd还需要手动将ptp0设备的时钟同步)enp0s31f6是网口，上面-m是输出到终端，-i是指定网口，-4指定udp协议，-S指定软同步。
2024-12-11 20:56:30
482
原创 禾赛激光雷达AT_128_P_A02激光时间同步配置
另外，禾赛激光雷达是标准utc时间，和国内的东八区时间有8小时时差，所以看到和操作系统时间差了8小时，是正常的。到禾赛操作网上观察ptp是否从freerun 变成tracking，变了就ok了。网卡名即连接激光雷达之后配置的ip所对应的网卡名称。上面enp0s31f6是网卡名。然后执行下面的命令，
2024-12-10 17:29:29
304
原创 openssl verify报错error 18 at 0 depth lookup: self-signed certificate或使用mosquitto mqtt双向验证配置不通过解决方案
在按照mosquitto官方的mqtt tls双向验证配置时，总是会报self-signed certificate问题，一般我们验证生成的server.crt不会报，但client.crt总是验证失败。然后再执行下面命令生成server证书，然后再按官网的步骤往下走就行了；上面IP和DNS保留一个即可。（1)在生成服务器的证书前。
2024-12-10 10:31:13
531
原创 使用paho.mqtt.cpp库实现ssl/tls加密通信
需要注意的是，如果我们按emqx配置ssl,tls双向验证生成的ca，client端的证书和client端密钥，这三都得带上，否则验证不通过 官网案例需要再加上.private_key(client_key)另外，suber的写法里面，如果你想再emqx的dashboard中看到连接，需在官网案例中恒定加上cli.subscribe(TOPICS, QOS);源码：https://github.com/eclipse-paho/paho.mqtt.cpp/blob/master/README.md。
2024-12-08 10:14:18
816
原创 配置emqx的双向tls验证问题及解决方案
老规矩先附一些学习链接：emqx 官网blog: https://www.emqx.com/zh/blogemqx教程：https://www.emqx.com/zh/mqtt-guidemqtt官网：https://mqtt.org/software/
2024-12-08 09:47:59
626
原创 gitlab ci/cd搭建及使用笔记(三)
今天还是带来一些gitlab ci/cd使用过程中可能会遇到的问题解决思路或方案，下附历史笔记链接笔记一：笔记二：官方文档：https://gitlab.cn/docs/jh/ci/pipelines/downstream_pipelines.html。
2024-11-20 12:12:37
1124
1
原创 gitlab cicd搭建及使用笔记（二）
gitlab-runner unregister --name runner名称 使用名称注销，同名则删除第一个。gitlab-runner unregister --all-runners 直接注销所有runner。快速注册： sudo gitlab-runner register，然后跟随提示注册即可。–tls-ca-file “/xxx.crt” ，如果你下载的是pem，直接改名crt也性。官方链接：https://docs.gitlab.com/runner/
2024-11-19 10:02:55
813
1
原创 记录一个狗血的docker问题
如果你的docker pull或者docker search操作老报超时问题，按网上说的改daemon.json或改什么resove.conf，hosts，改了之后还是不行，不妨直接实施用阿里云的指定仓库拉取，拉取前需要先docker log in 阿里云的账户，亲测有效，搞了好几个小时。
2024-10-30 21:10:11
1264
2
原创 go语言context
Context 是请求的上下文信息。对于RPC Server来说，一般每接收一个新的请求，会产生一个新的Context，在进行内部的函数调用的时候，通过传递Context，可以让不同的函数、协程保持相同的上下文信息，以达到数据传递、流程控制的目的。Context的数据以一种链表数据结构进行存储，如添加超时、取消、数据都会新在原来的Context的基础上派生出一个新的Context。不会对原来的Context修改。Context 有很多实现，没有一个标准规定Context应该是什么样的。
2024-04-17 11:16:46
441
原创 go语言net包里面的PostForm
/ 在客户端的请求，可能会被自动添加或重写Header中的特定的头，参见Request.Write方法。// 对启用了TLS的连接，本包的HTTP服务器会在调用处理器之前设置TLS字段，否则将设TLS为nil。// HTTP规定头域的键名（头名）是大小写敏感的，请求的解析器通过规范化头域的键名来实现这点。// Form是解析好的表单数据，包括URL字段的query参数和POST或PUT的表单数据。// Close在服务端指定是否在回复请求后关闭连接，在客户端指定是否在发送请求后关闭连接。
2024-04-17 10:52:49
755
原创 go语言基础 -- 反射
反射可以在运行时动态获取变量的信息，如变量的类型（type），类别(kind)。如果是结构体变量，还可以获取到变量的字段、方法等结构体本身信息；通过反射，可以修改变量的值或调用关联的方法；使用反射需要import(“reflect”)我们前面的文章空接口接收任意类型的变量，通过typeof来判断变量类型。
2024-04-12 09:34:29
993
1
原创 一些mysql的基础
语法：SELECT …FROM 表1 AS别名1 (LEFT RIGHT) [OUTER] J0IN 表2 AS别名2 0N连接条件；需要注意的是，select字段中，非聚合结果字段必须在group by中出现，才能在前面select字段中出现。INSERT INTO表[（列1，列2，…，列N)]VALUES(值1，值2，…，值N)[,(值1，值2，FR0M表1 AS 别名1 [INNER] J0IN 表2 AS别名2 0N 连接条件；INNER是可以省略的，默认内关联，内关联是取两个表指定关联列交集。
2024-04-11 11:05:15
944
原创 hive 数据库表常用操作及相关函数讲解
上图中示例不管是创建还是加载，都是没有包含分区列的，但实际上我们的表中会包含分区的列，此外从数据加载到分区表中，partition (month=‘202006’)表示加载到指定分区202006中，而不是从数据内容中读取202006的数据，数据里面是没有month列的，一般有几个分区则hdfs对应的表路径下有几个文件夹。需要注意的是，如果是从hdfs加载而非本地，会直接将hdfs路径的文件移动到表指定的路径，源路径的数据会不再存在，另外overwrite字段表示以当前数据为准，以前的表中数据会被清除。
2024-04-10 22:05:54
1117
原创 apache hive
用户sql通过用户接口给到sql解析器，hive从元数据管理中去获取sql从哪去查，查哪些字段，然后提交任务到yarn执行。后台执行脚本：nohup bin/hive–service hiveserver2>>logs/hiveserver2.log2>&1&bin/hive–service hiveserver2,启动的是HiveServer2服务。bin/hive-service metastore,启动的是元数据管理服务。·方式1：bin/hive即Hive的Shell客户端，可以直接写SQL。
2024-04-08 10:27:40
583
原创 hadoop streaming及hadoop官方文档
由于hadoop的map reduce框架计算性能已经比较老旧，有很多新的框架性能有很大提升，已经很少有基于相关api进行开发的项目，但hadoop streaming工具能帮助开发者兼容任何语言地运行自己的分布式程序，下面来简单介绍。
2024-04-07 18:20:54
410
原创 yarn集群部署
我们在配置好之后，可以一键启动yarn集群，然后可以打开http://node1:8088即可看到YARN集群的监控页面(ResourceManagerl的WEB UI)MapReduce和YARN的配置文件修改好后，需要分发到其它的服务器节点中。·SHADOOP_HOME/bin/yarn,此程序也可以用以单独控制所在机器的进程的启停。一键启动YARN集群：$HADOOP HOME/sbin/start-yarn.sh。分发完成配置文件，就可以启动YARN的相关进程啦。在当前机器，单独启动或停止进程。
2024-04-07 16:54:31
1120
原创 HDFS文件存储
hdfs通过edits文件记录hdfs中每一次文件操作，及本次操作影响的文件及其对应的blocks，edits文件也会进行拆分避免单个文件太大，同时为了方便检索，可以对多个edits文件合并，合并后得到保存一系列操作后最终状态记录的文件FSImages，hdfs会定期对edits文件进行合并，如果不存在FSImages则生成，如果已存在，则会和已存在的FSImages再进行合并操作。2、文件存在统一的block块大小管理，默认是256MB，可修改，是hdfs存储的基本单位；
2024-04-07 14:31:56
927
原创 linux查看core文件保存位置
一般文件内容只有core的话，只会保存到运行环境目录，生成一个core.xxx的文件，可以自己配置core的文件名信息core%e%u…
2024-04-07 10:19:30
1613
原创 利用hdfs gateway挂载NFS到本地
HDFS提供了基于NFS(Network File System)的插件，可以对外提供NFS网关，供其它系统挂载使用。我们通过NFS网关可以将hdfs文件系统挂在为网络磁盘的形式，这样就可以像操作本地磁盘一样操作上面的数据。第一个配置项表示允许hadoop用户代理任何其他用户组，第二个标识允许代理服务器的请求。2.在hdfs-site.xml中新增如下项。·上传、下载、删除、追加内容。
2024-04-07 09:19:51
663
原创 hadoop基础介绍
将所有给定本地文件内容追加到远程文件末尾，src_path是本地文件，dest_path市远程文件，如果dest文件不存在，则创建该文件，若本地文件为-，则为从标准输入中读入。hdfs文件系统也是以/作为根目录来描述hdfs，hdfs的命令参数一般都带文件路径操作，那么如何区分linux本地文件和hdfs上的文件？这里的src_path是远程hdfs文件系统上的路径，dest_path是本地路径，标识要从远程下载到本地，-f也是强制覆盖，-p也是保留权限、访问和修改时间信息。
2024-04-06 16:33:11
881
原创 spark3.x新特性
此优化可以在一定程度上避免由于缺少统计信息或着错误估计大小（当然也可能两种情况同时存在），而导致执行计划性能不佳的情况，比如某个join操作中其中一个数据集很小，通过网络io的shuffle次数会比较多。在AQE从shuffle文件统计信息中检测到任何倾斜后，它可以将倾斜的分区分割成更小的分区，并将它们与另一侧的相应分区连接起来。A0分组的数据量比较大，会动态给它拆分，达到各分组数据集大小平衡。用户可以在开始时设置相对较多的shuffle分区数，AQE会在运行时将相邻的小分区合并为较大的分区。
2024-04-02 19:34:14
709
原创 spark shuffle 补充概念
2.SortShuffle主要是对磁盘文件进行合并来进行文件数量的减少，同时两类Shuffle都需要经过内存缓冲区溢写磁盘的场景.所以可以得知，尽管Spark是内存迭代计算框架，但是内存迭代主要在窄依赖中.在宽依赖(Shuffle)中磁盘交互还是一个无可避免的情况.在Shuffle过程中.提供数据的称之为Map端(Shuffle Write)接收数据的称之为Reduce端(Shuffle Read)，在Spark的两个阶段中，总是前一个阶段产生一批Map提供数据，下一阶段产生一批Reduce接收数据。
2024-04-02 17:33:09
728
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人