- 博客(542)
- 资源 (31)
- 收藏
- 关注

原创 Typora Markdown 使用教程、使用技巧
Typora使用教程、使用技巧Typora是什么?Typora 是一款支持实时预览的 Markdown 文本编辑器。它有 OS X、Windows、Linux 三个平台的版本,并且由于仍在测试中,是完全免费的。官网下载地址:点击下载生成目录只需在相应的位置键入[TOC],目录便会呈现,并且支持点击跳转。@[toc]快捷方式标题级别只需按快捷键Ctrl+1,Ctrl+2,……,Ctrl+6,就可以依次输入一级到六级标题文字加粗、倾斜、下划线Ctrl+B/I/U进入加粗/倾斜/下划线源
2020-12-14 17:10:37
4232
11
原创 Windows下在IntelliJ IDEA 使用 Git 拉取、提交脚本出现换行符问题
其他使用 Linux 或 macOS 系统的开发者在拉取代码时,可能会看到很多不必要的换行符修改,增加了代码审查的难度。这可能导致代码文件的格式发生变化,在 IntelliJ IDEA 中打开文件时,会看到一些不必要的修改标记,甚至可能影响代码的编译和运行。当在不同系统间协作开发或者切换工作环境时,就可能因为换行符的不一致导致代码文件出现格式问题,甚至影响代码的正常运行。然而,这种自动转换有时会导致不必要的问题,特别是在团队协作开发中,不同开发者使用的操作系统和开发工具可能不同。(回车符 + 换行符,即。
2025-03-28 17:25:45
664
原创 Fiddler在Windows下抓包Https
默认情况下,Fiddler 无法直接解密 HTTPS 流量。Fiddler 作为代理服务器运行(默认监听。),需要让浏览器流量经过 Fiddler。使用的是电脑的网络代理设置。局域网(LAN)设置。
2025-02-26 14:31:06
658
原创 IntelliJ IDEA梳理代码调用链路技巧
查看方法调用者和被调用者,查看某个方法的时序图,快速查找某个类、方法、变量等被使用的位置,追踪表达式、变量和方法参数的传递关系树的上下游数据流动。
2025-01-17 10:44:11
1324
1
原创 Centos7上Jenkins+Docker+Git+SpringBoot自动化部署
执行以下命令检查 Maven 是否安装成功。进入容器并验证Docker命令。配置 Maven本地仓库。登录 Jenkins。按照提示安装推荐插件。,起一个名字,然后指定。
2024-12-10 15:11:30
544
原创 Docker容器/实例、数据的备份和迁移
如果完全重新安装,过程不仅费时费力,而且容易出错。在这种情况下,可以利用 Docker 的移植性和快速部署特性,快速迁移一套完整的测试环境。通过备份当前测试环境的容器镜像和数据卷,我们可以在新的环境中迅速还原,实现无缝过渡。Docker 可以让我们在同一台机器上并行运行多个容器,每个容器可以对应不同的项目环境。这样,不仅节省了硬件资源,还减少了环境切换带来的麻烦。部分,这一节包含了挂载的所有卷的详细信息,包括卷的名称和挂载路径。推送镜像:如果希望将镜像推送到Docker注册中心,需要先运行。
2024-11-01 13:17:38
1402
原创 如何系列 如何确保Kafka消息可靠性/防止消息丢失
当出现网络的瞬时抖动时,消息发送可能会失败,此时配置了retries > 0的Producer能够自动重试消息发送,避免消息丢失。如果一个Broker落后原先的Leader太多,那么它一旦成为新的Leader,必然会造成消息的丢失。其实这里想表述的是,最好将消息多保存几份,毕竟目前防止消息丢失的主要机制就是冗余。从Kafka架构来看,理论上仍有消息丢失的可能性,但实际发生的概率极低,只有在所有副本的机器都宕机时才会丢失。因此,尽管Kafka的设计大大降低了消息丢失的概率,但完全避免消息丢失是不可能的。
2024-07-03 17:20:46
1088
2
原创 如何系列 如何确保 Kafka 消息的顺序性
生产者发送到同一分区的消息会按发送的顺序存储,消费者从同一分区读取消息时也会按存储的顺序读取。因此,只要所有相关消息都发送到同一分区,就能保证消息的顺序性。通过对相关消息使用相同的分区键,确保这些消息会发送到同一个分区,从而保证它们的顺序性。在 Kafka 中,生产者默认不是幂等性的,但可以通过配置使其成为幂等性生产者。为了实现全局幂等性,需要结合业务逻辑和外部存储(如数据库)来确保跨会话和跨分区的消息幂等性。启用幂等性后,生产者自动升级为幂等性生产者,Kafka 自动处理消息的重复去重。
2024-07-03 16:17:03
821
原创 如何系列 如何学习外企英语(持续学习中...)
可以专注于学习一般用于公司内外情景中的常见表达方式,比如打招呼,介绍自己等。背单词也不是枯燥的把中英意思对上,有发音相当于练听力,有例句相当于阅读,学会根据发音拼写单词之后会越背越顺手的。在新东方软件上测的蓝思值基本为 0, 给推荐的是一页一个单词的看图识字绘本. 总结后发现我的英语能力不适用于。我所在的是一个IT技术公司,我想快速学习职场英语,现在我列个学习计划,你来帮我生成常见职场中的问答。聚焦在会议和团队讨论中常常使用到的词语和短语。2.记录平常工作中遇到的句子和单词,并给出分析和示例。
2024-06-21 14:40:01
1391
1
原创 图解系列 图解Kafka之Consumer
在我们的示例中,如果代理 1 发生故障,代理 2 将成为分区 1 的新领导者。每个分区获取的最大字节数。,他的作用是辅助实现消费者组的初始化的分区的分配,coordinator节点选择就等于group id的hashcode值 % 50,这个50是__consumer_offsets的分区数量,是默认的。消费者组订阅Topic,意味着该Topic下的所有分区都会被消费者组中的消费者消费,如果按照从属关系来说,Topic下的每个分区只属于消费者组中的一个消费者,不可能出现组中的两个消费者负责同一个分区。
2024-06-14 15:57:04
990
原创 Ubuntu安装Docker和Docker Compose
上提供了方便脚本,用于将快速安装 Docker Engine-Community 的边缘版本和测试版本。上的脚本在 Linux 上安装最新版本的Docker Engine-Community。要安装最新的测试版本,请改用 test.docker.com。检查加速器是否生效配置加速器之后,如果拉取镜像仍然十分缓慢,请手动检查加速器配置是否生效,在命令行执行。,找到镜像工具-镜像加速器,找到Ubuntu对应的Docker安装说明,,如果从结果中看到了如下内容,说明配置成功。安装阿里云镜像加速器。
2024-05-01 23:10:21
5681
2
原创 K8S 部署和访问 Kubernetes 仪表板(Dashboard)
你可以使用 Dashboard 将容器应用部署到 Kubernetes 集群中,也可以对容器应用排错,还能管理集群资源。你可以使用 Dashboard 获取运行在集群中的应用的概览信息,也可以创建或者修改 Kubernetes 资源 (如 Deployment、Job、DaemonSet 等等)。例如,你可以对 Deployment 实现弹性伸缩、发起滚动升级、重启 Pod 或者使用向导创建新的应用。Dashboard 同时展示了 Kubernetes 集群中的资源状态信息和所有报错信息。
2024-04-25 13:24:27
4844
1
原创 K8S Centos7 安装 K8S 1.26单机版
它支持对集群进行部署、扩容、升级、维护等操作,是 Kubernetes 集群管理的主要工具之一。它能够帮助你进行集群的初始化、添加新节点、重置集群状态等操作,简化了集群的部署和管理过程。kubeadm 通常用于搭建 Kubernetes 集群的第一步,它可以配置集群的网络、安装核心组件等。kubelet 接收来自 Master 节点的指令,根据这些指令来创建、启动、停止、监控 Pod,并与容器运行时(如 Docker)进行交互,确保 Pod 在节点上按预期运行。这里安装的版本是1.26.6。
2024-04-23 17:15:06
1640
2
原创 本地Java根据m3u8地址解密ts文件
给出了加密方法为AES-128,获取key地址为https://xxx/1111,偏移量为0x39333764333063306139653264353066。在浏览器访问https://xxx/1111获取key,注意这个地址一般都有权限校验的。表示 Media Segment 已加密, 该值用于解密.(长度为16),十六进制数的字符串。解密后的文件就可以直接播放了。从m3u8中下载ts文件。
2024-03-18 10:10:00
1533
3
原创 从零开发短视频电商 端到端测试Playwright实战优快云搜索
由于在没有额外同步的情况下从多个线程使用相同的 Playwright 对象是不安全的,因此我们建议您为每个线程创建 Playwright 实例并专门在该线程上使用它。**保存上下文的身份验证状态并在所有测试中重用它。这绕过了每个测试中的重复登录操作,但提供了独立测试的完全隔离。我们建议在新的 BrowserContext 中运行每个测试用例,这样浏览器状态将在测试之间隔离。如果生成器找到与定位器匹配的多个元素,它将改进定位器,使其具有唯一标识目标元素的弹性。将包含您可以在测试中重用的存储状态。
2024-03-06 09:34:12
1072
原创 利用Docker快速安装Jenkins
是 Docker in Docker(DinD)的缩写,它是一个特殊的 Docker 镜像,设计用于在容器内运行 Docker 守护进程。这允许你在容器内部执行 Docker 命令,并且该容器本身具有运行其他容器的能力,实现了在容器中运行 Docker 的特性。通过创建一个专用的网络,容器可以使用容器名称进行通信,而无需暴露真实的 IP 地址。这种做法对于一些需要保存状态的应用程序(比如数据库、持久化存储配置的应用程序等)非常常见,因为容器本身是临时的,挂载卷可以确保数据的持久性和在容器之间的共享。
2024-03-04 13:44:11
1407
原创 Jenkins自动化部署之流水线模式部署
在Jenkins中,有不同类型的任务(项目)适用于不同的构建需求。以下是一些常见的Jenkins任务类型:自由风格项目(FreeStyle Project):Maven项目:Pipeline流水线项目:Pipeline(流水线)是Jenkins中的一种工作流插件,允许你以代码的形式定义整个CI/CD过程。实现单个任务难以完成的复杂流程编排和可视化的工作。可编程性: 使用Groovy脚本语言编写Pipeline脚本,这意味着你可以通过代码控制流水线的每个步骤。可视化: 提供了可视化的流水线编辑器,帮助你直观地
2024-02-29 15:33:57
1682
原创 Ubuntu上Jenkins自动化部署Gitee上SpringBoot项目
Jenkins 支持各种运行方式,可通过系统包、Docker 或者通过一个独立的 Java 程序。运行Jenkins需要以下Java版本:安装Maven配置中央仓库修改maven的setting指向阿里云mirrors下添加mirror安装GitNodeJS安装(可选)安装Jenkins1.下载 Jenkins,注意跟JDK对应的版本才行。2.打开终端进入到下载目录.3.运行命令 .4.打开浏览器进入链接 .5.复制初始密钥进行解锁Jenkins6.选择安装推荐的插件,然后等待
2024-02-26 20:50:20
1876
2
原创 炫技亮点 优雅处理数据流程 流水线模式
当一个复杂的任务可以分解为多个独立的阶段,每个阶段都完成特定的子任务时,可以考虑使用流水线模式。这有助于提高系统的模块化和可维护性。如果系统需要经常添加新功能或阶段,并且希望新的功能可以轻松地集成到已有的处理流程中,流水线模式提供了良好的可扩展性。当任务的不同阶段可以独立执行时,流水线模式允许并行处理,提高整体性能。这在处理大量数据或需要高效处理的场景中尤为重要。在软件开发中,特别是CI/CD流程中,流水线模式被广泛应用,用于自动化构建、测试和部署过程。
2024-02-22 17:11:27
591
原创 炫技亮点 优雅处理数据流程 过滤器模式
当你有一个包含大量数据或对象的集合,需要根据不同的条件进行过滤、排序或处理时,过滤器模式能够提供一种清晰的组织结构,让你能够轻松地添加、移除或修改过滤规则。如果你希望将处理流程拆分为一系列独立的组件,每个组件负责特定的处理逻辑,并且这些组件可以按照一定的顺序组成责任链,那么过滤器模式是一个不错的选择。当你需要在运行时动态地改变处理流程,可能是添加新的处理步骤或删除某些步骤,过滤器模式能够灵活地应对这种变化。
2024-02-21 17:24:21
1103
原创 从零开发短视频电商 Tesseract OCR识别增强
还有第三个存储库,https://github.com/tesseract-ocr/tessdata, 其模型支持Tesseract 3传统OCR引擎和Tesseract 4 LSTM OCR引擎。还可以将单词添加到 Tesseract 用于帮助识别的单词列表中,或者添加常见的字符模式,如果您对期望的输入类型有很好的了解,这可以进一步帮助提高准确性。在Tesseract版本3.05(以及更早版本)中,处理反转图像(暗色背景和亮色文本)时没有问题,但在4.x版本中,请使用亮色背景上的暗色文本。
2024-01-26 23:27:45
1361
原创 从零开发短视频电商 PaddleOCR Java推理 (五)ONNXRuntime引擎推理
python文本检测:https://github.com/PaddlePaddle/Paddle2ONNX/blob/develop/model_zoo/ocr/utils/predict_det.py。python文本识别:https://github.com/PaddlePaddle/Paddle2ONNX/blob/develop/model_zoo/ocr/utils/predict_rec.py。提示:一开始将两者都设置为1以查看性能。方法二:离线转换,pip安装工具,即可本地转换使用。
2024-01-17 14:37:43
1571
原创 从零开发短视频电商 PaddleOCR Java推理 (四)优化OCR工具类
【代码】从零开发短视频电商 PaddleOCR Java推理 (四)优化OCR工具类。
2024-01-15 23:17:31
943
原创 从零开发短视频电商 PaddleOCR Java推理 (三)优化文本检测模型输入和输出
值得注意的是,PaddleOCR的模型更新速度远远快于DJL,这导致了一些DJL的优化滞后问题。因此,我们需要采取一些策略来跟上PaddleOCR的最新进展。表示网络输入图像的最长边不能超过960, 如果超过这个值,会对图像做等宽比的resize操作,确保最长边为。如果输入图片的分辨率比较大,而且想使用更大的分辨率预测,可以设置。PaddleOCR提供了一系列测试图片,你可以通过点击。为正整数,一般设置为32 的倍数,比如960。则表示限制图像的最短边为960。来对图片的尺寸进行限制,
2024-01-15 17:09:35
916
1
原创 从零开发短视频电商 PaddleOCR Java推理 (二)优化 识别模型 Translator模型输入和输出
值得注意的是,PaddleOCR的模型更新速度远远快于DJL,这导致了一些DJL的优化滞后问题。因此,我们需要采取一些策略来跟上PaddleOCR的最新进展。PaddleOCR提供了一系列测试图片,你可以通过点击。的识别模型使用的输入形状为。默认的识别模型算法可以在。的识别模型默认使用的。这里有很多过时的了。我们就来优化这2点。
2024-01-14 22:05:17
933
原创 从零开发短视频电商 PaddleOCR Java推理 (一)飞桨引擎推理
GithubDJL在Java中,我发现两种主要的方式可以使用PaddleOCR。在此,我们不考虑通过Java进行本地部署服务的方式,而专注于两种更具可行性的方法。
2024-01-12 15:33:12
2662
2
原创 从零开发短视频电商 Tesseract OCR 的 Java 拓展库 javacpp-presets
项目地址:https://github.com/bytedeco/javacpp-presetsJavaCPP 是一个用于在 Java 中使用本地库的工具,它允许通过 Java 代码访问本地(C/C++)库,而无需编写过多的本地代码。这种方法可以使 Java 与其他语言编写的库进行集成,提供了对性能关键的原生功能的访问。JavaCPP 使用 Java 注解和本地代码生成,使得在 Java 中调用本地代码变得相对容易。
2024-01-09 13:23:11
2159
原创 Linux 安装Jupyter notebook 并开启远程访问
Jupyter目前更倾向于与Python 3.x 版本一起使用。因此,我建议你安装Python 3.x,并使用该版本来安装和运行Jupyter。确保你的系统上已经安装了Python。pip是Python的包管理工具,用于安装和管理Python库。这里只需你输入密码确认,然后他会自动帮你把生成含有密码的hash码输入到。查找Jupyter可执行文件的安装位置。上述命令可能需要一些时间,因为它会搜索整个文件系统。使用pip安装Jupyter。, 会让你输入密码,密码即为你上面设置的。保存并退出文本编辑器。
2023-12-29 15:34:24
2534
原创 从零开发短视频电商 爬虫在爬取时注意 robots.txt 和 sitemap.xml
robots.txt和。这两个文件提供了关于网站爬取行为和结构的重要信息。
2023-12-28 13:55:40
2674
1
原创 从零开发短视频电商 Sagemaker端点模型部署方式
分为两种模型托管方式单一模型端点多模型端点将多个模型托管在一个容器内,通过一个端点提供服务多模型端点提供了一种可扩展且成本效益的解决方案,用于部署大量模型。它们使用相同的资源池和共享的服务容器来托管所有模型。与使用单一模型端点相比,这降低了托管成本,因为提高了端点利用率。同时,由于Amazon SageMaker管理内存中的模型加载和根据端点的流量模式进行扩展,这也减少了部署的开销。以下图示说明了多模型端点与单一模型端点的工作方式的对比。
2023-12-27 14:02:54
454
原创 从零开发短视频电商 SageMaker实时推理实例和费用
注意每个region价格不一样。示例为:美东2-俄亥俄的价格主要找的都是CPU 4核原文:https://aws.amazon.com/cn/sagemaker/pricing/
2023-12-26 14:29:47
531
原创 从零开发短视频电商 在AWS上SageMaker部署模型自定义日志输入和输出示例
从零开发短视频电商 在AWS上用SageMaker部署自定义模型都是huaggingface上的模型或者fine-tune后的。为了适配jumpstart上部署的模型的http输入输出,我在自定义模型中自定义了适配的输入输出,可以做到兼容适配。
2023-12-22 11:24:32
2063
原创 从零开发短视频电商 在AWS上用SageMaker部署自定义模型
这个可以是java环境或者python环境。部署的都是从huggingface上的model或者根据huaggingface上的model进行fine-tune后的。",","refund","legal","faq"所有官方示例推理工具允许用户覆盖的默认方法。您需要创建一个名为code/的文件夹,其中包含文件。目录结构如下|- ....|- code/文件包含自定义推理模块,文件包含应添加的其他依赖项。覆盖加载模型的默认方法。返回值model将在predict中用于预测。
2023-12-20 13:01:11
1416
原创 从零开发短视频电商 OpenSearch/Elasticsearch 聚合操作
OpenSearch不仅仅是用于搜索的工具。聚合使您能够利用OpenSearch强大的分析引擎分析数据并从中提取统计信息。聚合的用例各异,从实时分析数据以采取某些行动,到使用OpenSearch仪表板创建可视化仪表板。OpenSearch可以在毫秒内对大规模数据集执行聚合。与查询相比,聚合消耗更多的CPU周期和内存。先来个总结表格:默认情况下,OpenSearch不支持在文本字段上进行聚合。因为文本字段被标记化,对文本字段的聚合必须将标记化过程反转回其原始字符串,然后基于此进行聚合。这种操作消耗大量内存并降
2023-12-14 22:25:04
1885
1
原创 从零开发短视频电商 OpenSearch/Elasticsearch 查询总结
OpenSearch 和 Elasticsearch 都是搜索和分析引擎,它们使用相似的查询语言。查询可以分为不同的类型,通常包括以下几类:查询语言一般用DSL和DQL。
2023-12-14 15:30:24
1803
1
原创 从零开发短视频电商 Java开发者的AI大模型(LLM)应用开发和设计-LangChain4j
GithubJava版langchain, 利用LLMs的力量增强你的java应用程序。该项目的目标是简化 AI/LLM 功能到 Java 应用程序的集成。一个简单且连贯的抽象层,旨在确保您的代码不依赖于具体实现,例如 LLM providers, embedding store providers,等。这允许轻松替换组件。上述抽象的多种实现,为您提供了多种 LLMs 和嵌入存储可供选择。获取您自己的数据own data(文档、代码库等)的能力,允许LLM 根据您的数据采取行动和做出响应。
2023-12-13 16:19:20
4949
2
原创 IntelliJ IDEA 自带HTTP Client接口插件上传文件示例
如何使用IntelliJ IDEA自带的HTTP Client接口插件进行文件上传的示例。在这个示例中,我们将关注Controller代码、HTTP请求文件(xxx.http),以及文件的上传和处理。
2023-12-13 12:55:24
3643
VisualVM独立版本
2024-11-06
mysql-installer-community-5.7.43.0 Windows 安装包
2024-05-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人