- 博客(15)
- 收藏
- 关注
RSS订阅
原创 解析今日头条as，cp，_signiture参数---as，cp
解析今日头条as，cp，_signiture参数---as，cp简介概述1 max_behot_time参数as，cp参数简介硕士研究生毕业， 工作2年，目前于央企工作，职务为数据采集，系统开发工作。可提供：Python数据采集，爬虫，scrapy，系统开发flask，vue，Django，spring等服务,。联系方式：1030617785@qq.com概述今日头条网站时效性较高，一段时间前（约2020-04）使用无头浏览器策略获取数据时， 会出现当设置headerless模式时，无法正常获
2020-05-31 15:12:17
1306
1
原创 邦学习框架 fate 框架docker、docker-compose部署
文件不存在，/home/cetc/fate/fateData/confs-10000/docker-compose.yml 中目录挂载拼写错误，应该是fateboard 而不是fate_board。将/home/cetc/fate/fateData/confs-10000/confs/fateboard/conf 下的所有文件复制到。/home/cetc/fate/fateData/confs-10000/confs/fate_board/conf 目录下即可。(文件太大，无法上传资源，需要可以私信我)
2025-01-16 15:31:00
83
原创 基于xxl-job 项目 新增dag功能-详细细节
xxl-job能够定时周期触发任务，定时任务是软件开发中经常遇到的问题。简单的定时任务只需要在固定时间触发它的执行就可以了。但是对于复杂的定时任务，可能是由多个任务组成一个任务组，它们之间存在依赖关系，一个任务执行的条件，必须是它的前置任务已经执行成功（或者没有前置任务），它才可以执行。图中任务的依赖关系为：任务1：依赖2，5任务2：依赖3，4任务3：无依赖任务4：无依赖任务5：无依赖任务6：依赖2这个任务关系图其实就是“有向无环图”（简称DAG）这种数据结构。
2025-01-15 15:46:07
79
原创 一个真正可用的docker-compse部署 单机版kafka 版本2.x
Kafka 3.x 推荐使用ZooKeeper 3.5.x或更高版本。确保ZooKeeper集群与Kafka版本兼容。但是部署了，可能出现跑不起来，kafka-kafka-1 exited with code 1，kafka运行错误。注意：kafka3.x版本，Kafka 3.x 需要Java 11或更高版本。确保系统已安装合适的Java版本。如果你计划使用KRaft模式替换传统的ZooKeeper模式，请确保你已经了解新模式的要求和配置。
2024-11-20 14:01:39
99
1
原创 java 实现doc 转 docx，打开出现文件格式与扩展名不匹配错误，解决方案
java 实现doc 转docx ，出现文件后缀与格式不匹配问题，存在只是改了后缀名，并没有对文件格式进行转换，有的文件转换成功，打开正常，有的打开出现文件格式与扩展名不匹配错误
2024-08-21 10:28:13
689
1
原创 xxl-job新增Dag功能
在实际业务场景中，任务之间往往存在依赖关系。例如，任务B需要在任务A完成之后才能执行。DAG 结构能够清晰地表示任务之间的依赖关系，确保任务按照正确的顺序执行。XXL-JOB 是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。但是它不支持DAG这种有依赖关系的逻辑，它只支持一个父任务拆分多个子任务，而无法完成多个父任务合并为一个任务。2 在触发任务的函数中，如是是dag任务，则调用：digraph.dagStart函数。1 把三个代码放至thread文件目录中；
2024-07-08 17:13:25
365
原创 基于区块链技术的身份认证与授权
用户的身份信息被加密并存储在区块链上，每个节点都保存完整的数据，任何篡改都会被其他节点拒绝，确保数据的不可伪造性和可信度。尽管区块链技术本身也存在一些问题，如性能瓶颈和隐私问题，但总体来看，基于区块链的身份认证与授权是未来发展的趋势，将为网络安全提供更可靠和便捷的解决方案。传统的身份认证与授权方式常常面临信息泄露和账号被盗等风险，而基于区块链技术的身份认证与授权方法逐渐成为解决这些问题的有效手段。本文将从身份认证和身份授权两个方面进行探讨，分析基于区块链技术的身份认证与授权的优势和应用。
2024-07-03 17:27:05
451
原创 IT资料汇总
2023年美团技术年货 【内部资料】傅盛24年AI大课干货满满 2023中国数据要素生态研究报告 2024年我国制造业数字化转型发展形势展望 2024前沿人工智能安全的最佳实践-面向中国机构的研发实践案例与政策制定指南 大话Python机器学习 大模型对企业数智化升级与业务经营的影响与应对 大模型在日志运维场景的应用 可信数据空间 商业银行数据要素共享与流通研究报告(1) 数据空间理论、架构及实践 数据驱动型企业发展要务与构建路径 数据智能时代的到来 数据中台与业务中台设计方案
2024-05-09 16:46:55
82
原创 Spring boot 根据数据表自动生成代码
本工具支持mysql数据库，后续持续更新其他数据库本工具以spring boot 、mybatisplus 、swagger ui等技术为基础；本工具依据数据库指定表，自动生成service类文件、serviceImpl类文件、Mapper文件、Dto文件、Vo文件；
2024-05-09 16:35:51
279
原创 手撕深度学习-S型神经元（二）
这是⾮常有⽤的，例如，当我们想要输出来表⽰⼀个神经⽹络的图像像素输⼊的平均强度。但是在实践中，我们可以设定⼀个约定来解决这个问题，例如，约定任何⾄少为 0.5 的输出为表⽰“这是⼀个 9”，⽽其它⼩于 0.5 的输出为表⽰“不是⼀个 9”。σ 的平滑意味着权重和偏置的微⼩变化，即 ∆wj 和 ∆b，会从神经元产⽣⼀个微⼩的输出变化 ∆output。如果对权重（或者偏置）的微⼩的改动真的能够仅仅引起输出的微⼩变化，那我们可以利⽤这⼀事实来修改权重和偏置，让我们的⽹络能够表现得像我们想要的那样。
2024-02-29 15:43:34
1178
原创 大牛数据采集平台，xxl-job 实现 dag
本文是自己开发的数据采集平台，基于datax，xxl-job、selenium等开源技术，实现各种数据源的数据采集，同时优化，实现的xxl-job的dag功能，xxl-job新增DAG任务。系统轻量级、用户易用、便于二次开发。
2024-02-21 17:27:48
1421
原创 手撕深度学习-手写神经网络（一）
使⽤神经⽹络识别⼿写数字：⼈类视觉系统是世界上众多奇迹之⼀。看看下⾯的⼿写数字序列：⼤多数⼈毫不费⼒就能够认出这些数字为 504192。这么容易反⽽让⼈觉着迷惑了。在⼈类的每个脑半球中，有着⼀个初级视觉⽪层，常称为 V1，包含 1 亿 4 千万个神经元及数百亿条神经元间的连接。但是⼈类视觉不是就只有 V1，还包括整个视觉⽪层 —— V2、V3、V4 和 V5 ——他们逐步地进⾏更加复杂的图像处理。⼈类的头脑就是⼀台超级计算机，通过数⼗亿年的进化。
2023-06-12 16:27:57
272
原创 java调用OPC-DA出现数组越界
1 问题描述13:15:46.954 [main] WARN org.openscada.opc.lib.da.Server - Unknown errorjava.lang.ArrayIndexOutOfBoundsException: 16报错全文如下：十一月 06, 2021 1:15:46 下午 rpc.DefaultConnection processIncoming信息:Recieved RESPONSEException in thread “main” java.lang.Ru
2021-11-06 13:22:25
940
原创 java调用OPC-DA出现0x00000005错误
1 报错如下十一月 06, 2021 1:04:45 下午 org.jinterop.dcom.core.JISession postDestroy信息: About to destroy links for Session: -345335021 , size of which is 0十一月 06, 2021 1:04:45 下午 org.jinterop.dcom.core.JIComOxidRuntime destroySessionOIDs信息: destroySessionOIDs f
2021-11-06 13:15:14
3562
4
原创 MartrikonOP java Unknown error (80040154)
@[TOC](MartrikonOP java Unknown error (80040154) )java opc 80040154: Unknown error (80040154)本文环境： win7 系统，由于出现登录权限问题，Martrikon 在本机上存在多次重装的情况。此外， Martrikon 安装教程可以参考： https://www.bilibili.com/video/BV1ZT4y1M75y这个错误的原因是， clsid组件未注册，或者是组件服务中的MartrikonOPC S
2021-11-06 12:35:02
447
数据中台与业务中台设计方案
2025-03-03
MNIST CSV格式数据
2025-01-02
基于 .NET7 和 sqlsugar后台管理系统
2024-07-20
基于流批一体架构的埋点系统的设计与实现
2024-07-20
基于云边协同的实时数据采集架构设计和关键技术的研究-李夏光
2024-07-20
nginx镜像，docker-compose一键部署
2024-07-08
可信工业数据空间架构白皮书
2024-07-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人