
大数据
文章平均质量分 63
纵然间
资深码农,编程十年有余,曾服务于多家互联网大厂。技术精湛,经验丰富,擅长解决复杂问题。对新技术充满热情,致力于创造卓越的产品体验
展开
-
大数据和人工智能技术如何帮助企业提升决策过程
在数据分析之前,大数据技术能够对原始数据进行预处理,包括数据清洗、数据集成、数据变换、数据规约等,以去除数据中的噪声、异常值以及缺失值,并将数据转化为适合分析的形式。人工智能技术可以通过数据分析和机器学习技术,对企业的决策流程进行自动化,实现快速、准确、高效的决策过程,减少人为因素的干扰,提高决策的质量和效率。人工智能技术可以通过数据分析和模型预测,对企业面临的风险进行评估和预测,帮助决策者更好地了解企业面临的风险,从而制定相应的风险管理和控制策略。原创 2024-05-30 08:55:12 · 387 阅读 · 0 评论 -
算法优化在提升计算效率方面的作用是什么
通过优化数据结构、避免不必要的内存分配和释放,以及利用缓存等技术,可以降低算法的空间复杂度,从而在有限的内存资源下处理更大的数据集。优化后的算法通常具有更低的时间复杂度,这意味着它们能在更短的时间内完成相同的计算任务。例如,通过选择合适的数据结构、减少循环次数或优化递归调用,可以显著降低算法的执行时间。算法优化的过程中,往往会发现和修复原始算法中的错误或潜在问题,从而提高算法的正确性。算法优化还可以使算法具有更好的泛化能力,即能够更好地处理各种不同类型和规模的问题。原创 2024-05-23 07:40:41 · 437 阅读 · 0 评论 -
在医疗诊断中,大数据分析的关键价值和局限性是什么?
关键价值:1.提高诊断精确性:大数据分析可以整合来自多个来源的匿名患者数据,结合先进的机器学习算法和医学数据库,从中发现疾病规律和模式,从而提供更准确的诊断结果。通过对大量病例数据的分析,大数据技术可以帮助医生在辅助诊断领域做出更精确的判断,提高诊断的精确性和效率。2.个性化治疗方案:基于患者的个体情况和病史,医生可以依据大数据分析的结果,为患者提供个性化的治疗方案。这种方案能够更准确地针对患者的生理特征、遗传因素、环境背景等信息,为患者提供更加精准和有效的治疗手段。3.预测疾病风险:大数据技术可以分原创 2024-05-06 19:20:44 · 498 阅读 · 1 评论 -
Hystrix实现原理
Hystrix是一个延迟和容错库,目的是隔离远程系统、服务和第三方库的访问点,停止级联故障,并在不可避免发生故障的复杂分布式系统中实现快速恢复。断路器打开一段时间,自动进入”半开“状态,此时,断路器可允许一个请求方法服务提供者,如果请求调用成功,则关闭断路器,否则继续保持断路器打开状态。断路器hystrix是保证了局部发生错误,不会扩展到整个系统,从而保证系统的即使出现局部问题也不会造成整个系统雪崩。一段时间内,失败率达到一定阈值,断路器将端口,此时不再请求服务提供者,而是只是快速失败的方法(短路方法)。原创 2024-03-23 14:01:07 · 149 阅读 · 0 评论 -
B+Tree(B-Tree变种)结构解析
非叶子节点不存储data,只存储索引(冗余),可以放更多的索引叶子节点包含所有索引字段叶子节点用指针连接,提高区间访问的性能原创 2024-03-10 10:12:47 · 496 阅读 · 0 评论 -
定时任务实现原理梳理
时间轮算法:是一个环形队列,按照时间的单位区分,每个时间单位里面是一个链表、用来存储定时任务,像时钟一样轮询环形队列,取出链表中的任务执行,如果超出了环形队列的时间粒度,可以使用多级时间轮,即使用不同维度的时间单位,就跟时钟或者水表一样,这一层走了一圈,下一层的才走了一格,时间复杂度为O(1).优先队列:基于小顶锥实现,每次新增任务需要进行堆化,取任务时取堆顶元素、调整堆架构,时间复杂度是O(logN).原创 2024-03-10 10:11:58 · 453 阅读 · 0 评论 -
算法基础之Petri Net 介绍
从狭义相对论的观点出发,两个时空点之间如果没有因果关系把它们连接起来(或者说“类空”的),它们就是独立的,不能说其中一个发生在前另一个在后或者相反。因此,Petri网里面的两种变迁(见下文)如果都有发生的条件,则不能认为其执行顺序有任何关系。Petri网的一个重要的贡献,就是Petri网里面不存在所谓的“全局时间”的概念,它能够很容易地表达狭义相对论的观点。即Petri网可以描述每一个节点的拥有自己的独立时序,只要条件满足,就可以发生。一个经典的Petri网由四元组(库所,变迁,输入函数,输出函数)组成。原创 2024-03-02 11:41:54 · 1578 阅读 · 0 评论 -
去哪网消息中间件讲解
partition与consumer静态绑定。客户端设计 — 最终—致性。服务端设计 — 存储模型。原创 2024-03-01 12:27:57 · 387 阅读 · 0 评论 -
bilibili分布式链路监控
无处不在的部署• 持续的监控• 低消耗• 应用级的透明• 延展性• 低延迟。原创 2024-03-01 10:06:20 · 920 阅读 · 0 评论 -
缓存雪崩的基于事前+事中+事后三个层次的完美解决方案
相对来说,考虑的比较完善的一套方案,分为事前,事中,事后三个层次去思考怎么来应对缓存雪崩的场景。原创 2024-02-24 01:47:25 · 651 阅读 · 0 评论 -
支撑高并发与高可用的大型系统缓存架构
面临难题:对于每天上亿流量,拥有上亿页面的大型电商网站来说,能够支撑高并发访问,同时能够秒级让最新模板生效的商品详情页系统的架构是如何设计的?面临难题:如何解决高并发场景下,缓存冷启动导致MySQL负载过高,甚至瞬间被打死的问题?解决方案:基于hystrix的高可用缓存服务,资源隔离+限流+降级+熔断+超时控制。面临难题:如何解决高并发场景下的缓存穿透问题?面临难题:高并发场景下,如何解决数据库与缓存双写的时候数据不一致的情况?面临难题:如何解决高并发场景下,缓存重建时的分布式并发重建的冲突问题?原创 2024-02-24 01:10:04 · 738 阅读 · 0 评论 -
构建卷积神经网络模型(CNN)讲解与实战
上级神经元的轴突在有电信号传导时释放出化学递质,作用于下一级。神经元的树突,树突受到递质作用后产生出电信号,从而实现了神经元间的信息传递。为特征,进行分布式并行信息处理的算法数学模型。是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。积是指用来计算一个函数通过另一个函数时,两个函数有多少重叠的积分。一个神经元可以通过轴突作用于成千上万的神经元,也可以通过树突从成千上万的。神经网络可以指向两种,一个是生物神经网络,一个是人工神经网络。过调整内部大量节点之间相互连接的关系,从而达到处理信息的目的。原创 2024-02-18 14:00:36 · 1266 阅读 · 0 评论 -
Deeplearning4j之Word2Vec简介和代码演示
网络在处理一批数据时允许更新系数的次数。词语必须在多种上下文中出现,才能让模型学习到有用的特征。对于规模很大的语料库,理应提高出现次数的下限。是一种比较流行的自然语言算法,能创建可以输入深度神经网络的神经词向。语言的神经网络工具包,可以构建、定型和部署神经网络。拥有先进的技术,以即插即用为目标,通过更多预设的使用,避免。指定词向量中的特征数量,与特征空间的维度数量相等。是一个词在语料中必须出现的最少次数。:表示当前词与预测词在一个句子中的最大距离是多少。多余的配置,让非企业也能够进行快速的原型制作。原创 2024-02-18 13:54:37 · 1340 阅读 · 0 评论 -
分布式架构下数据库优化的主要方式
分表:横向分表,解决单表数据量过大的问题(id策略、hash id、),纵向分表,解决单表列过多,或者单列内容过多的问题,提升查询效率。创建索引:针对经常被放在where条件中的列创建索引。设计冗余列:避免过多的表关联,提升查询效率。微服务中做分库设计。原创 2024-02-18 12:54:00 · 462 阅读 · 0 评论 -
数据库调优与思路分析-影响数据库性能原因分析
MySQL是目前使用最多的开源数据库,但是MySQL数据库的默认设置性能并非最优,特别在生产环境当中, 如果不去合理优化,不能发挥最佳性能, 甚至会产生各种各样的问题。因此数据库必须进行必要的调整与优化。那么如何进行调优?有哪些方法?每个系统环境配置不一样, 如何去设置?线上出现的慢查询, 又如何去定位分析?带着这些问题, 我们逐一去分析解决。除了基本的SQL调优之外, 更深入的数据库调优方法, 还需从数据库配置, 设计层面着手, 发挥更大的数据库性能。原创 2024-02-14 02:35:33 · 1036 阅读 · 0 评论 -
熔断限流与高并发处理,全套解决方案,包含实际案例场景及技术分析
真实案例商品详情页,热点商品抢单通知,Sentinel限流讲解,Nginx限流,基于Nginx实现秒杀限流,Lvs+Nginx集群原创 2024-02-13 01:30:24 · 1089 阅读 · 0 评论 -
一文讲清楚分布式事务+分布式锁实现及各技能知识要点
分布式锁Redisson讲解,分布式锁控制超卖,Seata分布式事务讲解,普通商品抢单分布式事务,WebSocket讲解。本文实际解决了大并发场景下技术实现过程。原创 2024-02-13 01:13:59 · 1282 阅读 · 0 评论 -
热点数据隔离实现解决方案,WT令牌实现登录,Lua识别Jwt令牌,非热点抢单实现,Lua操作Redis集群
热点数据隔离实现解决方案,WT令牌实现登录,Lua识别Jwt令牌,非热点抢单实现,Lua操作Redis集群原创 2024-02-13 01:04:44 · 1069 阅读 · 0 评论 -
大数据高并发解决方案之热点数据实时收集
分布式任务调度器elastic-job讲解,elastic-job实现动态更新索引和静态页,Kafka的使用,Lua+Kafka实现访问日志实时读取,Apache Druid数据摄入,Druid SQL使用原创 2024-02-13 00:11:36 · 764 阅读 · 0 评论 -
物联网亿万级通信一站式解决方案EMQ
MQTT(Message Queuing Telemetry Transport,消息队列遥测传输协议),是一种基于发布/订阅(publish/subscribe)模式的"轻量级"通讯协议,该协议构建于TCP/IP协议上,由IBM在1999年发布。MQTT最大优点在于,可以以极少的代码和有限的带宽,为连接远程设备提供实时可靠的消息服务。作为一种低开销、低带宽占用的即时通讯协议,使其在物联网、小型设备、移动应用等方面有较广泛的应用。原创 2024-02-12 22:46:22 · 1133 阅读 · 0 评论