Eddy的博客

浅谈大数据处理平台业务流程前言大数据平台业务流程1.数据仓库2.数据抽取(ETL/DataStream)3.数据展示前言随着网络的不断发展，信息化对于企业尤为重要。数据在网络中乃是重中之重。大数据平台业务流程1.数据仓库建立数据仓库优秀软件大数据数据库：Cassandra、HBase、MongoDB、Hive、ClickHouse等2.数据抽取(ETL/DataStream)将数据从各式各样的数据来源中抽取到数据仓库非结构化方式：Excel、Data、CSV等RMDBS数据库

人工智能AI模型训练思路模型训练思路基于数据仓库分析模型。开始模型训练。训练结果分类：成功、失败、未知。人为干预，对失败、未知两类结果进行纠错，将识别不准确的数据进行修正。增强模型特征，增强模型算法能力，丰富模型特征。不断进行算力训练，完善模型。......

缓存-如何与事务保持一致性什么是缓存与事务保持一致性设计思路事务内产生的数据不应该被缓存加载事务内产生的数据被缓存加载后，如果事务失败需要清除什么是缓存与事务保持一致性  在业务系统中会出现这样的场景，模块A与模块B的业务存在关联。场景C需要同时处理模块A和模块B的数据，先保存模块A的数据，业务流转到模块B，模块B需要查询模块A的数据。应用内部有缓存机制，会将模块A的数据加载到缓存，如果模块B的业务出现异常，则本次事务内的数据（模块A、模块B）都需要回滚，但此时模块A的数据已经被加载到缓存中，需要将该缓

如何利用缓存提高应用性能第一章为什么需要缓存？元数据缓存设计思路集合数据缓存设计思路第一章在这个网络信息化时代，各式各样的事情都需要通过网络应用去完成，如：健康码、行程卡等。应用访问量越来越大，对应用的性能要求也越来越高。本篇文章介绍如何利用缓存提供应用性能。为什么需要缓存？应用系统大部分业务场景属于读多写少，读取频繁会给数据库带来巨大压力。为减少数据库压力，引入redis缓存来解决应用与数据库的交互。redis基于内存的操作可以大大提高应用的响应速度，从而提高性能。元数据缓存设计思路