数据仓库让数据变成知识

浅析数据库(DB)、操作数据存储(ODS)和数据仓库(DW)的区别与联系 文章背景:相信大部分刚接触上面三个概念的同学,都多多少少会有些迷惑,现在我就给大家简单分析下这三者的关系,希望大家对这三者的概念理解有所帮助吧。本文主要从下面两类关系来叙述上面三者的关系: 数据库(DB)和数据仓库(DW)的区别与联系 操作数据存储(ODS)和数据仓库(DW)的区别与联系 数据库与数据仓库的区别与联系数据库与数据仓库基础概念:数据库:传统的关系型数据库的主要应用,主要是基本的、日常的 阅读详情
  在数据仓库应用的帮助下,企业决策者可以从质量、区域收入和产量等基本面上对企业性能进行跟踪,并基于这些可靠的信息采取快速、明智的行动。

  长期积累的数据是资源,是财富,更是一种急待我们去消化的知识。

  用户需要知识

  企业信息化发展到一定程度,在应用如ERP、SCM、CRM过程中,大量不同数据产生并积累,形成大量的报表信息,不同应用所形成的信息更容易形成信息孤岛。如何才能充分应用不同业务部门的详尽数据进行综合分析,以往企业都是耗费人力资源去做这些工作。

  上述因素引发企业急需一种平台,能有助于把客户和运作数据智能的转化为知识,使企业作出更佳决策,赢得市场竞争优势。这就是商业智能最基本的应用。

  其实,商业智能一直存在于企业的日常工作当中。如企业对数据的基本整理后对报表进行分析,并通过分析后的结果制定未来相应的工作计划等,这些都是商业智能的表现。

  商业智能(BI)的概念最早是由Gartner Group的Howard Dresner于1996年提出来的。确切地讲,商业智能并不是一项新技术,它是将数据仓库(DW)、联机分析处理(OLAP)、数据挖掘(DM)等技术与客户关系管理(CRM)结合起来应用于商业活动实际过程当中,及时服务于管理层决策的目的。

  商业智能不再仅仅是一种概念、一种技术,它更多地成为了一种业务层面的需求,它的应用使用户能够认清趋势、识别模式、获取洞察力和得出结论,最终为企业决策提供完善的应用服务。

  如何才能从海量数据中提取出智能信息来支持企业决策呢?这是企业亟须解决的战略之一,数据仓库是商业智能的基石,成了企业解决需求的首选。

  数据仓库技术是为了有效地把操作形数据集成到统一的环境中,以提供决策型数据访问的各种技术和模块的总称。数据仓库是商业智能里关键的一个环境,而不是一件产品。

  它利用所有可能的数据为分析统计和快速而正确的决策支持,通过它可满足决策支持和联机分析应用所要求的一切。以往的关系型数据库因为其简单的数据模型, 不灵活的构架, 极差的事务处理性能等缺点,造成了以商务智能为目的高性能和高扩展能力的数据环境不可能迁移到关系型数据库上。

  数据仓库并没有严格的数学理论基础,它更偏向于工程。这与关系数据库不同。由于数据仓库的这种工程性, 因而在技术上可以根据它的工作过程分为:数据的抽取、 存储和管理、 数据的表现以及数据仓库设计的技术咨询四个方面。

  在Gartner对1000多个企业 CIO的调查中显示,超过半数的 CIO认为,数据仓库软件的运用将会成倍提高企业数据分析能力和决策能力,且企业在这方面的预算将会不断增长。来自IDC的数据表明:亚太地区商业智能软件市场将以每年23%的速度加大,预计在 2006年将达33亿美元,而数据仓库系统作为商业智能软件重要组成部分,在中国市场上的发展十分顺利,目前中国已经成为数据仓库在亚太地区增长最为迅速的市场之一。

  让问题变得清晰

  国内数据仓库从2002年后开始迅猛的发展,数据量比较多的行业已经启动BI解决方案的规划和实施,移动、金融处于领先位置。它们大都使用了比较先进的数据仓库技术,建立了比较灵活可扩展的数据仓库基础设施。

  国内企业使用水平还比较初及,仍以报表、指标为主,有些系统建立了比较复杂的数据挖掘预测模型。应用的全面推广和对业务用户的培训是当务之急,以便全方位、深入地挖掘BI解决方案业务价值,获得更大的投资回报。

  以山东建行为例,在山东建行商业智能项目开发过程中遇到的第一个问题是项目的组织管理问题,山东建行拥有四级机构,即省分行、二级分行(地市)、支行(县区)、网点,如果加上建设银行总行这一级,管理信息平台所面对的是一个五级组织层次的实施目标。这种机构划分使管理层次繁杂、部门林立、统计口径多样、报表种类繁多。面对这些多种多样的业务需求如何进行业务系统的构建呢?

  商业智能系统的基本目标是面向企业决策分析,但由于企业管理的现实情况,商业智能的业务需求实际分为两个层面:低端的企业报表层和高端的决策分析层。国内银行商业化还处于起步阶段,业务决策分析基本还停留在所谓的专家模式上,因此业务部门很难在决策分析层面提出多少需求。

  而在管理报表层面上,由于过去的企业管理体系一直是围绕报表建立的,业务人员则可以提供一整套完整的基于报表的业务需求,甚至有一套十分完整的生成报表的指标体系。

  在决策分析需求不能提出的情况下,商业智能项目往往将现有的管理报表体系作为系统需求的主要来源,这虽然是一个错误的选择,但比之于做一个空中楼阁式的分析系统,一个自动灵活的报表系统无疑是更实际的选择,应该说这也是当前国内企业应用的一个现实的选择。

  问题是这与项目的目标是错位的,于是在需求分析时又将企业报表的需求与决策分析的需求混在一起进行分析,试图寻找一条兼顾两者的中间道路,但由于两者本质上的不统一,由此做出的设计也往往更无法实现目标。

  经过对IBM多次的咨询协商之后,山东建行确立了下列原则:管理信息平台业务需求至少应该分为企业报表和统计分析两个层面,企业报表用于实现管理部门的固定业务报表,虽然企业报表十分繁琐,但这是管理信息平台应该完成的最低目标。统计分析用于实现企业的全面统计分析要求,这一层面的需求要通过对业务部门进行引导式的访谈来进行发掘整理。另外,管理信息平台还应该有第三个层面,就是决策支持,决策支持层引进决策分析模型,通过大量的数据计算对某一个专题进行推演,确定其可行性和最优方案。

  理清了思路后,山东建行进行了整体业务系统框架规划,将企业报表单独作为一个应用子系统,同时根据当前银行信息管理领域的需求归纳了五个应用专题:资产负债、绩效考核、客户分析、风险管理、财务分析。而对于决策支持层,系统留出高级应用分析专题供以后的需求扩展。业务应用专题的确定为业务需求分析指定明确的目标,需求分析得以更为有效地进行,并对不同的应用专题采用不同的开发方式,最终完成了管理信息平台业务应用层的开发。

  从技术角度来说, 众多技术厂商都提供了各自的独家方案和产品,但现实问题是如何利用这些工具进行管理信息平台的架构设计,如何进行系统软件的规划。商业智能的理想方案不用手工编程, 但现实远远不会如此简单,工具软件的功能所限和用户业务的不同性,往往导致无法满足系统功能要求。

  应用层软件与业务需求相关,许多系统集成厂商会在这一领域推出软件产品,但都需要进行长时间的客户化才能实用。

  另外需要注意,企业的需求是发展变化的,而且每个时期的经济指标和资源计划等可能是不同,数据仓库项目不但在系统上涉及面广、周期长、实施难度大,而且包含多个部门的需求,和需求的不确定性,所以用户应该用发展的眼光看待项目的实际需求。

  任何项目在实施中都存在着一定的风险,企业首先要认清自身的需求情况,在选择合作伙伴的同时也要进行充分的了解。各主流厂商都有各自的优势,在服务商的选择方面用户要根据在国内外相关行业有实施经验、是否具有行之有效的数据仓库系统实施和项目管理方法和高质量的实施队伍、是否具有经过验证的、可以为企业带来附加价值的数据仓库应用系统解决方案已及可以用于企业级数据仓库系统的技术,及软硬件产品等综合因素。

  IBM、NCR、Oracle、Sybase、CA、Informix、Microsoft和SAS等有实力的公司相继(通过收购或研发的途径)推出了自己的数据仓库解决方案,例如NCR的NCR Teradata是高端数据仓库市场,IBM公司有一套基于可视数据仓库的商业智能(BI)解决方案。BO和Brio等专业软件公司也在前端在线分析处理工具市场上占有一席之地。

  专家观点

  鲁百年

  Busniess Objects公司

  中国区咨询顾问总监

  商业智能包括五个层次:第一,是过去发生了什么.第二,是为什么发生.第三,将来会发生什么,就是预测。第四,现在发生了什么——运营型的商务智能。第五,企业希望发生什么。这就是企业商务智能的五个关键的步骤。有人说,这看起来跟ERP很接近,有人认为和核心业务系统很接近,最重要的是怎么应用,帮助企业盈利。

  王闯舟

  NCR(中国)数据仓库事业部副总经理、专业技术服务总监

  根据国外的情况看,建立商业智能部门,在开发管理过程中和IT部门保持连接和流通,是由既懂技术又懂业务的人组成,所以可以沟通IT和业务部门,可以做一些深度的分析。另外是提供深层次的业务分析,对我们主要决策人员、主管协同工作。另外最重要的一点就是要定期地评估,给BI仓库带来一些价值,在整个企业如何推广商业智能的使用,对用户进行更好的培训。

  王小虎

  IBM软件集团

  信息管理技术经理

  数据仓库的建设是一个过程,并非一蹴而就。在这个过程中,业务需求和信息基础设施规划两者都不可或缺。首先,我们不是先建设一个数据仓库,再来寻找它可以解决的问题,即空有数据的积累但没有真正的业务价值;同时我们也不能仅仅看重目前需要解决的业务问题,而忽略了数据仓库应当作为IT基础设施平台的一部分,将高楼大厦建立在了沙滩之上。

  企业的困扰

  很多企业在实施数据仓库项目上,都有选择企业级数据仓库还是部门级数据仓库(数据集市)的困扰,这也一定程度上决定了企业未来数据仓库的应用关键。

  首先,我们有必要先了解一下数据仓库系统体系结构和数据集市。整个数据仓库系统是一个包含四个层次的体系结构,具体由右图表示。

  数据源是包括存放于关系数据库管理系统(RDBMS)中的各种业务处理数据、各类文档数据、相关法律法规、市场信息和竞争对手的信息等等

  OLAP系统的应用主要是对用户当前以及历史数据进行多角度、多层次的分析,辅助领导进行决策,以及进行大量的实时数据查询操作。其典型的应用有对银行信用卡风险的分析与预测和公司市场营销策略的制定等。

  前端工具主要包括各种报表工具、查询工具、数据分析工具、数据挖掘工具以及各种基于数据仓库或数据集市的应用开发工具。

  数据的存储与管理是整个数据仓库系统的核心。也是数据仓库的关键。数据仓库按照数据的覆盖范围,可以分为企业级数据仓库和部门级数据仓库(数据集市)。

  如果说数据仓库是建立在企业级的数据模型之上的话。那么数据集市就是企业级数据仓库的一个子集,它主要面向部门级业务,并且只面向某个特定的主题。数据集市可以在一定程度上缓解访问数据仓库的瓶颈。它和数据仓库除了在数据量大小和服务对象上有所区别外,逻辑结构并无多大区别。

  企业在计划实施数据仓库时,如果出于项目成本、信息化程度、项目周期等多方面的考虑,可以选择建立独立数据集市。例如:用户可以将第一个数据仓库的实现定位于一个特定的部门和应用或者业务线,用来解决个别部门比较迫切的问题。以后再用几个数据集市组成一个完整的数据仓库。这样可以降低开发成本,缩短实现周期,并有助于为未来的数据仓库的发展培训IT人员。

  但企业在实施项目前,前提是必须需要根据企业全面的业务信息和全局的视点制定一个整体决策结构和规划。这个决策是要面对未来企业级数据仓库的建设和整合上。一定要保证现在所使用的数据模型能够向将来企业范围的数据存储扩展,以便于将来其他数据集市和战略数据仓库的实现。否则,当企业做商业决策时,需要从多个数据集市或资源系统提取信息,由于数据集市各自独立,每个都由一个应用软件支持,因此造成信息调用不方便而影响到整个数据仓库系统。

  实施案例

  2002年,民生银行制定了其新的五年战略规划,根据该战略规划,民生银行将在未来五年内迅速增加资产规模和扩大业务范围,在继续巩固和发展对公业务的同时,加速拓展零售业务。为保证在高速增长期内实现高利润率和最大化增加股东价值,民生银行从2002年开始加快了信息智能化建设步伐。

  中国民生银行将构建全行统一的基础数据平台,即企业级的数据仓库系统,作为全行信息化建设的基础。中国民生银行希望基于企业级的数据仓库系统,重点建设客户信息及客户关系管理、管理会计、信用风险管理等应用系统,有效地进行客户信息整合并实施客户关系管理,进一步增强银行与客户之间的关系,将客户关系转化为持久的竞争优势,从而使中国民生银行得以比其竞争对手更快和更有效率地挖掘客户价值,以实现业务的快速增长。

  下图是民生银行在五年战略规划中确定的企业级数据仓库系统及其支持的应用系统的示意图。

  在过大量调研和考察,NCR Teradata成为民生银行实施企业级数据仓库系统的合作伙伴。根据总体规划、分布实施的原则,双方确定了三年的项目实施计划,对未来三年双方在数据仓库服务系统的硬件、软件和专业技术服务的合作等方面进行了前瞻性规划,同时也签订了项目第一期的合同。

  民生银行与NCR Teradata共同明确:企业级数据仓库系统的建设是一个持续不断的过程。在项目第一期,将重点建设民生银行企业级的逻辑数据模型,并在此基础上整合民生银行的核心业务系统和十多个外围交易处理系统的数据,建成民生银行的基础数据平台,为民生银行所有的决策支持和管理信息系统提供数据支持。在以后各期中再不断地扩充数据源和扩展逻辑数据模型,不断增强和完善数据仓库系统数据支持能力。

  应用系统方面,在项目的第一期首先专注于客户信息的整合,实现客户单一视图和客户信息查询与分析等功能。在项目第二期实施客户关系管理系统,实现闭环的市场化营销活动管理。在项目第三期实施客户贡献度分析和不断优化客户关系管理。

  从2003年4月开始,NCR Teradata开始了项目第一期的实施,到2003年年底,项目一期顺利结束。

  在数据方面,对民生银行的数据源进行详细分析;设计民生银行企业级数据仓库逻辑数据模型(CMBC-LDM);完成民生银行核心业务系统和其他13个外围产品系统的数据抽取、清洗、加载和转换(ETL)工作;建成民生银行企业级数据仓库基础环境。

  在应用方面,实现统一的客户信息管理;提供目标客户搜索功能;实现客户细分分析;提供业务统计分析功能;建立金融同业信息库。

  在一期成功实施的基础上,民生银行和NCR Teradata又继续开始了项目二期的实施工作。项目二期历时一年至2004年年底结束。

  项目建设第二期主要是数据仓库系统扩展与增强和客户关系管理系统建设,数据仓库系统扩展与增强主要包括新的数据源加载,逻辑数据模型的扩展,数据质量的改进,备份与恢复系统建设,数据接口实现和提供数据,为管理会计,信贷风险,非现场稽核,客户经理系统,人行征信系统。

  客户关系管理系统建设主要包括TCRM5.0系统安装与客户化;设计客户关系管理数据模型;实现客户服务渠道的整合;客户行为分析;产品关联性分析;客户交差细分分析;客户百分比轮廓分析;示范性营销活动案例的设计与实施;其他功能。

  目前民生银行的数据仓库及应用系统的建设已进入第三期,数据仓库系统及基于其上的应用系统都在不断地完善和继续深入实施。民生银行基于NCR Teradata系统建设的数据仓库系统的作用日益明显。

  目前数据平台为其他系统提供数据支持的情况包括:每月为管理会计系统提供数据约800MB,涉及50张数据表;每日为稽核系统提供数据约200MB,涉及70张数据表;每月为客服系统提供数据约10MB,涉及20张数据表;每月为人力系统提供数据约80MB,涉及到4数据表,包括银监会个人征信系统等。

  从实施数据仓库的经济效益来看,数据仓库系统的建设实现全行帐户、客户和交易数据及所有历史数据的集中统一存放和管理,基本实现了民生银行全行数据的整合,这种企业级的数据仓库基础环境,从宏观上基本避免了对数据的冗余存放、重复抽取和处理,无论在系统运行效率还是总体投资方面都可以为银行带来巨大的经济效益。在这一点上,民生银行数据仓库系统建设和应用的实际经验对国内银行具有借鉴意义。

  此外在应用系统建设方面,民生银行也获得了很好的回报。随着客户信息整合和客户关系管理系统建设的完成,民生银行开始逐步实施其以客户为中心的市场化营销活动,营销活动的客户反馈率稳步提高。通过规划有针对性的营销活动,极大地改善了营销活动的流程,提高了市场营销的效率,明显降低了各部门的营销活动成本。同时促进了各业务部门的营销观念和管理方式的进一步完善和更新。

  数据仓库发展趋势

  根据Teradata数据仓库事业部05年9月公布的大型企业高级经理人年度调查报告显示,商业决策数量、复杂程度和数据量呈现持续综合性增长趋势。企业每日决策数量正在增长,决策复杂程度不断提升,数据量持续加大,这些已经成为企业界的普遍现象。

  与往年受访者反映的“被数据淹没”的调查结果相比,2005年的调查显示有些人已经开始脱离困境。其中57%的受访人认为他们已经逐渐开始适应这种新状态,决策质量比去年有所提升。他们将这一改善的首要原因归于提升的分析能力、能快速取得详细信息以及更为丰富的经验。

  Teradata在2005年进行的另外几项研究也表明,数据激增造成的决策挑战是一个全球现象,欧洲和亚太的企业主管认同决策数量、复杂程度和数据量在激增。中国受访主管中85%认为每日决策的数量比去年有所增长,76%认为决策变得更加复杂,89%认为数据量已增加。

  从数据访问的发展趋势来看,纵向整合机构被“虚拟”机构所取代,整个价值链共享数据,将客户整合到价值链中,此外访问数据的用户数量高速增长。机构的虚拟化意味着数据仓库用户数量的高速增长转向基于事件的分析,加之无人为决策参与,使得数据模式趋向由事件驱动和软件代理程序处理。

  随着企业信息化程度的提高和数据仓库技术的不断跟进,我们有理由相信,数据仓库会越来越多的应用在更多更广泛的行业,为企业的决策支持和联机分析提供更有价值的信息和服务,让企业长期积累的数据变成正确决策宝贵的知识。

Azure数据库服务比较:SQL Database vs Cosmos DB 结构化数据场景:如订单管理、用户认证等需要强事务支持的业务非结构化/半结构化场景:如物联网设备日志、社交网络数据、实时推荐系统:基于传统关系型数据库(SQL Server)的云原生服务,支持ACID事务和复杂SQL查询Cosmos DB:全球分布式NoSQL数据库,支持多模型(文档、键值、图、宽列)和弹性扩展两者的架构设计哲学有何本质区别?数据建模和查询语言的差异如何影响开发体验?一致性、可用性、吞吐量的权衡模型如何选择?典型业务场景下的选型决策依据是什么?技术原理对比。 阅读详情

相关推荐

数据库与数据仓库

数据库是一种逻辑概念,用来存放数据的仓库,通过数据库软件来实现。 数据仓库是数据库概念的升级。从逻辑上理解,数据库和数据仓库没有区别,从数据量来说,数据仓库要比数据库更庞大的多。数据仓库主要用于数据挖掘和数据分析,辅助做决策。 数据库 Database (Oracle, Mysql, PostgreSQL)主要用于事务处理,数据仓库 Datawarehouse (Amazon Redshift, Hive)主要用于数据分析。用途上的不同决定了这两种架构的特点不同。 各自特点 数据库(Database)的特点

qq_29258377的博客 6745

数据如何变成知识,第 1 部分 从数据到知识

过去几年,信息科学取得了重大进展。随着本地服务器给云服务让道,SQL 数据库和数据表开始朝 NoSQL 和键值对数据存储迁移。随后,为了处理大量的、品种繁多的、快速生成的数据,大数据和相关的扩展技术应运而生。 DIKW 模型 数据:数据是事实、信号或符号的集合。在这种形式下,数据可能是原始、不一致或杂乱的。因此,这种数据没有用。 信息:信息是按一致的方式整理和排序的数据集合。信息形式的数据变...

ddonking的专栏 4598

数据仓库基础知识

数据仓库基础知识介绍

小猪宝宝的博客 2430

什么是知识图谱?将数据转化为知识

在过去的十年左右的时间里,知识图谱一直潜入我们的日常生活中,如通过语音助手(例如Alexa,Siri或Google Assistant),直观的搜索结果,或通过在线商店推荐者的个性化购物体验。我们每天都在不断与知识图谱进行交互。但是,知识图谱和底层图数据库对大多数人来说仍然是一个谜,由于它无缝地进入了我们的生活,我们大多数人甚至都不知道我们对技术的依赖程度,或更糟糕的是,我们是如何开始期望我们现在...

半夏微凉的博客 3677

从数据库到数据仓库:数据仓库导论

本文为数据仓库导论,旨在介绍数据仓库的基本理念和应用场景,帮助读者理解数据仓库的重要性及其在企业中的实际应用。

探索大数据世界 - 深入解析数据存储、分布式计算与人工智能 2784

Trae+Playwright MCP自动化测试全流程指南:从环境搭建到智能体运行

本文提供了一份详细的Trae与Playwright MCP集成指南,涵盖从Node.js、Python环境搭建到智能体创建的全流程。通过结合MCP协议,AI智能体能够理解任务并驱动Playwright执行复杂的浏览器自动化操作,实现从网页数据抓取到端到端测试的智能工作流。

banana的博客 531

数据仓库在企业的应用

                                                    数据仓库在企业的应用     无论是Wal-Mart式的锦上添花,还是Sears式的雪中送炭,信息技术毕竟是工具而已,成功还需要企业的管理者、员工协同努力以及良好的商业环境。不过,Wal-Mart和Sears应该都会承认这一点:数据仓库是很棒的工具,尤其对于那些积累了海量数据并且希望从数字矿山掘

yzc的专栏 2941

MySQL等保三级合规实践:如何安全配置root账户的本地与受信主机登录策略

本文详细介绍了MySQL在等保三级合规框架下如何安全配置root账户的本地与受信主机登录策略。通过分析root账户的特殊保护需求,提供三种安全加固方案,包括限制访问范围、限定登录IP和完全禁止远程登录,并指导创建安全的远程管理账户。文章还涵盖了密码策略强化、日志审计配置和网络层防护等关键合规要求,帮助用户实现MySQL的等保三级全面合规。

weixin_42522964的博客 259

数据仓库面试题集锦(附答案和数仓知识体系)

数据仓库知识体系 + 面试题集锦

独木不成林,单弦不成音。 4万+

SOI技术解析:绝缘体上硅的结构优势与应用场景

本文深入解析了SOI(绝缘体上硅)技术的核心结构、性能优势与应用场景。SOI通过在硅衬底与器件层之间引入绝缘的埋氧层,实现了优异的电隔离,从而显著降低芯片功耗、提升工作频率并增强抗干扰能力。该技术已广泛应用于5G射频前端、高性能计算、汽车电子及MEMS传感器等关键领域,是推动半导体性能持续提升的重要技术路径。

jj890的博客 402

IST——In-System-Test

安全性是自动驾驶平台的关键特性之一,而这些架构中使用的半导体芯片必须保证ISO 26262标准所要求的功能安全方面。为了监控由于现场缺陷导致的故障,在启动和/或关闭期间会自动运行系统内结构测试。当系统内测试(IST,In-System-Test)架构检测到任何永久性缺陷时,驾驶平台会做出响应,以实现系统的故障安全状态。汽车IC采用高质量测试方法进行筛选,以实现接近零的DPPM(每百万缺陷部件)。即使在这样的高测试标准下,由于环境或操作条件的影响,在系统现场运行过程中仍可能出现可靠性缺陷。

weixin_50518899的博客 3205

数据仓库建设思路

数据仓库建设思路   数据仓库建设思路        数据仓库的建设应以数据为驱动,由于数据仓库并不涉及事务处理,而且报表分析也仅占有一小部分,数据仓库的应用程序本质是分析,尤其是针对业务智能的分析。 Online Transaction Processing (OLTP)环境中用户量非常大,但使用到的数据却比较少,在Online Analytical Processing (OL

china_melancholy的专栏 1万+

Trae IDE与Playwright MCP:5分钟实现零代码网页数据抓取

网页数据抓取是数据采集和自动化处理中的基础技术,其核心原理是通过程序模拟浏览器行为,定位并提取页面中的结构化信息。传统方式依赖编写脚本处理网络请求、解析HTML和应对反爬机制,技术门槛较高。而结合AI与自动化工具的新范式,通过自然语言交互即可完成复杂操作,极大降低了技术门槛并提升了开发效率。这种技术价值在于将开发者从繁琐的编码中解放,使其更专注于数据分析和业务逻辑。在数据监控、市场调研、竞品分析等应用场景中,快速获取网页数据是关键需求。本文以Trae IDE集成Playwright MCP为例,演示如何通过

culi3118的博客 498

mysql实现知识图谱_知识图谱,能否成为企业下一代的数据仓库?

经过适当的引入常识知识和领域知识,可以对图谱中的节点和关系做向量化处理,进而突破以往基于字符串匹配的浅层语义,更加便利、有效的帮助客户组织领域知识,为流程优化、辅助决策、预测分析等下游应用提供基础服务。明略科技在这方面有足够多的构想和实践。来源 |AI科技评论“我认为,知识图谱是企业下一代管理数据的一种新的组织方式,能够更高效的连接上游的大数据和下游的AI建模任务。企业最初数据量少、...

weixin_39717692的博客 409

DOTS 性能基石:为什么传统 Unity 代码难以满足现代游戏需求?(DOTS 系列教程 · 第1篇)

本文探讨了Unity游戏开发中的性能优化问题,指出性能问题不应在最后才考虑,而应贯穿整个开发过程。文章分析了性能问题的三大表现(渲染开销、物理模拟、游戏逻辑),并解释了依赖硬件升级的不可行性。重点剖析了传统Unity代码性能低下的六大根源:垃圾回收卡顿、编译器优化不足、多核利用不足、数据结构和代码缓存不友好、过度抽象等问题。最后指出Unity项目中常见的反模式,如主线程垄断、内存碎片化等,为后续学习DOTS高性能架构解决方案奠定基础。

分享知识,拥抱变化 150

Mac mini M2 部署 OpenClaw:最稳 7×24 本地 AI 服务器

Mac mini M2 凭借其强大的 M2 芯片、低功耗和静音特性,成为部署 OpenClaw AI 服务器的理想平台。本文详细介绍了从系统配置到 OpenClaw 部署的全过程,包括 Docker 环境搭建、docker-compose 编排、性能优化方案以及开机自启设置。通过统一内存架构和高效 SSD,M2 版 Mac mini 在 AI 推理速度上显著优于前代产品,同时保持极低的功耗(仅 8W),适合 7×24 小时稳定运行。部署方案充分利用了容器化技术,确保了服务的可靠性和可维护性。

一键难忘的博客 2953

数据仓库知识点汇总

数据仓库形象解释 业务场景如下图 举例说明: 在很久很久以前,世界上生活着许多种族,有人类,有矮人,有精灵......他们有着不同的信仰,不同的文化,彼此相安无事。可是,有一个猥琐男却偏偏想要统治整个世界。如何统治这么多不同文化信仰的种族呢?猥琐男想出一个馊主意,打造出几枚拥有魔力的戒指,免费送给不同种族的领袖,让他们可以更好地统治各自的族人。当各个种族的领袖美滋滋地戴上各自的魔戒,走上...

戰士博客 7869

Oracle EBS R12 主 / 辅助分类帐(主 / 辅助帐套)落地

本文提供了Oracle EBS R12主/辅助分类帐实施的全套文档模板,包含主帐套(法定帐套)和辅助帐套的完整配置清单、科目映射规则模板、4类典型调整分录示例(存货跌价、折旧差异、往来重分类、外币折算)以及税会/IFRS案例分录。重点阐述了主/辅助帐套的配置要点、SLA子分类帐关键配置、科目映射规则(一对一、多对一、重分类等类型)以及调整分录的自动生成逻辑。文档可直接用于项目实施,包含总体架构图、科目映射矩阵表、会计规则集配置等交付物,并附有Excel版模板便于直接使用。适用于需要实现多准则并行记账、税务调

金牌架构师 385

详解数据仓库和数据库的区别

一、数据仓库 什么是数据仓库? 数据仓库(Data Warehouse),可简写为DW或DWH,数据仓库,是为了企业所有级别的决策制定计划过程,提供所有类型数据类型的战略集合。它出于分析性报告和决策支持的目的而创建。为需要业务智能的企业 ,为需要指导业务流程改进、监视时间,成本,质量以及控制等; 数据仓库能干什么?(举几个栗子) 年度销售目标的制定,需要根据以往的历史报表进行决策,不能随便...

liwenjie001的博客 8万+

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

database.db 文件详解:数据库文件在 SQLite 中的作用与使用

本文解析了Python项目中自动生成的database.db文件的作用和使用方法。该文件是SQLite数据库的默认存储文件,包含表结构、数据记录和索引等信息。文章详细介绍了SQLite的存储原理、查看和操作方法(命令行与可视化工具)、备份策略及常见问题解决方案,并强调数据库管理需严谨,避免数据丢失。掌握.db文件的特性能帮助开发者更高效地进行项目调试和数据库维护。

聚焦学生开发者需求,分享课设毕设项目实战经验、系统开发技巧、数据库设计规范及文档排版实用方法。 2392

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

数据仓库和数据库的区别

本文主要介绍数据仓库和数据库的区别,首先描述下数据仓库是什么: 数据仓库的本质还是一个数据库,它将各个异构的数据源数据库的数据给统一管理起来,并且完成了质量较差的数据的剔除、格式转换,最终按照一种合理的建模方式来完成源数据组织形式的转变,以更好的支持到前端的可视化分析。 数据仓库中主要存储的是结构化的数据,但是它的来源可以是多种类型的数据来源(结构化、半结构化、非结构化),中间需要一个ETL过程。 一、用途 数据库:主要用于事务处理,即OLTP(Transaction),也就是我们常用的面向业务的增删改查操

啥也不是 2万+

一文读懂数据库、数据仓库、数据平台、数据中台、数据湖

数据库是用于存储、管理、维护和检索数据的系统。是所有软件应用、网站、企业信息系统和数据驱动决策的基础。简单来说就是:数据库就是一个存储信息(水)的容器。数据库使用场景-图1数据库主要分为两种类型:关系型数据库和非关系型(NoSQL)数据库。非关系型又分为四种类型:键值型、列存储型、文件型和图形数据库(这块后面有时间详细说下)。数据库类型-图2题外话:某些数据库(如 MongoDB)可以分为多个类别,因为它们支持不同的数据模型。此外,所提供的列表并不详尽,因为每个类别中还有许多其他数据库可用。

m0_59235945的博客 6412

数据库与数据仓库的区别及关系

数据库是为捕获数据而设计,数据仓库是为分析数据而设计**。数据库和数据仓库都有各自的优势和局限性,它们各自适用于不同的场景。数据库更适合用于快速处理事务性操作,而数据仓库则更适合用于进行复杂的数据分析和查询。它们各自有不同的用途和优化方式,可以根据实际需求选择使用。

qq_43605229的博客 7843

数据仓库常用面试知识

什么叫数据仓库? 数据仓库是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,它用于支持企业或组织的决策分析处理。 数据仓库是为了便于多维分析和多角度展现而将数据按特定的模式进行存储所建立起来的关系型数据库,它的数据基于OLTP源系统。 首先,用于支持决策,面向分析型数...

坏家伙康康的博客 1万+

数据仓库相关知识

数据仓库(Data Warehouse) 一、概念 数据仓库是这么定义的:数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合。 这个定义中有一个定义比较容易含混,那就是“面向主题”。面向主题是指数据仓库围绕一些主题,排除对于决策无用的数据,提供特定主体的简明视图。近年提出的“面向专题”的分析和这个概念混淆的厉害,只能用用户熟悉的业务才能作出解释。 面...

tianzongnihao的博客 1万+

数据仓库与数据库Day3

面向主题的(Subject-Oriented )、集成的(Integrated)、非易失的(Non-Volatile)和时变的(Time-Variant )为临时存储层,是接口数据的临时存储区域,为后一步的数据处理做 准备。:也称为细节层,DW层的数据应该是一致的、准确的、干 净的数据,即对源系统数据进行了清洗(去除了杂质)后的数据。,也可以称面向用户交易的 处理系统,它是针对具体业务在数据库联机的日常操作,通常进行增删改查操作。:前端应用直接读取的数据源;仅仅是删除元数据,存储的业务数据并不会被删除。

2301_77954571的博客 2066
上一篇: 在Linux上实现DB2双机HA完整方案
databasechannel
博客等级 码龄21年 8粉丝 37原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值