
数据
文章平均质量分 92
Thoughtworks思特沃克中国
这个作者很懒,什么都没留下…
展开
-
数据质量管理的一些思考
背景在近期的项目当中,我们为客户落地实施了数据资产平台。随后,在数据平台中接入了客户子公司的一个业务系统的明细数据。客户希望在我们的数据平台上通过数据探索和数据分析,来挖掘一些业务价值和业务创新点。当我们拿到数据开始进行一些初步探索的时候,发现导入平台的数据质量存在一定的问题:例如一些用于数据分析的关键字段的值为空、一些本应该有主从关系的数据对应不上、数据分类混乱等。这些问题直接影响到了对...原创 2018-07-11 11:55:11 · 11631 阅读 · 0 评论 -
揭秘大数据安全
旧闻2018年8月28日,网传华住旗下多个连锁酒店开房信息数据遭泄露售卖。泄露的数据包含汉庭、美爵、禧玥、漫心、诺富特、美居、CitiGo、桔子等酒店用户详细信息。涉及53G华住官网注册资料,大约1.23亿条记录;22.3G酒店入住登记资料,约1.3亿人身份证信息;66.2G酒店开房记录,约2.4亿条。随后华住集团发布申明已开始核实事件真实性,并已报警处理。数据之于大数据项目就犹如泉水之于...原创 2019-07-24 11:00:14 · 570 阅读 · 0 评论 -
第二十期技术雷达正式发布——给你有态度的技术解析
日新月异的数据形态、Terraform生态系统建设、Kotlin方兴未艾、封装边界的泄漏...新一期技术雷达还说了什么?原创 2019-04-25 10:52:29 · 557 阅读 · 0 评论 -
微服务架构下的质量迷思——混沌工程
微服务概念的提出至今已多年,这期间也是互联网及互联网+发展的高速期,消费市场变化莫测,消费者也变得越来越挑剔,越来越多的互联网巨头甚至传统行业都开始对自己的遗留系统进行微服务改造。原创 2019-05-05 10:08:03 · 485 阅读 · 0 评论 -
从TechRadar看UI自动化测试的未来
在2017年第17期和2018年19期技术雷达中,分别出现了两个新的工具——cypress,testcafe,之前只接触过webdriver框架的同学可能会有些陌生。而cypress已经在最新一期的技术雷达中进入了评估阶段,并在多个项目得到了应用,总体反馈利大于弊。先来详细的介绍下cypress以及我所在项目使用中踩过的坑,关于testcafe会在另外一篇文章中介绍,testcafe主要是用来做...原创 2019-04-29 14:41:00 · 420 阅读 · 0 评论 -
从架构可视化入门到抽象坏味道
C4不能帮你做好架构设计,但是它能暴露出你设计中的问题,以便于被自己或其他人纠正。可视化的威力就在这里,但根据我的经验,即便你用上了C4也不见得就能表达清楚,不过好消息是,我们终于可以聊一些高级的表达问题了。原创 2019-04-18 17:52:08 · 416 阅读 · 0 评论 -
在一家技术公司做媒体
你或许从不同渠道看到过来自“ThoughtWorks洞见”的内容,主题横跨ThoughtWorks的业务能力、技术专业能力、文化、职业。自第一篇文章发出至今,已有五年时间,累计641篇文章,不能说这是一个多么大的成绩,但我们在背后的坚持,乃至产生的持续影响,还是会让我自己觉得意外,毕竟我们是一家技术厂商,而不是媒体。原创 2019-04-15 10:36:43 · 252 阅读 · 0 评论 -
都是脏数据惹的祸
调查分析生产环境缺陷,到最后定位是数据问题的时候,总是让人浑身轻松... 于是,“脏数据”就跟测试的“随机挂”一样,成为了光荣的“背锅侠”!脏数据 ≠ 代码问题,真的是这样吗?先来深入了解一下脏数据。原创 2019-04-26 10:30:47 · 526 阅读 · 0 评论 -
从技术雷达看DevOps十年-DevOps和持续交付
ThoughtWorks作为DevOps运动最早的见证者和奠基人,并没有意识到那个周末聚会将在接下来10年给全球IT行业带来深远影响。原创 2019-04-17 10:36:57 · 366 阅读 · 0 评论 -
数据中台演进之AI中台
AI中台是数据中台在业务上的演进,是系统服务的重组的过程。AI中台不是一蹴而就的,也许达到最终的效果有非常长的路要走,但是我们可以考虑逐步的演进过去。原创 2019-04-08 18:20:09 · 1269 阅读 · 0 评论 -
技术选型指南
这是一篇综合类技术选型指南,试图为你提供一份比较通用的技术选型思维框架。当你需要进行技术选型时,可以参照它来设计自己的决策树。原创 2019-04-10 14:59:45 · 699 阅读 · 0 评论 -
更好就足够了吗?| 驱动变革
如果我们不希望年复一年地工作在腐烂的代码库上,使用陈旧的技术栈、落后的工具、过时的工程实践,我们必须学会驱动变革,成为卓有成效的变革者。原创 2019-04-10 10:09:10 · 297 阅读 · 0 评论 -
数据安全在交付中的思考
2017年7月,Equifax用户数据泄露事件使得1亿4千300万个人信息(包括社会保障号码、出生日期、地址、驾照编号)和20万9千个用户的信用卡数据被盗。该事件直接导致1.43亿美国人的个人信息的破坏和泄露。CEO Richard Smith在数据泄露之后直接提出辞职,公司股价跌幅超过8%,市值蒸发35亿美元。2016年9月,Yahoo宣布遭遇史上最严重的数据泄露,导致5亿用户的真实姓名、电...原创 2018-08-15 19:24:39 · 738 阅读 · 0 评论 -
你真的需要那么多报表吗?
数据利用之现状-报表迷宫企业对于数据的重视程度越来越高,很多业务部门也深刻意识到了数据的重要性,希望通过数据挖掘出动态变化着的、复杂的、跨越多渠道的、内外部集成的业务现象背后的逻辑,从而来指导决策和运营。如何让业务人员更体系化,更高效快速的利用数据,对业务产生可度量的价值,则成为了困扰很多业务和数据分析人员的问题。在很多企业,我们看到了一些存在于数据利用方面的普遍问题:企业不知该如何合...原创 2019-09-20 11:56:33 · 365 阅读 · 0 评论