
大数据
文章平均质量分 75
数据工程师陈晨
从事大数据开发3年,现在经常使用的编程语言:Pyt hon,Java。
展开
-
基于大数据技术的电信客户流失预测模型 研究及应用 大数据
【摘 要】 为减少用户流失,提高用户保有率,文章介绍一种基于智慧运营平台,将大数据技术和数据挖掘技术相结合,对电信客户流失进行预测的模型。该模型利用大数据技术处理用户离网前的海量数据信息,分析流失用户特征,建立用户流失预测,提前锁定流失风险较高的用户,有针对性地制定维挽策略,精准开展维系挽留活动,能够有效降低用户离网率。【关键词】 大数据;流失预测;数据挖掘;客户流失;维系挽留引言随着移...原创 2018-10-19 14:15:24 · 10453 阅读 · 3 评论 -
一篇让你深度思考的文章|大数据与数据挖掘的相对绝对关系 大数据
数据不是信息,而是有待理解的原材料。但有一件事是确定无疑的:当NSA为了从其海量数据中“挖掘”出信息,耗资数十亿改善新手段时,它正受益于陡然降落的计算机存储和处理价格。麻省理工学院的研究者约翰·古塔格(John Guttag)和柯林·斯塔尔兹(Collin Stultz)创建了一个计算机模型来分析之心脏病病患丢弃的心电图数据。他们利用数据挖掘和机器学习在海量的数据中筛选,发现心电图中出现三类异...原创 2018-10-19 17:45:23 · 384 阅读 · 0 评论 -
一篇文章详解大数据技术和应用场景 大数据
什么是大数据说起大数据,估计大家都觉得只听过概念,但是具体是什么东西,怎么定义,没有一个标准的东西,因为在我们的印象中好像很多公司都叫大数据公司,业务形态则有几百种,感觉不是很好理解,所以我建议还是从字面上来理解大数据,在维克托迈尔-舍恩伯格及肯尼斯库克耶编写的《大数据时代》提到了大数据的4个特征:很多初学者,对大数据的概念都是模糊不清的,大数据是什么,能做什么,学的时候,该按照什么线路去学...原创 2018-10-22 10:33:37 · 1774 阅读 · 0 评论 -
2018如何避开大数据的四大误区 大数据
人们正在进入一个由数据驱动的“数据时代”,但是数据真的是万能的吗?人在互联网时代,大数据已充斥了我们生活和工作的方方面面。有了大数据,人们对于经济社会的认识与把握进入到一个全新的时代,即进入到一个较信息经济更高位阶的新阶段,也就是“数字经济”。日前发布的《中国数字经济发展白皮书(2017)》中指出,2016年中国数字经济总量达到22.6万亿元,同比名义增长接近19%,占GDP的比重超过30%,同...原创 2018-10-20 10:05:24 · 1654 阅读 · 0 评论 -
业界 | 如何成为一名数据科学家?听听来自Netfix的老司机怎么说 大数据
数据科学是什么?数据分析?机器学习?还是数据工程?答案可能有很多,但也许只有直接与某个公司的数据科学家交流,才能了解该公司是如何看待数据科学的。由Netflix举办的第三届聚焦数据科学的WiBD研讨会,为我们所有人了解Netflix的数据科学故事提供了绝佳机会,一起来看看吧!很多初学者,对大数据的概念都是模糊不清的,大数据是什么,能做什么,学的时候,该按照什么线路去学习,学完往哪方面发展,想深...原创 2018-10-25 08:58:31 · 192 阅读 · 0 评论 -
什么是“大数据新闻”? 大数据
数据就是资产。大数据(Big Data)是近些年非常火的一个词汇。新闻业也常常借助大数据技术来革新报道形式。那么,究竟什么是大数据呢,大数据新闻又是一个什么概念?很多初学者,对大数据的概念都是模糊不清的,大数据是什么,能做什么,学的时候,该按照什么线路去学习,学完往哪方面发展,想深入了解,想学习的同学欢迎加入大数据学习扣群:805127855,有大量干货(零基础以及进阶的经典实战)分享给大...原创 2018-10-23 11:16:28 · 10637 阅读 · 0 评论 -
大数据与信息安全(六)天网系统与大数据 大数据
大数据与信息安全(六)大数据是什么?大数据是一个极为强大的信息数据的采集和收录系统,可以将我们日常工作生活中的所有数据,近乎可以全盘收录。大数据系统的设立,就是为了方便统计,不需要过去繁琐的操作,通过什么个体采样、分批采样等统计模式来获取信息数据,而是将所能采集到的数据,都通过大数据系统近乎完全彻底的收录进来,然后通过云计算来进行数据的分析处理,最后得出相应结论。大数据和云计算得出的结论...原创 2018-10-21 14:29:03 · 1648 阅读 · 0 评论 -
你知道吗?未来我国大数据应用技术的发展将涉及这些热点领域 大数据
在贵州省贵阳市举行的2018中国国际大数据产业博览会上,参观者在参观城市网络安全运营中心。新华社记者 陶亮 摄近日发布的《中国大数据应用发展报告》显示——目前,我国互联网、移动互联网用户规模均居全球第一,有着丰富的数据资源和显著的应用市场优势。随着打造“数字中国”战略的推进,大数据产业正成为经济社会发展的新引擎,受到广泛关注。当前,大数据产业正快速发展成为新一代信息技术和服务业态,即对数量...原创 2018-10-21 18:31:09 · 1324 阅读 · 0 评论 -
一篇文章帮你建立自己的大数据知识体系!
现在大数据非常火爆,相信你一定看过不少关于大数据的书、文章、资讯,但基本上获取的都是零碎的知识点,不成系统,没有形成自己的知识体系,“看过很多知识点但依然搞不懂大数据”,然并卵。那么,今天这篇文章呢,就带大家从整体思路上,剖析大数据的产品设计架构和技术策略,帮助大家建立自己的大数据知识体系!很多初学者,对大数据的概念都是模糊不清的,大数据是什么,能做什么,学的时候,该按照什么线路去学习,学完往...原创 2018-10-29 07:20:14 · 247 阅读 · 0 评论 -
2019年机器学习:追踪人工智能的12大发展趋势
摘要:“智能助理”的时代已经到来了。机器学习已经成为全球数字化转型的关键要素之一 ,在企业领域,机器学习用例的增长在过去几年中也是显著的。预计机器学习工具和解决方案的企业级采用率将在本十年结束前达到65% - 并且支出将达到460亿美元(根据IDC报告)。平均而言,55%的企业CIO已将机器学习视为业务加速的核心优先事项之一。在这里,我们将重点介绍2019年机器学习将如何继续发展。很多初学者,...原创 2018-10-26 09:37:18 · 1908 阅读 · 0 评论 -
2018人工智能发展白皮书技术篇重磅发布
本次所发布的为技术架构篇,从产业发展的角度,选择以深度学习算法驱动的人工智能技术为主线,分析作为人工智能发展“三驾马车”的算法、算力和数据的技术现状、问题以及趋势,并对智能语音、语义理解、计算机视觉等基础应用技术进行分析,并提出了目前存在的问题和技术的发展趋势。 报告一览 报告分为四大章节,分别为人工智能技术发展概述、基于深度学习的人工智能技术现状、基于深度学习的基础应用技术现状、...转载 2018-10-31 11:13:04 · 315 阅读 · 0 评论 -
搞懂大数据,这篇文章一定要细细品读! 大数据
导读:文章用一个个生动的例子深入浅出的讲述了大数据,并大胆的描绘了大数据未来的应用场景。很多初学者,对大数据的概念都是模糊不清的,大数据是什么,能做什么,学的时候,该按照什么线路去学习,学完往哪方面发展,想深入了解,想学习的同学欢迎加入大数据学习扣群:805127855,有大量干货(零基础以及进阶的经典实战)分享给大家,并且有清华大学毕业的资深大数据讲师给大家免费授课,给大家分享目前国内最完整的...原创 2018-10-24 10:03:29 · 703 阅读 · 0 评论 -
一篇文章带你读懂真正的大数据公司
马云卸任演讲时说了这么一句话:很多人还没有搞清楚什么是PC互联网,移动互联网来了,我们还没有搞清楚移动互联网的时候,大数据时代又来了。现在的数据,可谓是时下最炙手可热的东西了。想当年,有“洛阳纸贵”的景象;看今朝,数据成为江湖大佬必争之物,火爆程度堪比“洛阳纸”。而随着大数据浪潮来袭,大数据企业也如雨后春笋般不断涌出。几乎身边的每个人都在夸夸其谈大数据,就好像“万金油”一般,似乎套在什么项...原创 2018-10-30 14:04:46 · 648 阅读 · 1 评论 -
数据科学项目管理中的“黄金标准”
如何建立一个数据科学项目管理?建立的标准又是什么? 我想大多数人至少承认这一点:“你的研究需要让其他人能够轻松地理解你在项目中做了什么,并能复制这些结果”。 此外,你还得对文件的命名方式多加注意,具体做法如何,我们一起来看看吧。 研究结果的可复制性和分享性首先,你所做的项目必须具有非常强的可复制性以及可分享性,因为只有这样才能让你的同行检验项目的成果。...原创 2018-10-27 15:29:07 · 822 阅读 · 0 评论 -
一篇文章让你了解大数据采集技术
大数据开启了一个大规模生产、分享和应用数据的时代,它给技术和商业带来了巨大的变化。麦肯锡研究表明,在医疗、零售和制造业领域,大数据每年可以提高劳动生产率0.5-1个百分点。大数据在核心领域的渗透速度有目共睹,然而调查显示,未被使用的信息比例高达99.4%,很大程度都是由于高价值的信息无法获取采集。因此在大数据时代背景下,如何从大数据中采集出有用的信息已经是大数据发展的关键因素之一,那么什么是大数据...原创 2018-11-01 11:29:10 · 12079 阅读 · 0 评论 -
【干货】大数据招聘官就业指导
大数据招聘官权威“就业干货” 本着坚决对大家负责到底的态度,我们邀请了某知名互联网上市公的司数据分析线招聘负责人,给大家送上权威的大数据就业指南。First & 平均月薪12K,薪酬增长迅速,财务自由不是梦! 首先,是大家最关心的薪酬问题,大数据行业绝大部分的职位都在5k以上,25k-30k、甚至40k以上的高端职位也是有分布的,均值接近12k。...原创 2018-11-06 09:21:17 · 334 阅读 · 0 评论 -
可视化大数据分析软件要掌握这6个核心技术!
大数据技术与商业智能BI是相辅相成的,大数据技术可以帮助BI产品突破业务和技术的双挑战。可视化大数据分析软件在快速发展的市场环境中,迎来了越来越多的技术要求。这些核心技术成为大数据获取、存储、处理分析或可视化的有效手段,可以说是我们这些专注研究可视化大数据分析软件的工作人员需要去学习和了解的!1.大数据生命周期 底层是基础设施,涵盖计算资源、内存与存储和网络互联,具体表现为计算节点、集...原创 2018-11-03 17:24:05 · 1737 阅读 · 0 评论 -
月薪30-50K的大数据开发工程师们,原来都是这样想想的!!!
这两天小编去了解了下大数据开发相关职位的薪资,主要有hadoop工程师,数据挖掘工程师、大数据算法工程师等,从平均薪资来看,目前大数据相关岗位的月薪均在2万以上,随着项目经验的增长工资会越来越高。那么对于新手来说,应该如何开始学习,才能够早日的实现月薪2万多的目标。就小编了解的来说,新手一般需要一年以上的时间才能够达到2万以上的薪资,目前很多人选择参加培训然后快速进入工作岗位,积累经...原创 2018-11-02 11:24:51 · 281 阅读 · 0 评论 -
最牛干货 :解读产品、运营和数据三个基友关系
曾经被问到产品和运营的关系。 网络上有很多答案:比如产品经理负责把产品生下来,运营负责把它养大;比如共穿一条裤子的好基友,等等。 在我看来,两者是不分割彼此的。可能初级的产品策划和产品运营(包括其他运营)因为岗位工作内容的不同,具有挺大的差别。随着两者段位和职级的提高,会逐渐融合。 虽然我没有正式地从事过产品业务线的规划,算上后台运营系统和数据产品,勉强摸着了一点边。今天不...原创 2018-11-04 14:29:46 · 399 阅读 · 0 评论 -
数据挖掘方面的研究必须用的那些知识!!!
关于数据挖掘方面的研究,我原来也走过一些弯路。其实从数据挖掘的起源可以发现,它并不是一门崭新的科学,而是综合了统计分析、机器学习、人工智能、数据库等诸多方面的研究成果而成,同时与专家系统、知识管理等研究方向不同的是,数据挖掘更侧重于应用的层面。 因此来说,数据挖掘融合了相当多的内容,试图全面了解所有的细节会花费很长的时间。因此我建议你的第一步是用大概三个月的时间了解数据挖掘的几个常用技...原创 2018-11-07 10:12:14 · 1453 阅读 · 0 评论 -
Nature杂志总编辑:如何培养一个有价值的研究者
就在不久前,腾讯CEO马化腾在知乎上提了一个问题: “未来十年哪些基础科学突破会影响互联网科技产业?产业互联网和消费互联网融合创新,会带来哪些改变?” 在昨天刚刚结束的WE大会上,腾讯给了自家CEO这个问题一个自己的答案——脑科学。 在第六届腾讯WE大会上,自然集体总编辑Philip Campbell宣布了与腾讯的合作——《自然》杂志和腾讯合作推出...原创 2018-11-05 12:42:06 · 458 阅读 · 0 评论 -
业界 | Nature:人工智能协助科学家解密基因序列
快速测序基因组的能力为科学家提供了大量的数据,但了解进化是如何塑造了人类仍然是一项艰巨的任务。 精确确定人类基因序列在哪里及如何进化就像大海捞针。每个人的基因组包含30亿个称为核苷酸的构建模块,研究人员必须汇编来自数千人的数据,以期发现进化压力塑造基因的模式。 为了找到这些模式,越来越多的遗传学家转向一种称为深度学习的机器学习方法。该方法的支持者表示,与传统的统计方法相比...原创 2018-11-13 15:15:54 · 357 阅读 · 0 评论 -
读完这篇,你一定能真正理解什么是哈希表
本文全是干货,读完希望对你有所帮助~ 哈希表也称为散列表,是根据关键字值(key value)而直接进行访问的数据结构。也就是说,它通过把关键字值映射到一个位置来访问记录,以加快查找的速度。这个映射函数称为哈希函数(也称为散列函数),映射过程称为哈希化,存放记录的数组叫做散列表。比如我们可以用下面的方法将关键字映射成数组的下标:arrayIndex=hugeNumber%arraySize...原创 2018-11-14 11:16:16 · 165 阅读 · 0 评论 -
什么是大数据?什么是物联网?
大数据1、我们先看来自度娘的解释:大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据具有5V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。那么问题来...原创 2018-11-18 19:27:40 · 1494 阅读 · 0 评论 -
Python要怎么开始(零)
想学Python的话,资料满世界都是,那我为什么还要写呢?因为想写点有意思的Python在很多人印象里编程是个枯燥乏味的事,感觉写代码的都掉头发,还单身狗,还死得早… 说出来真是一把鼻涕一把辛酸泪...(图片来源:PEXELS.COM) 可事实上,很多人忽略了编程本身很好玩这一点。有没有思考过,为什么Python这货叫编程语言?因为这货是用来跟计算机对话的工具,作用就跟人与...原创 2018-11-21 10:44:24 · 598 阅读 · 0 评论 -
一文读懂大数据及大数据产业
随着“云计算”、“互联网”、“物联网”的快速发展,大数据(Big Data)也吸引了越来越多的人关注,成为社会热点之一。大街小巷不论是技术人员、咨询人士以及各行各业的精英达人都在探讨着“大数据”,“大数据”显然已经成为新一代“网红”。 一、大数据是如何成为网红? 大数据一词最早出现是在1980年著名未来学家托夫勒在其所著的《第三次浪潮》中,书中提出“如果说IBM的主机拉开了信息化革...原创 2018-11-15 10:43:25 · 2119 阅读 · 0 评论 -
大数据时代,你的角色是什么?
大数据时代,不懂点数据分析都不好意思告诉别人你混互联网、混大都市的,在大数据的环境下,我把市场上的分析师分为几类 一、数据变现者 这类人一直在公司从事这业务分析的角色,他们一直在尝试用数据去改变业务决策的流程变更和机遇,驱动这企业的北极星指标,更多做的事情是对业务驱动的输出而不是简单的输入,他们要考虑目前的现状、改变的机会、未来的方法,所以数据只是让他们的思维更加严谨,更有穿透力,...原创 2018-11-19 12:00:39 · 1087 阅读 · 0 评论 -
Python学习资源汇总
针对于昨天文章给大家学习上带来的困扰,以及大家对于python极高的关注度,小编尽最大的努力整理一份关于python的学习资料,希望对大家有所帮助。 Python资料汇总(来源: Python学习交流)包括长期必备、入门教程、练手项目、学习视频。一、长期必备。1. StackOverflow,是疑难解答、bug排除必备网站,任何编程问题请第一时间到此网站查找。https...原创 2018-11-22 09:47:35 · 274 阅读 · 0 评论 -
自学python数据分析,怎样才能快速上手?
我们知道python应用领域广泛,从业选择、方向也比较多,除了人工智能的开发外,还有python数据分析师也是受到市场的欢迎,那么我们怎样利用业余时间自学python数据分析,我们怎么做才能快速上手呢?广泛被应用的数据分析谷歌的数据分析可以预测一个地区即将爆发的流感,从而进行针对性的预防;淘宝可以根据你浏览和消费的数据进行分析,为你精准推荐商品;口碑极好的网易云音乐,通过其相似性算法,为不...原创 2018-11-24 12:13:33 · 317 阅读 · 0 评论 -
Python零基础入门到高阶教程(附安装指南、安装包、代码)
你想要进入一个全新的领域时,首先要弄清楚的就是它的体系。那么在Python领域,应该掌握哪些知识点呢?Python基础与高级编程 1、Linux环境搭建与python安装2、Python语法基础3、Python字符串解析4、Python时间和日历5、Python文件操作6、Python面向对象7、设计模8、异常处理9、模块10、Python高级编...原创 2018-11-20 10:45:41 · 485 阅读 · 0 评论 -
为什么程序员都应该懂大数据技术?另送一大波学习资料!
总有一些人、一些公司能改变世界、引领世界。 07年苹果发布iphone、08年谷歌发布android。将人类社会带入了移动互联网时代。 十年间,移动互联网风起云涌,彻底改变了人们的生活方式,同时催生了一批知名企业。 可以说是苹果、谷歌这样的公司为世界体现了移动互联网的价值。在这里我还是要推荐下我自己建的大数据学习交流裙:957205962, 裙 里都是学大数据开发的,...原创 2018-11-29 09:58:26 · 293 阅读 · 0 评论 -
从零开始系统化的学习写Python爬虫
主要是记录一下自己写Python爬虫的经过与心得。同时也是为了分享一下如何能更高效率的学习写爬虫。IDE:Vscode Python版本: 3.6 用Python自动填写问卷星更多Python课程资料请加python编程语言学习QQ群 515267276”,即可免费获得精品课程资料哦!很长时间没有写爬虫相关的文章啦这次来点干货,妈妈再也不用担心我求...原创 2018-11-26 12:38:58 · 516 阅读 · 0 评论 -
Python基础入门----基本数据类型上
Python基础入门篇粉丝问题整理 前两节我们安装了Python3.7.0和Pycharm(代码编译器),本节我们从Python基本数据类型开始分享,不知道朋友们是否明白上两节的分享?如果没有请直接在公众号里发送疑问或者意见;还可以添加我的微信:zhl1032473911,一对一讨论哦。前...原创 2018-11-25 12:54:41 · 284 阅读 · 0 评论 -
为什么大数据应用需要敏捷?敏捷大数据方法论
前段时间有报道称,有学者质疑“大数据”理论,也有硅谷公司负责人质疑大数据应用的效果。结合2011年Gartner关于BI(Business Intelligence)应用70%-80%都失败的一个调查结论(这里的fail是夸张的说法,更确切地讲应该是没有达到预期效果),本文就来谈谈为什么会出现这样的问题,大数据应用落地的瓶颈是什么?为什么大数据应用容易失败?为什么大数据应用需要敏捷?敏捷大数据...原创 2018-12-02 11:30:11 · 1502 阅读 · 1 评论 -
大数据+AI破解人工报价!货运报价员要拜拜?
在我国,公路运输是物流的最主要方式,交通运输部数据显示,公路货运量占全国货运量的78%。可以说,公路运输的效率与我国整体物流的效率息息相关,而对于被“小散乱”与“低效”困扰已久的公路货运市场,提高报价效率、实现运价标准化之路困难重重。 在互联网席卷一切的今天,许多企业尝试用大数据、人工智能等技术手段破解物流难题。日前,中国物流与采购联合会评选的科学技术奖中,一款名为“图灵”的智能报价系统从...原创 2018-11-30 11:10:31 · 448 阅读 · 0 评论 -
规划 | 新能源汽车应与大数据技术深度融合
11月23日,由新能源汽车国家大数据联盟(以下简称“联盟”)主办,联盟各成员单位广泛参与的联盟2018年会于北京友谊宾馆召开。北京理工大学党委副书记、副校长、中国科协书记处书记项昌乐副校长表示,大数据战略是我国新能源汽车产业由汽车大国走向汽车强国的必由之路,新能源汽车和大数据的深入跨界融合对于我国能源行业的供给侧改革方面发挥着重要的作用。 同时,联盟努力发挥其在大数据监测与挖掘方面...原创 2018-11-27 10:34:15 · 818 阅读 · 0 评论 -
从数据可视化到分析图:大数据如何影响建筑设计?
数据可视化已经成为了各个行业竞相追逐的一个词汇,从阿里巴巴的阿里云,到百度的百度图说,甚至,在建筑设计,景观、规划等行业也暂露头角,项目的前期数据分析,已经成为了市场经济下不可或缺的一环。 那么,大数据如何影响建筑设计? 回答这个问题之前,先请你看一项目案例:可能你没听说过这个项目,但是网红事务所SASAKI你肯定听说过吧,哈。这个项目就是出自SASAKI的复兴规划项目,位...原创 2018-11-28 11:04:15 · 3587 阅读 · 1 评论 -
观点丨从大数据技术参考模型角度梳理大数据标准
大数据标准化背景面对目前数量、速度和多样性日益增长的信息资产,大数据技术通过各种解决方案、体系、结构、工具和平台集合,能有效应对大数据场景。因为数据是大数据的基础,对于大数据标准化,除了继承数据标准化的内容外,有其特别关注的方面。比如:定义大数据专业词汇,增加不同类型的数据结构如何标准化,解决海量多样化数据集的存储计算架构,定义并标识敏感数据,研究海量数据脱敏及数据隐私等。 在大数据领...原创 2018-12-01 12:27:28 · 1901 阅读 · 0 评论 -
大数据与实体经济如何深度融合?
2018年11月30日-12月1日,以“大数据与实体经济深度融合”为主题的第四届大数据产学研高峰论坛在羊城广州召开。来自各领域的近百位嘉宾围绕制造业大数据政策、技术、产品、应用、理论研究等热点话题展开交流分享。广东工业大学陈为民副校长、张光宇副校长主持主论坛,国家自然科学基金委员会管理科学部主任吴启迪教授、广东工业大学校党委书记陈新、广东省科技厅副厅长杨军和广东省大数据协会会长余志良等...原创 2018-12-05 09:57:26 · 2640 阅读 · 0 评论 -
从入门到精通,全球20个最佳大数据可视化工具
数据可视化之初级篇零编程工具 1. TableauTableau 是一款企业级的大数据可视化工具。Tableau 可以让你轻松创建图形,表格和地图。 它不仅提供了PC桌面版,还提供了服务器解决方案,可以让您在线生成可视化报告。服务器解决方案可以提供了云托管服务。Tableau的客户包括巴克莱银行,Pandora和Citrix等企业 2. InfogramInfogr...原创 2018-12-03 10:33:38 · 317 阅读 · 0 评论