文章简述了数据的产生、处理以及价值,作为前嗅大数据培训讲座,此次相关知识点对于大数据爱好者来说是一次不容错过的饕餮盛宴!
在信息技术迅猛发展的当下,大数据的应用已渗透进人们生活中各个领域,每个人直接或间接的都在接触着大数据,可见大数据技术领域的重要性。
大数据领域对于身处于IT行业的工作者来说,既好奇又神秘,在虚心学习的同时,小编将前嗅内部员工培训的知识点详细的记录了下来,今天与大家分享一下此次前嗅培训的知识点~~
(1)数据的产生
①web服务协议。web(World Wide Web)即全球广域网,也称为万维网,它是一种基于超文本和HTTP的、全球性的、动态交互的、跨平台的分布式图形信息系统。
是建立在Internet上的一种网络服务,为浏览者在Internet上查找和浏览信息提供了图形化的、易于访问的直观界面,其中的文档及超级链接将Internet上的信息节点组织成一个互为关联的网状结构。
其中此协议包括HTTP-GET、HTTP-POST、SOAP。
每个协议都由一系列 HTTP 请求头组成,这些请求头与一些其他信息一起定义客户端向服务器请求的内容,而在成功时,服务器将用一系列 HTTP 响应头和所请求的数据响应。
②传感器数据。例如摄像头数据,像超市,政府,企业的话都会安放摄像头,像这些摄像头存储下来的数据就是传感器数据。
③数据源介质包括条形码,二维码,射频码。
④系统数据包括日志数据、监控数据。爬虫软件采集数据时,日志记录了采集