《大数据时代的算法》读书笔记(一)

读书笔记《大数据时代》 大数据之简介      大数据时代处理数据理念上的三大转变:要全体不要抽样,要效率不要绝对精确,要相关不要因果;接着,从万事万物数据化和数据交叉复用的巨大价值两个方面,讲述驱动大数据战车在 材质和智力方面向前滚动的最根本动力;最后,作者冷静描绘了大数据帝国前夜的脆弱和不安,包括产业生态环境、数据安全隐私、信息公正公开等问题。 Date 1:    大数据开启一起重大的时代转型。 阅读详情

机器学习、人工智能及其典型实例 电子工业出版社 刘凡平编著

 

适合回顾机器学习相关算法,或者是感兴趣的课外阅读

不过本书错别字较多,而且有部分地方错误,阅读起来有点费劲

 

在本书的基础上,结合本书的结构,梳理相关知识,整理了一下


1、常见算法

分治法:分而治之,层层向上,最后得到问题的解,归并法,二分查找,快速排序等都用的这个思想,要求子问题间相互独立,小规模成立,解可以合并

动态规划:适用情况要求有最优子结构,子问题重复,跟递归一样要有终止条件,确定状态转移过程

回溯法:发现当前不满足条件时,采用回溯的方法,是一个不断枚举的过程,采用深度优先的方式

分支限界法:和回溯法类似,不过采用的是广度优先或者最小代价优先(类似于贪心法?)生成所有的下一步分支,然后计算某个条件的界限,使问题向着最优解进行。

贪心法:是指当前求解过程在当前条件下最好的选择‘局部最优解’,适用于通过局部最优解可以获得全局最优解的问题,比如10个盒子里的最小值可以通过每个盒子的最小值求得

时间复杂度描述了算法的运行时间,空间复杂度指算法在运行过程中临时占有的存储空间的大小,是算法需要的额外资源的体现,两者往往相互影响

2、数学基础

数学是学习计算法和机器学习的基础,概率论、线性代数等都有很多的应用

1分布方式

二项分布:n次独立0-1事件的离散概率分布情况,当n为1时也就是伯努利分布

超几何分布:类似于二项分布,不同的是样本量,超几何分布样本量有限,而二项分布的样本量不可估量,或者趋于无穷

泊松分布:单位时间内随机事件发生的次数的概率分布,比如搜索引擎的请求次数

指数分布:连续概率分布,独立随机事件的时间间隔,比如城市下雨的时间间隔

正态分布:某个指标受到大量随机变量的影响,而单个指标又影响比较小,这样指标就可以认为是服从正态分布

2距离计算

机器学习算法中经常会用到距离的概念,比如SVM、KNN等,不同距离的计算方式可能会对最后的结果有所影响

欧式距离:常用的两点或多点之间的真实距离,开平方和,缺点是将数据的特征进行独立的计算,并且差别是相同的,导致现实问题无法通过欧氏距离计算

马氏距离:表示数值协方差距离,体现的是数据样本的距离,考虑到每个特性之间的关系,可以用于计算两个未知样本信息集合的相似度分析

曼哈顿距离:绝对值之和,也就是两点在Xy坐标系的绝对轴距之和

切比雪夫距离:各坐标数值差的最大值

闵式距离:开P次方和,当p为2时也就是欧氏距离,p为无穷就是切比雪夫距离

海明距离:两个等长字符串不同字符的个数,也可以表示01字符串中非零元素个数

3、字符压缩编码

压缩的目的是将某些出现频率较高的字符用短编码表示,对于很少出现的用长编码表示,提升字符在某些领域的负荷,比如网络传输过程中减少流量开销

哈夫曼编码:无损数据压缩和权编码,是一种变长编码方式,压缩率更高,效果更好,又称作最优二叉树,是一种带权路径长度最短的二叉树,每次选取频率最低的两个进行合并,生成新的替换,然后迭代进行,直到没有新的词语了

香农-范诺编码:通过前缀码的方式进行编码处理,将出现频率高低按从左到右排列,找到一个值划分左右两侧使得频率之和接近,然后规定左边为0右边为1,迭代进行,不过只适用于数据频率分布不均匀,压缩才能有用,而且不是最优前缀码

注:最优前缀码也就是若不存在一个序列是另一个序列的前缀,例如有前缀序列00可能对应序列000或者001,那么这种编码方式就不是最优前缀码


《大数据时代》(维克托·迈尔·舍恩伯格)读书笔记 本书讲述了大数据时代处理数据理念上的三大转变:要全体不要抽样,要效率不要绝对精确,要相关不要因果。接着,从万事万物数据化和数据交叉复用的巨大价值两个方面,讲述驱动大数据战车在材质和智力方面向前滚动的最根本动力。最后,作者面熟了大数据帝国千叶的脆弱和不安,包括产业生态环境、数据安全隐私、信息公正公开等问题。 阅读详情

相关推荐

读书笔记(一) 数据挖掘简要介绍

前言:此文是【读书笔记|大数据时代的数据挖掘】系列的第一篇,是笔者关于《大数据时代的数据挖掘》一书的读书笔记,每一章会写一篇笔记,此文是关于第一章内容的笔记。 目录: 目录 一、大数据时代的数据挖掘 1、大数据的特点4V+4V 一、大数据时代的数据挖掘 数据的产生和搜集是基础,数据挖掘泛指从大量数据中挖掘出隐含的、先前未知但潜在的有用信息的一个工程化和系统化的过程。 1、大数据的特点4V+4V 从数据的变现形式 海量volume 多样variety 高速velocity 价值value

weixin_49927325的博客 920

作业十三

《算法时代》读后感 人们已经感受人们的生活已经深刻的被算法所影响,搜索引擎根据用户特点筛选搜索结果,购物网站自动弹出符合用户风格的产品,各大网站知道你的消费习惯为你推荐服务,知道你的消费习惯为你指定个性化消费策略以及优惠活动等等,算法如此智能,我们不知不觉已经被监视和捆绑。 算法可以对我们的上网痕迹进行记录分析,可以在相当程度上预测我们的行为,为其所用,在我们享受算法为我们带来的便利的同时,我们感受到在算法面前的无力。科学工作者当然希望能将一切用科学解释,增强对其认识的便捷,对事情发展的预测准确性。现在算

xalatath的博客 237

数据挖掘技术的算法与应用读书报告

数据挖掘作为现在比较有用的支持决策系统的一种手段有着广泛的应用。其有很多种方法,本文主要基于关联规则类等相关问题进行论述。按照挖掘过程进行组织。首先,有数据仓库的建立和数据挖掘的概述。其次是关联规则的挖掘,后来就是挖掘结果的可视化等方面的内容。在其中不仅有基本概念、原理、方法等。还有对最新的方法的分析研究和提高等。目录第一章数据仓库...51.1概论...51.2数据仓库体系结构...61.3数据仓库规划、设计与开发...61.3.1确定范围...71.3.2环境评估...71.3.3分析...71.3.4设计...71.3.5开发...81.3.5测试...81.3.6运行...81.4小结

读《算法时代》

读了一章了,大多数篇副讲的是某某公司用什么算法(简单,复杂)来解决了什么问题。没太大意思。 如:谷歌的搜索,用户的喜好,客服人员性格与客户性格匹配,通过社交内容分析用户 推荐 2 星 就我个人而言读的无趣。

程序员写的技术 FAQ 和杂文 1065

爬虫-Playwright逆向小红书

【代码】爬虫-Playwright逆向小红书。

weixin_44201223的博客 2433

回声消除评价指标——ERLE, PESQ

回声消除评价指标——ERLE, PESQ ERLE(echo return loss enhancement): 对于回声消除,单讲,只有回声信号,没有近端信号,判断输出结果是否能把回声信号消除掉。其值越大,证明效果越好。 其中y(n)是输入信号,s(n)是输出信号。 PESQ(perceptual evalution of speech quality): 其值是越大越好。针对双讲(回声信号,和近端信号同时存在)。判断双讲下, 计算PESQ方法: 在python安装pypesq,安装方式如下: pip

yin_fei_0825的博客 6387

周六见 | PyCon China 2022 上海站就等你啦!

活动简介PyCon China 每年由 PyChina 社区定期举办,现如今已成为中国大型的 Python 技术会议。我们希望汇聚更多的开发者们,一起交流 Python 技术,包括人工智能、Python 特性、网络安全、服务端开发、运维、医疗、金融、开源项目等更多 Python 相关的技术领域。今年是 PyCon China 的第十二个年头,我们将一如既往为大家提供一个展现自我,也倾听他人的舞台,...

k8s 生态 1036

用Typora画流程图和序列图:Mermaid语法实战教程(含常见报错解决)

本文是一份详细的Typora与Mermaid语法实战教程,教你如何在Markdown文档中高效绘制流程图和序列图。文章涵盖从环境配置、核心语法到复杂图表构建的全过程,并重点解析了常见报错原因与解决方案,助你将可视化图表无缝融入文档工作流。

weixin_29279101的博客 301

大数据——十大基本算法介绍

转载地址:https://blog.youkuaiyun.com/qq_21397815/article/details/90289978 一、算法概述: 1.算法分类: 十种常见算法可以分为两大类: 比较类排序:通过比较来决定元素间的相对次序,由于其时间复杂度不能超过Q(nlogn),因此也称为非线性时间比较类排序。 非比较类排序:不通过比较...

蜂蜜柚子加苦茶 1万+

A Macro- and Micro-Hierarchical Transfer Learning Frameworkfor Cross-Domain Fake News Detection

近年来,社交媒体上假新闻的快速和广泛传播对人们的日常生活构成了越来越大的威胁[6, 14, 19]。为了有效打击假新闻,自动检测假新闻变得至关重要[39]。新闻内容[11, 16, 20, 27]和用户互动(即用户互动)[1, 24, 34]。基于这些类型的数据,提出了单领域假新闻检测,它从新闻文章、用户互动或两者中提取有效特征,以识别单个新闻领域内新闻的真实性(即新闻是真是假)(例如,政治新闻或娱乐新闻)。

qq_52053775的博客 157

Sigrity SystemSI仿真分析教程文件路径

为了方便读者能够快速上手和学会Sigrity SystemSI 的功能,将Sigrity SystemSI仿真分析教程专栏所有文章对应的实例文件上传至以下路径。

weixin_54787054的博客 715

大数据等最核心的关键技术:32个算法

http://bigdata.51cto.com/art/201701/527588.htm?utm_source=tuicool&utm_medium=referral 合并查找算法(Union-find)——给定一组元素,该算法常常用来把这些元素分为多个分离的、彼此不重合的组。不相交集(disjoint-set)的数据结构可以跟踪这样的切分方法。 奥地利符号计算研究所(Rese

java、c++、机器学习方向King 4425

一文探讨视频秒开:m3u8视频格式与视频秒开优化

秒开指的是,一秒内成功加载的播放数/播放总数。本意是想对比一下m3u8与mp4视频格式,并了解m3u8格式优缺点,以确定一个大概优化方向。但对m3u8做简单了解后,觉的m3u8可能是一个优化方向。

bjxiaxueliang的CODING小栈 2万+

《大数据时代》读书笔记

数据已经成为一种商业资本,一项重要的经济投入,可以创造新的经济利益。事实上,通过对海量数据进行分析,我们可以获得巨大价值的产品或服务,或者深刻的洞见。 大数据时代的思维变革: (1)不是随机样本,而是全体数据:在大数据时代的第一个转变就是利用所有数据,而不再仅仅依靠一小部分数据。采样分析的精确性随着采样随机性的增加而大幅提高,但与样本数量的增加关系不大。因此样本选择的随...

weixin_30746117的博客 1270

【即插即用模块】注意力篇 | TGRS 2025 | SCPP:独家复现!三特征多尺度注意力融合,涨点必备!

摘要:SCPP(Scale-aware Pyramid Pooling)是一种创新的多尺度特征融合模块,专为U型网络瓶颈设计。它通过局部特征提取(1×1卷积)、多尺度膨胀卷积(1/3/5膨胀率分支)和全局特征聚合(全局平均池化)三重结构,结合SE通道注意力机制和自适应加权融合,显著提升特征表达能力。实验表明,SCPP能有效解决边缘模糊和错误检测问题,在遥感图像分割等任务中表现优异。该模块支持即插即用,适用于各类需要多尺度特征增强的视觉任务。

主要更新底层视觉(去噪、超分等)相关的科研内容,形式为【论文精读】+【论文复现】 948

基于Simulink的间接功率控制的矩阵变换器

通过上述步骤,我们成功设计并实现了基于 Simulink 的间接功率控制的矩阵变换器仿真模型。该模型能够通过控制输入电流和输出电压,实现对功率的间接控制,适用于电机驱动、可再生能源系统、电力传输等领域。通过虚拟场景仿真、参数优化和性能评估,验证了系统的稳定性和高效性,并通过调整 PI 控制器参数和优化调制算法,进一步提升了系统的性能。

MHD0815的博客 297

《大数据时代》书摘

《大数据时代》读书笔记引言——一场生活、工作与思维的大变革一、       大数据的实际应用l  谷歌与甲型H1NI1——大数据与公共卫生数据源:谷歌每天会收集并保存30亿条搜索指令关注点:特定搜索词条的使用频率与流感在时间以及空间上的传播这两者之间的关系操作方式:首先是把5000万个美国人最频繁搜索的此条例筛选出来,并与美国疾控中心07-08年季节性流感传播时期的数据进行比较;然后使用这个500...

Yicheng_Gu的博客 1842

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

(读书笔记)大数据时代

大数据时代 案例1:告诉客户已经的信息,如告诉牧民有多少只羊;               告诉客户无用的信息,如告诉牧民有多少只公羊、多少只母羊;               大数据分析,数据探索,发现有用的信息,分析潜在的价值,提供建议。如告诉牧民如何保持公羊、母羊的平衡,什么时候出栏收益最高,不同类型羊怎么样管理和饲养。 数据分析师的三个类别:              发现经验、

shuytu 873

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

《全数据时代的炼金师》读书笔记(一)

读书笔记——《全数据时代的炼金师》顾家峰著 ,1~3章 第一章 大数据的冲击 一 数据的起源于发展 数据的3条特征 收集和分析数据是为了解决问题 调查与统计是基础 数据分析与挖掘的目的是价值发现 从古至今,数据的核心价值是不变的——最终目标就是要从数据中发现价值,找出事物发展的规律(即说明事物之间的关系)。 霍尔瑞斯机——首次使用穿孔卡技术的数据处理机器。 ...

eli的博客 789

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

读书笔记-《大数据时代》

长久以来,由于记录、存储、分析数据的工具不够好,我们习惯了只收集少量数据进行分析,也就是抽样调查法。随着国内短视频的爆火,“大数据记住我”、“号已养好”等梗的出现,也算是让大数据、算法、人工智能的知识普及到所有人。简单来说,传统模式是我们先提出因果关系,然后进行抽样调查,最后验证结果,而大数据模式下先通过大数据得到了相关关系,再反过来帮助我们去推测、分析其因果关系。算是第一点的延伸,在抽样调查时,我们更需要精准、正确的数据,但那些错误的数据,也是有商业价值的。总而言之,如果技术支持,一定是全量数据更好。

lbqjtyykx的博客 697

大数据技术基础-读书笔记

大数据技术基础-读书笔记

碳学长的博客 4150

5000字 大数据时代读书笔记_《大数据时代》读书笔记

三周时间,终于将《大数据时代》读完。全书从两部分来写大数据时代对人社会的改变,第一是思维变革,第二是商业变革。从思维变革上来说,第一,样本=全体;传统小数据的处理方法已不再适用。传统的数据处理是对数据取样,而大数据时代是对全体数据取样,样本=全体,传统的数据量需要用复杂的算法才能准确预测,儿进入大数据时代大数据处理需要简单地算法就可以准确预测。第二,混杂而非精确;传统的数据库要求单一的精确的数据格...

weixin_39676930的博客 262

《大数据安全与隐私保护》读书笔记——1.绪论

第一章、绪论1.1.大数据概述1.2.大数据安全与隐私保护需求1.3.大数据生命周期安全风险分析1.4.大数据安全与隐私保护技术框架1.5.大数据服务于信息安全1.6.基本密码学工具 1.1.大数据概述 大数据并不仅仅是“大量的数据”(Gartner如是定义:Big data is high-volume, high-velocity and high-variety information as...

u013492648的博客 9665

《智能时代》读书笔记:这是最好的时代,也是最坏的时代

一、关于此书        看完了《硅谷之谜》之后,室友肖老板立即向我推荐了这本《智能时代》,当然他也买了,于是乎我就拿来看了。作者仍然是无所不通的吴军博士,Google早期员工之一,原腾讯副总裁,当前Google中日韩文搜索算法的主要设计者硅谷大咖,是一个还不错的摄影爱好者,一个古典音乐迷,喜欢享受高质量的影视。平时偶尔会修理园子,甚至做点木匠活,每年还会旅游很多次。   罗辑思维的罗胖曾...

weixin_34149796的博客 389
上一篇: git上传代码到GitHub仓库报错
下一篇: 数据标准化和归一化
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值