- 博客(31)
- 收藏
- 关注
RSS订阅
转载 怎样学习一个新技术？
本文转载自：https://blog.youkuaiyun.com/yuexianchang/article/details/53114423
2019-12-09 10:25:20
332
1
转载 《数据挖掘导论》- 读书笔记（6） - 分类、关联、聚类、异常检测
第五章 分类算法https://blog.youkuaiyun.com/weixin_43329319/article/details/100167295?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522160523445119725266962629%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=1605234451197
2020-11-13 10:49:20
835
转载 Tensorflow小技巧整理：修改张量特定元素的值
Tensorflow用起来不是很顺手，很大原因在于tensor这个玩意儿，并不像数组或者列表那么的直观，直接print的话只能看到 Tensor(…) 这样的提示。比如下面这个问题，我们想要修改张量特定位置上的某个数值，操作起来就相对麻烦一些。和array一样，张量也是可以分段读取的，比如 tensor[1:10], tensor[:3]这...
2019-11-26 13:57:51
1864
转载 《数据挖掘导论》- 读书笔记 - 总结
0.概述数据挖掘导论涉及到的知识比较丰富,梳理下内容，为后面推荐系统设计做铺垫。1.什么是数据挖掘数据挖掘是在大型数据存储库中，自动发现有用信息的过程。数据挖掘技术用来探测大型数据库，发现先前未知的有用模式。数据挖掘还可以预测未来观测结果，例如预测一位新的顾客是否会在一家百货公司消费100美元以上。数据挖掘是数据库中知识发现(KDD)不可缺少的一部分，而KDD是将未加工的数据转换为有用信息的...
2019-11-18 20:45:26
1742
转载 《数据挖掘导论》- 读书笔记（5）- 分类：基本概念、决策树与模型
第4章 分类:基本概念、决策树与模型评估 分类任务就是确定对象属于哪个预定义的目标类。分类问题是一个普遍存在的问题，有许多不同的应用。例如：根据电子邮件的标题和内容检查出垃圾邮件，根据核磁共振扫描的结果区分肿瘤是恶性的还是良性的，根据星系的形状对它们进行分析。 本章介绍分类的基本概念，讨论诸如模型的过分拟合等关键问题，并提供评估和比较分类技术性能的方法。尽管本章主要关注一种称作...
2019-11-18 20:25:55
4206
1
转载 《数据挖掘导论》- 读书笔记（4）- 探索数据
第3张 探索数据 第2章讨论知识发现过程中重要的高层数据问题。本章是数据探索，对数据进行初步研究，以便更好地理解它的特殊性质。数据探索有助于选择合适的数据预处理和数据分析技术。甚至可以处理一些通常由数据挖掘解决的问题。例如，有时可以通过对数据进行直观检查来发现模式。 本章包括三个主题：汇总统计、可视化和联机分析处理OLAP。汇总统计（如值集合的均值和标准差）和可视化技术是广泛用...
2019-11-18 20:24:24
436
转载 《数据挖掘导论》- 读书笔记（3）- 数据
第2章 数据 本章讨论一些与数据相关的问题，对于数据挖掘的成本至关重要。 数据类型 数据集的不同表现在很多方面。例如，用来描述数据对象的属性可以具有不同的类型---定量的或定性的，并且数据集可能具有特定的性质，例如，某些数据集包含时间序列或彼此之间具有明显联系的对象。毫不奇怪，数据的类型决定我们应使用何种工具和技术来分析数据。此外，数据挖掘研究常常是为了适应新的应用领域和新的...
2019-11-18 20:17:58
7265
转载 《数据挖掘导论》- 读书笔记（2）- 绪论
第1章 绪论 数据挖掘是一种技术，将传统的数据分析方法和处理大量数据的复杂算法相结合。数据挖掘为探查和分析新的数据类型以及用新方法分析旧有数据类型提供了令人振奋的机会。我们概述数据挖掘，并列举所涵盖的关键主题。 介绍数据挖掘分析技术的一些应用： 商务：借助POS数据收集技术[条码扫描器、射频识别和智能卡技术]，零售商可以在其商店的首映太收集顾客购物的最新数据。零售商可以利用...
2019-11-18 20:15:06
1015
转载 《数据挖掘导论》- 读书笔记（1）- 目录
本文转载自：https://www.cnblogs.com/pythonMLer/p/5747827.html数据挖掘导论 本书全面介绍了数据挖掘，涵盖了五个主题：数据、分类、关联分析、聚类和异常检测。除异常检测外，每个主题都有两章。前一章涵盖基本概念、代表性算法和评估技术，而后一章讨论高级概念和算法。这样能够在透彻地理解数据挖据的基础的同时，还能够了解更多重要的高级主题。 目...
2019-11-18 20:12:12
513
转载 工具使用技巧：将图片公式转为LaTex和Word里的公式
本文转载自：https://blog.youkuaiyun.com/weixin_40165004/article/details/89676582 问题背景在科研中，经常会看大量的论文，学习别人的方法，别人的公式，以及进行推导，那么如何快速地将别人论文中的公式（通常是图片格式）转为word中的公式，就是个问题了。确实可以选择手动输入，但是少量还好说，想矩阵那样就比较繁琐。...
2019-05-13 10:51:05
5959
转载 《凸优化》笔记（三）：优化问题
本文转载自：https://blog.youkuaiyun.com/u010366427/article/details/51906763笔记是根据《Convex Optimization》写的，对应第4章。4 凸优化问题4.1 优化问题的基本形式 minimize f0(x)subject to fi(x)≤0, i=1,…,mhi(x)=0, i=1,…,pminimize f0(x)su...
2018-09-03 17:27:37
4560
转载 《凸优化》笔记（二）：凸函数
本文转载自：https://blog.youkuaiyun.com/u010366427/article/details/51879112笔记是根据《Convex Optimization》写的，对应第3章。3 凸函数3.1 基本性质及例子 满足如下条件的从n维映射到1维的函数称凸函数： f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)f(θx+(1−θ)y)≤θf(x)+(1−...
2018-09-03 17:25:35
10456
转载 《凸优化》笔记（一）：凸集
本文转载自：https://blog.youkuaiyun.com/u010366427/article/details/51867027笔记是根据《Convex Optimization》写的，对应第2章。2 凸集2.1 凸集(convex sets) 如果在集合CC中的任意两点满足： θx1+(1−θ)x2∈Cθx1+(1−θ)x2∈C其中0≤θ≤10≤θ≤1，则集合CC为凸集...
2018-09-03 17:23:32
3195
转载 《数据挖掘导论》学习笔记：第1-2章
本文转载自：https://blog.youkuaiyun.com/u013232035/article/details/48281659 本文主要是在学习《数据挖掘导论（完整版）》中的学习笔记，主要用来梳理思路，并没有多少思考。第1章 绪论1.1 什么是数据挖掘KDD： K nowledge D iscovery in D atabase过程如下：Created with Raph...
2018-08-13 21:23:30
2457
转载 数据挖掘：大数据流处理
本文转载自：https://blog.youkuaiyun.com/viewcode/article/details/9088467大数据流 即 实时收集的大量的数据。数据的流量大到无法实时将全部数据放入分析工具中处理。这里写写要解决的问题，及问题解决的思路，若是真的去实现，则需要考虑更多的问题、因素，需要查询更更详尽的资料。常见的数据流问题：1. 数据流的查询有哪些类型？有哪些处理策略？2. 对大数据流进行...
2018-06-15 16:14:58
2589
转载 数据挖掘：降维
为什么要降维？找出规律，压缩数据量。特征值与特征向量M矩阵，λ常数，e非零列向量Me = λe （e为unit vector，第一个非零元素为正）特征向量是单位向量；特征向量之间正交；特征向量矩阵E的特点，E*E^T = E^T*E = I。一、PCA（主成分分析）利用特征向量进行降维。原理：将矩阵与一个正交单位向量矩阵相乘，意味着在欧式空间上的旋转。求MM^T或者M^T的特征矩阵E，对高维数据进...
2018-06-15 15:49:43
1623
转载 数据挖掘：推荐系统
本文转载自：http://www.cnblogs.com/python27/p/MachineLearningWeek09.html电影推荐系统问题：根据用户对已看过电影的打分，对用户未看过的电影(下表中以?表示)进行打分估计，以给其推荐合适的电影。符号说明：nunu表示用户数量nmnm表示电影数量r(i,j)r(i,j)是符号变量，如果用户jj已经对电影ii进行评分则r(i,j)=1r(i,j)...
2018-06-15 15:42:41
3183
转载 数据挖掘：相似性度量、LSH算法
本文转载自：https://blog.youkuaiyun.com/u013710265/article/details/71698121在数据挖掘中经常需要用到比较两个东西的相似度。下面先主要说一下文档的相似度。 如果是判断两个文档是否完全相同，问题就变得很简单，只要简单地逐字符比较即可。但是在很多情况下并不是这样，比如网站文章的转载，主体内容部分是相同的，但是不同网页本身有自己的Logo、导航栏、版权声明...
2018-06-15 15:29:00
1804
转载 数据挖掘：分布式哈希表（DHT）
本文转载自：http://colobu.com/2018/03/26/distributed-hash-table/ https://blog.youkuaiyun.com/miaoqiucheng/article/details/53039259（第一部分：http://colobu.com/2018/03/26/distributed-hash-table/）1、哈希...
2018-06-15 15:00:39
10982
转载 数据存储：大数据存储系统（4）--- 图存储系统（Graph Database）
本文转载自：https://blog.youkuaiyun.com/u013710265/article/details/72802802一、图数据模型（1）图的概念G=(V，E)：V为顶点的集合，E为边的集合。有向图：边有方向无向图：边没有方向；可以用有向图表达无向图：每条无向边->2条有向边。（2）图数据存储系统存储图顶点和边，提供顶点和边的查询。二、Neo4j（1）概念Native graph d...
2018-06-15 14:37:43
648
转载 数据存储：大数据运算系统（3）--- MapReduce+SQL
本文转载自：https://blog.youkuaiyun.com/u013710265/article/details/715169281、MapReduce+SQL系统介绍MapReduce提供了一个分布式应用编写的平台。但是，这仅仅是一个编程的平台，不适合数据分析师的使用；即使最基础的选择和投影操作，也必须写程序来实现。所以，对SQL的需求由此产生。2、Hive（蜂巢）管理和处理结构化数据；在Hadoo...
2018-06-15 14:34:38
290
转载 数据存储：大数据运算系统（2）--- 图计算系统
本文转载自：http://www.cnblogs.com/gardenofsjw/p/6923014.html目录一、同步图计算1.图算法2.同步图计算3.系统实现二、异步图计算1.数据模型2.计算过程（本文为陈世敏老师课程笔记）-------------------------------------------同步图运算：消息传递异步图运算：共享内存，可以立即看到完成的计算结果一、同步图计算1...
2018-06-15 14:32:45
1225
转载 数据储存：大数据运算系统（1）--- MapReduce
本文转载自：https://blog.youkuaiyun.com/u013710265/article/details/70173248一、MapReduce/Hadoop简介：MapReduce是目前云计算中最广泛使用的计算模型，由Google提出。Hadoop是MapReduce的一个开源实现。1、编程模型（1）整体思路程序员写串行程序。由系统完成并行分布式执行。程序员保证串行程序的正确性，系统负责并行...
2018-06-13 10:11:20
538
转载 数据存储：大数据存储系统（5）--- ZooKeeper
本文转载自：https://blog.youkuaiyun.com/u013710265/article/details/72818735Distrubuted Coordination：ZooKeeper1、概念用于分布式系统中，多个节点协调。Leadership election：选举一个代表负责节点Group membership：哪些节点还活着？发现崩溃等故障Consensus：对一个决策达成一致Zo...
2018-06-13 10:10:01
414
转载 数据存储：大数据存储系统（4）--- 图存储系统（Graph Database）
本文转载自：https://blog.youkuaiyun.com/u013710265/article/details/72802802 http://www.cnblogs.com/gardenofsjw/p/6921212.html 一、图数据模型（1）图的概念G=(V，E)：V为顶点的集合，E为边的集合。有向图：边有方向无向图：边没有方向；可以用有向图表达无向图：每条无向边-&...
2018-06-13 10:05:22
6119
转载 数据存储：大数据存储系统（3）--- Document Store
本文转载自：https://blog.youkuaiyun.com/u013710265/article/details/72802638Document Store一、数据模型1、JSON：JavaScript Object NotationJSON是一个低成本的数据交换格式；是JavaScript程序语言标准（1993年）的子集。JSON对应于程序语言中的结构与数组。（1）JSON格式定义Value：基础...
2018-06-13 09:57:39
1064
转载 数据存储：大数据存储系统（2）--- Key-Value Store
本文转载自：https://blog.youkuaiyun.com/u013710265/article/details/72801117No-SQL：（1）这些系统大部分是由互联网公司研发，研发目标是支持某公司的某类重要的应用。（2）放弃使用关系型系统，转而开发专门的系统以支持目标应用。（3）针对目标应用进行开发，简化了许多关系型系统的功能，以提高系统性能和降低研发成本。不支持完全的SQL，不支持完全的AC...
2018-06-13 09:55:01
1162
转载 数据存储：大数据存储系统（1）--- 分布式文件系统
本文转载自：https://blog.youkuaiyun.com/u013710265/article/details/72798348分布式文件系统一、分布式系统概念（1）分布式系统类型：Client/Server、P2P(Peer-to-Peer)、Master/Worker（2）故障模型（Failure Model）：Fail stop：出现故障时，进程停止/崩溃Fail slow：出现故障时，运行速...
2018-06-13 09:52:51
5253
转载 数据存储：关系型数据管理系统3
本文转载自：http://www.cnblogs.com/gardenofsjw/p/6918655.html关系型数据管理系统3：事务处理、数据仓库、分布式数据库目录一、事务处理1.ACID2.Concurrency Control并发控制3.Crash Recovery 崩溃恢复保证Durability二、数据仓库1.OLPA2.行式与列式数据库三、分布式数据库（本文是中科院陈世敏老师课程学习...
2018-06-13 09:42:22
412
转载 数据存储：关系型数据管理系统2
本文转载自：http://www.cnblogs.com/gardenofsjw/p/6917599.html关系型数据管理系统2：数据库系统与数据存储访问目录一、数据库系统架构二、数据存储与访问1.数据库与文件系统对比总结2.存储单位 2.1 硬盘 2.2 文件系统 2.3 RDSBM3.访问策略 3.1 顺序访问 3.2 Indexing 3.3 Buffer Pool 3.4 ...
2018-06-13 09:35:58
987
转载 数据存储：关系型数据管理系统1
本文转载自：http://www.cnblogs.com/gardenofsjw/p/6917495.html关系型数据管理系统1：SQL概念与操作目录一、几个定义注意点二、SQL操作语句备忘录三、补充SQL约束（本文是中科院陈世敏老师课程学习笔记） -----------------------------------------一、几个定义注意点1.Scheme 对表格每一列的类型声明，只需定...
2018-06-13 09:28:31
1620
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人