数据对象、属性和相似性


数据对象、属性和相似性



数据对象


别名:样本、实例、数据点 或 对象

一般使用属性对应属性值来描述数据对象

哈士奇:傻、大、黑白、撕家

属性


一个数据字段,表示数据对象的一个特征。

别名:属性(DM)、维(数据仓库)、特征(ML)、变量

属性类型

属性特点备注
标称与名称相关,也被看作分类的趋势度量:众数
二元也叫bool属性,True / False对称与非对称(重要性)
序数有顺序的趋势度量:众数,中位数。均值无意义
数值区间标度属性和比率标度属性
离散有限或无限个值可用数表示、也可用名称(:hair,eye)
连续实数表示。(不离散则连续)

中心趋势度量:

  • 均值mean
  • 中位数median
  • 众数
  • 中列数 midrange= (max+min)/ 2

度量数据散布:

  • 极差range = max - min
  • 四分位数quartile(分为四分之一)
  • 方差variance
  • 标准差standard deviation

数据对象相似性、相异性


数据矩阵: D m ∗ n D_{m*n} Dmn: 对象–属性结构 , d i ∗ j d_{i*j} dij:属性值。双模
相似 \ 异性矩阵: 对象–对象结构 , D m ∗ m D_{m*m} Dmm d i ∗ j d_{i*j} dij:相似 \ 异性。单模

mm个对象,nn个属性
单模(一种实体)、双模(两种实体)

属性相似性相异性其他
标称 m p \frac{m}{p} pm p − m p \frac{p-m}{p} ppm OR 1 - m p \frac{m}{p} pmp:总数,m:匹配数目
二元对称: q + t s u m \frac{q+t }{sum} sumq+t 、非对称:jaccard系数 r + s s u m \frac{r+s}{sum} sumr+s OR 1 - q + t s u m \frac{q+t }{sum} sumq+t二元属性列联表(混淆矩阵)(见下表)
数值(欧几里得距离) d i j = ( x i 1 − x j 1 ) 2 + ( x i 2 − x j 2 ) 2 + . . . + ( x i n − x j n ) 2 d_{ i j} = \sqrt{(x_{i1}-x_{j1})^2+(x_{i2}-x_{j2})^2+... +(x_{in}-x_{jn})^2} dij=(xi1xj1)2+(xi2xj2)2+...+(xinxjn)2
数值(曼哈顿距离) d i j = a b s ( x i 1 − x j 1 ) + a b s ( x i 2 − x j 2 ) ) + . . . + a b s ( x i n − x j n ) d_{ i j} = abs(x_{i1}-x_{j1}) +abs(x_{i2}-x_{j2}))+... +abs(x_{in}-x_{jn}) dij=abs(xi1xj1)+abs(xi2xj2))+...+abs(xinxjn)
数值(明可夫斯基距离) d i j = ( x i 1 − x j 1 ) 2 + ( x i 2 − x j 2 ) 2 + . . . + ( x i n − x j n ) 2 h d_{ i j} = \sqrt[h]{(x_{i1}-x_{j1})^2+(x_{i2}-x_{j2})^2+... +(x_{in}-x_{jn})^2} dij=h(xi1xj1)2+(xi2xj2)2+...+(xinxjn)2 别称: L p L_p Lp范数
数值(上确界距离) d i j = lim ⁡ n → ∞ ( ∑ f = 1 p ( a b s ( x i f − x j f ) ) h ) 1 h = m a x f p a b s ( x i f − x j f ) d_{ i j} = \lim_{n \to \infty}(\sum_{f=1}^p (abs(x_{if}-x_{jf}))^h )^{\frac{1}{h}} =max_f^pabs(x_{if}-x_{jf}) dij=limn(f=1p(abs(xifxjf))h)h1=maxfpabs(xifxjf)别称: L m a x 、 L ∞ L_{max}、L_{\infty} LmaxL范数 和 切比雪夫范数
序数 Z i f = R i f − 1 M f − 1 Z_{if} =\frac{R_{if}-1}{M_f-1} Zif=Mf1Rif1
然后使用数值属性距离度量计算
Z i f Z_{if} Zif 作为第 i 个对象的 f 属性值
M:有序状态数目
有序状态 State:1… M f M_f Mf
R i f ∈ S t a t e R_{if}\in State RifState
Z i f Z_{if} Zif R i f R_{if} Rif数据规格化后
混合方法1:按不同类型分组,对每种进行分析标称、二元、序数、数值都有
混合方法2:一起处理
up = ∑ f = 1 N q i f ( f ) \sum_{f=1}^Nq_{if}^{(f)} f=1Nqif(f) d i f ( f ) d_{if}^{(f)} dif(f)
down = ∑ f = 1 N q i f ( f ) \sum_{f=1}^Nq_{if}^{(f)} f=1Nqif(f)
d i f = u p d o w n d_{if}=\frac{up}{down} dif=downup
标称、二元、序数、数值都有
DM的Page50
余弦Cos similarity一般用于比较文档
余弦变种 X ∗ Y X ∗ X + Y ∗ Y − X ∗ Y \frac{X*Y}{X*X+Y*Y-X*Y} XX+YYXYXYTanimoto系数\距离,常用于信息检索和生物学分类

Cos similarity = X ∗ Y ∣ ∣ X ∣ ∣ ∗ ∣ ∣ Y ∣ ∣ \frac{X*Y}{||X||*||Y||} XYXY 余弦相似度公式

X 和 Y 是向量,||X|| 和 ||Y||是欧几里得范数

f:属性f

二元属性列联表(混淆矩阵)TrueFalseSUM
Trueqrq+r
Falsests+t
SUMq+sr+tsum = q+r+s+t
### 关于数据挖掘属性相似性的探讨 #### 属性相似性的重要性 在数据挖掘过程中,属性相似性用于衡量两个对象之间的接近程度。这种度量对于许多数据分析任务至关重要,包括但不限于聚类、分类以及推荐系统的设计。 #### 常见的属性相似性计算方法 为了评估不同实体间的相似关系,通常会采用多种距离函数或系数来进行量化: - **欧几里得距离**:这是最直观的距离测量方式之一,适用于数值型特征空间,在多维向量间求解直线长度作为两者差异的表现形式。 - **曼哈顿距离**:又称为城市街区距离,表示两点之间沿坐标轴方向上的绝对差之,特别适合处理具有网格状结构的数据集[^2]。 - **余弦相似度**:当关注的是角度而非实际位置时,可以通过计算两向量夹角的余弦值来反映其线性关联强度;此方法广泛应用于文本分析等领域,因为文档往往被转换成高维度稀疏矩阵的形式[^3]。 - **Jaccard指数**:专门针对集合类型的特性而设计的一种测度手段,定义为交集中元素数量除以并集中元素总数的比例,非常适合用来比较二元变量或者存在/不存在性质的对象群组[^1]。 #### 特定应用场景下的实现案例 根据不同业务需求选取合适的相似性评价标准是至关重要的。例如,在客户细分项目中可能更倾向于利用欧式距离快速定位目标群体;而在社交网络好友推荐环节,则可能会优先考虑基于共同兴趣爱好的Jaccard相似度指标。另外,像搜索引擎这样的平台也会综合运用上述提到的各种技术方案优化查询结果的相关性精准度。 ```python from sklearn.metrics.pairwise import cosine_similarity, euclidean_distances, manhattan_distances import numpy as np # 创建样本数据 data = np.array([[0, 1], [1, 0]]) # 计算三种不同的相似性得分 cosine_sim = cosine_similarity(data) euclid_dist = euclidean_distances(data) manhat_dist = manhattan_distances(data) print(f"Cosine Similarity:\n{cosine_sim}") print(f"Euclidean Distance:\n{euclid_dist}") print(f"Manhattan Distance:\n{manhat_dist}") ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值