大数据部落

原文链接：https://www.cnblogs.com/tecdat/p/11009162.html全球化时代快速增长的经济体之一是埃塞俄比亚经济。在低收入国家中，它已成为在国内生产总值（GDP）中实现两位数增长率的少数几个国家之一。然而，关于两位数的增长率存在很多争论，特别是在最近的全球经济衰退期间。因此，埃塞俄比亚的GDP与回归量（时间）之间的关系是否存在结构性变化，这成为一个实证研究...

原文链接：http://tecdat.cn/?p=6863背景诸如核密度估计（KDE）的平滑方法被用于控制用于计算每种疾病率的空间支持的群体基础。平滑程度由用户定义的参数（带宽或阈值）控制，该参数影响疾病图的分辨率和计算的速率的可靠性。方法内核，带宽的大小，是影响在KDE [在地图上的平滑的程度的关键参数 ]。带宽可以是固定的也可以是可变的（自适应的）。对于固定带宽方法，内...

原文链接：http://tecdat.cn/?p=6193copula是将多变量分布函数与其边际分布函数耦合的函数，通常称为边缘。Copula是建模和模拟相关随机变量的绝佳工具。Copula的主要吸引力在于，通过使用它们，你可以分别对相关结构和边缘（即每个随机变量的分布）进行建模。copulas如何工作首先，让我们了解copula的工作方式。 set.seed（100...

原文链接：http://tecdat.cn/?p=6851教育或医学的标准情况是我们有一个持续的衡量标准，但随后我们对那些具有临床/实际意义的连续措施有了切入点。一个例子是BMI。您可以通过70分作为成绩测试进行成绩测试。当这种情况发生时，研究人员有时可能会对BMI模型超过30或通过/失败感兴趣。实质性问题通常属于模拟某人超过/低于该临床显着阈值的概率的线条。因此，我们使用逻辑回归等方法......

原文链接：http://tecdat.cn/?p=6532如果您已经熟悉RStan，那么您需要组合的基本概念是具有相关随机斜率和异方差误差的标准多级模型。我将R代码嵌入到演示中。所需的包是lavaan，lme4和RStan。我喜欢将大多数统计方法理解为回归模型。这样，很容易理解大量技术背后的主张。这是一种适用于SEM和IRT模型的方法。在这里，我将重点关注验证性因子分析（CFA）...

原文链接：http://tecdat.cn/?p=6751模拟回归模型的数据验证回归模型的首选方法是模拟来自它们的数据，并查看模拟数据是否捕获原始数据的相关特征。感兴趣的基本特征是平均值。我喜欢这种方法，因为它可以扩展到广义线性模型（logistic，Poisson，gamma，...）和其他回归模型，比如t-regression。您的标准回归模型假设存在将预测变量与结果相关联......

原文链接：http://tecdat.cn/?p=6632我将建立道琼斯工业平均指数（DJIA）日交易量对数比的ARMA-GARCH模型。 获取数据load(file='DowEnvironment.RData') 日交易量每日交易量内发生的 变化。plot(dj_vol)首先，我们验证具有常数均值的线性回归在统计上是显着的。 ......

原文链接：http://tecdat.cn/?p=6762时间序列预测，ARIMA等传统模型通常是一种流行的选择。虽然这些模型可以证明具有高度的准确性，但它们有一个主要缺点 - 它们通常不会解释“冲击”或时间序列的突然变化。让我们看看我们如何使用称为卡尔曼滤波器的模型来潜在地缓解这个问题。时间序列我们以货币市场为例。货币对可能会有整体上升趋势，然后在抛售期间大幅下跌。传统...

原文链接：http://tecdat.cn/?p=6592维度降低有两个主要用例：数据探索和机器学习。它对于数据探索很有用，因为维数减少到几个维度（例如2或3维）允许可视化样本。然后可以使用这种可视化来从数据获得见解（例如，检测聚类并识别异常值）。对于机器学习，降维是有用的，因为在拟合过程中使用较少的特征时，模型通常会更好地概括。在这篇文章中，我们将研究三维降维技术：主成分分析（......

原文http://tecdat.cn/?p=3715统计测试最常见的领域之一是测试列联表中的独立性。在这篇文章中，我将展示如何计算列联表，我将在列联表中引入两个流行的测试：卡方检验和Fisher精确检验。什么是列联表？列联表提供关于两个分类变量的测量的整数计数。最简单的列联表是一个2×22×2频率表，由两个变量产生，每个变量有两个级别：组/观察 观察1 观察2...

原文链接：http://tecdat.cn/?p=5689判别分析包括可用于分类和降维的方法。线性判别分析（LDA）特别受欢迎，因为它既是分类器又是降维技术。二次判别分析（QDA）是LDA的变体，允许数据的非线性分离。最后，正则化判别分析（RDA）是LDA和QDA之间的折衷。本文主要关注LDA，并探讨其在理论和实践中作为分类和可视化技术的用途。由于QDA和RDA是相关技术，我不久将描...

原文链接：https://www.cnblogs.com/tecdat/p/10821303.html对于分类问题，通常根据与分类器相关联的混淆矩阵来定义分类器性能。基于矩阵的条目，可以计算灵敏度（召回），特异性和精确度。对于二元分类问题，所有这些性能测量都很容易获得。哪种衡量标准取决于分类器的类型。硬分类器是非得分的，因为它们只产生结果。另一方面，软分类器是评分分类器，其产生...

原文：http://tecdat.cn/?p=3719参数检验受制于数据属性的假设。例如，学生t检验是众所周知的参数检验，假设样本均值具有正态分布。由于中心极限定理，如果样本量足够，测试也可以应用于非正态分布的测量。在这里，我们将研究t检验有效所需的大致样本数。将正态分布拟合到采样均值为了研究满足学生t检验要求所需的样本数量，我们迭代各种样本量。对于每个样本大小，我们从几个分布中...

原文链接：http://tecdat.cn/?p=3172在这篇文章中，我们将探索比较两组依赖（即成对）定量数据的测试：Wilcoxon符号秩检验和配对学生t检验。这些测试之间的关键区别在于Wilcoxon的测试是非参数测试，而t测试是参数测试。在下文中，我们将探讨这种差异的后果。睡眠数据集我们来考虑睡眠数据集。数据集通过提供服用药物后睡眠时间与基线相比的变化来对比两种催眠药物（...

原文 ：http://tecdat.cn/?p=984电商行业智能推荐引擎的探索机器学习助力母婴电商概要拓端帮助国内母婴电商公司创建智能推荐引擎，由此打造精准、高效的购物体验，探索如何在大规模数据上实现各种推荐策略，进行策略优化，构建高效的推荐引擎的解决方案。业务挑战随着电商网站用户数量和商品数量的增加，数据成为影响推荐质量的重要因素。作为电子商务中一个热门领...

原文：http://tecdat.cn/?p=3937BASS扩散模型BASS扩散模型三个参数：＃最终购买产品的总人数，m; 创新系数p; 和＃系数的模仿，q# exampleT79<-1:10Tdelt<-(1:100)/10Sales<-c(840,1470,2110,4000,7590,10950,10530,9470,7790,5890)Cusales...

原文链接：http://tecdat.cn/?p=4281采取大量单独不完美的模型，他们的一次性错误可能不会由其他人做出。如果我们对所有这些模型的结果进行平均，我们有时可以从它们的组合中找到比任何单个部分更好的模型。这就是整体模型的工作方式，他们培养了许多不同的模型，并让他们的结果在整个团队中得到平均或投票。我们现在很清楚决策树的过度拟合问题。但是如果我们发展了很多并让他们对结果进行......

原文链接：http://tecdat.cn/?p=2857本文是通过对area,perimeter,campactness几个变量的贝叶斯建模,来查看他们对groovelength这个变量的影响.并且对比rjagsR2jags和内置贝叶斯预测函数的结果。读取数据 seed=read.csv("seeds_dataset.csv")seed=seed......

原文 ：http://tecdat.cn/?p=3433本文我们讨论期望最大化理论，应用和评估基于期望最大化的聚类。软件包install.packages("mclust");require(mclust)## Loading required package: mclust## Package 'mclust' version 5.1## Type 'cit.........

原文http://tecdat.cn/?p=4092背景在传统的金融理论中，理性和同质的投资者是核心假设之一，表明每个投资者都有相同的信息，从而做出同样的决定。然而，投资者显然是不均衡的，信息的不对称在股市中很普遍。当知情投资者优先考虑某种类型的资产时，该类资产可能包含更多隐含信息。期权市场是知情投资者可能更积极参与的市场之一，正如布莱克在1975年提出的那样，让投资者倾向于以较高的...

原文链接：http://tecdat.cn/?p=6810使用R中的线性编程工具来解决优化问题。优化通常用于运营研究领域，以解决生产计划，运输网络设计，仓库位置分配和调度等问题，我们尝试最大化或最小化具有决策变量和约束数量的线性函数。在这里，我使用了我的一个咨询项目，帮助我们的投资组合公司选择一个无线供应商，其中包含可以满足所有要求（总线数和汇总数据量）的数据计划组合，同时花费最...

原文：http://tecdat.cn/?p=3430我使用excel来构建Cobb-Douglas生产函数的可视化 。生产函数将任何给定公司的输出表示为两个输入（人工和资本）和参数（α和β）的函数。当α和β之和等于1时，可以证明它们分别代表劳动力和资本的产出份额。这种情况也意味着公司的经营规模不断回报。当公司将其投入扩大一定百分比时，产出增加相同的数量。如果我们指定alph...

原文链接：http://tecdat.cn/?p=6894加载和格式化数据rm(list=ls()) ls()## [1] "s" "Y"dim(Y)## [1] 1106 31dim(s)## [1] 1106 2ns <- nrow(Y) plot(s,axes=FALSE,xlab="",ylab="",main="Monitor lo...

原文 :http://tecdat.cn/?p=3726这次，我们将使用k-Shape时间序列聚类方法检查与我们有业务关系的公司的股票收益率的时间序列。企业对企业交易和股票价格在本研究中，我们将研究具有交易关系的公司的价格变化率的时间序列的相似性，而不是网络结构的分析。由于特定客户的销售额与供应商公司的销售额之比较大，当客户公司的股票价格发生变化时，对供应商公司股票价格的反......

原文链接：http://tecdat.cn/?p=6236ROC 曲线可能是评估评分分类器的预测性能的最常用的度量。预测正类（+1）和负类（-1）的分类器的混淆矩阵具有以下结构：预测/参考类 +1 -1 +1 TP FP -1 FN TN 这里，TP表示真阳性的数量（模型正确预测正类），FP表示误报的数量（模型错误地预测正类），F...

原文链接：http://tecdat.cn/?p=3060介绍在对诊断测试准确性的系统评价中，统计分析部分旨在估计测试的平均（跨研究）敏感性和特异性及其变异性以及其他测量。灵敏度和特异性之间往往存在负相关，这表明需要相关数据模型。由于用户，分析在统计上具有挑战性处理两个摘要统计， 必须考虑敏感性和特异性之间的相关性， 必须考虑到研究中的敏感性和特异性的异质性 应该允许纳入协...

原文链接：http://tecdat.cn/?p=4612贝叶斯分析的许多介绍使用相对简单的教学实例 。虽然这可以很好地介绍贝叶斯原理，但将这些原则扩展到回归并不是直截了当的。这篇文章将概述这些原则如何扩展到简单的线性回归。在此过程中，我将推导出感兴趣的参数的后验条件分布，呈现用于实现Gibbs采样器的R代码，并呈现所谓的网格点方法。贝叶斯模型假设我们观察到的数据......

原文http://tecdat.cn/?p=3431ImageMagick的库具有大量功能.Magick的当前版本暴露了相当大的一部分，但作为第一个版本，文档仍然很少。本文简要介绍了最重要的入门概念。安装magick在的Windows或OS-X上，通过CRAN最容易安装软件包。<span style="color:#333333"><span style...

原文：http://tecdat.cn/?p=3772创建测试数据作为第一步，我们创建一些测试数据，用于拟合我们的模型。让我们假设预测变量和响应变量之间存在线性关系，因此我们采用线性模型并添加一些噪声。我将x值平衡在零附近以“去相关”斜率和截距。结果应该看起来像右边的trueA <- 5trueB <- 0trueSd <- 10samp...

原文：http://tecdat.cn/?p=3609您要分析时间序列数据的第一件事就是将其读入R，并绘制时间序列。您可以使用scan（）函数将数据读入R，该函数假定连续时间点的数据位于包含一列的简单文本文件中。...

原文http://tecdat.cn/?p=3740有许多分层数据的例子。例如，地理数据通常按层次分组，可能是顶级的全球数据，然后按国家和地区分组 。一个生物学的例子是按物种分组的动物或植物的属性，或者属于一个级别的属性，然后是家族（例如，参见蓝山雀的Jarrod Hadfield的数据集）。一个金融的例子可能是按行业分组的特定国家的公司（例如，见Pak-Wing Fok等人使用分层多因素...

原文http://tecdat.cn/?p=3232我们最近有一个很棒的机会与一位伟大的客户合作，要求Business Science构建一个适合他们需求的开源异常检测算法。业务目标是准确地检测各种营销数据的异常情况，这些数据包括跨多个客户和Web源跨越数千个时间序列的网站操作和营销反馈。输入anomalize：一个整洁的异常检测算法，该算法基于时间（建立在之上tibbletime）并...

原文链接：http://tecdat.cn/?p=6062这场灾难以拯救“妇女和儿童第一”而闻名，所以让我们来看看性别和年龄变量。我们将从乘客的性别开始。将数据重新加载到R后，请查看此变量的摘要：> summary(train$Sex)female male314 577所以我们看到大多数乘客都是男性。对幸存的男性和女性进行双向比较：> prop.ta...

原文参考：http://tecdat.cn/?p=4491特征工程对于模型的执行非常重要，即使是具有强大功能的简单模型也可以胜过复杂的算法。实际上，特征工程被认为是决定预测模型成功或失败的最重要因素。特征工程真正归结为机器学习中的人为因素。通过人类的直觉和创造力，您对数据的了解程度可以带来不同。那么什么是特征工程？对于不同的问题，它可能意味着许多事情，但在泰坦尼克号的竞争中，它可能意...

原文链接：http://tecdat.cn/?p=5673数据集约瑟夫海勒捕捉22是我最喜欢的小说。我最近读完了 ,并喜欢整本书中语言的创造性使用和荒谬人物的互动。对于我的可视化类，选择文本作为我的最终项目“数据集”是一个简单的选择。该文有大约175,000个单词，分为42章。我在网上找到了这本书的原始文本版本并开始工作。我使用正则表达式和简单字符串匹配的组合在......

原文：http://tecdat.cn/?p=3703RevoScaleR中的rxDTree函数使用基于分类的递归分区算法来拟合基于树的模型得到的模型类似于推荐的ř包rpart包产生的模型支持分类型树和回归型树。; 与rpart包一样，差异由响应变量的性质决定：因子响应生成分类树; 数字响应生成回归树。rxDTree算法决策树是广泛用于分类和回归的有效算法。构建决策树通常要求......

原文链接:http://tecdat.cn/?p=2640R语言多元Logistic回归 应用案例多元Logistic回归如何进行多重逻辑回归可以使用阶梯函数通过逐步过程确定多重逻辑回归。此函数选择模型以最小化AIC，而不是像手册中的SAS示例那样根据p值。另请注意，在此示例中，步骤函数找到了与“ 手册”中的过程不同的模型。通常建议不要盲目地遵循逐步程序，而............

原文链接:http://tecdat.cn/?p=2567对于这个例子，考虑由具有明显频率变化的正弦波组成的非平稳连续信号。手提钻的振动或烟花声是非平稳连续信号的例子。以采样频率加载非平稳信号数据fs，并可视化混合正弦信号。load（'sinusoidalSignalExampleData.mat'，'X'，'fs'）; xlabel（'Time（s）'）;观.........

原文链接：http://tecdat.cn/?p=9015在本文中，我将带您了解图像处理的一些基本功能。特征提取。但是这里我们需要更深入的数据清理。但是数据清理是在数据集，表格，文本等上完成的。如何在图像上完成？导入图像用python导入图像很容易。以下代码将帮助您在Python上导入图像：image = imread(r"C:\Users\Tavish\Desktop\7...

原文链接：http://tecdat.cn/?p=6714必须使用非常少的数据训练图像分类模型是一种常见情况，如果您在专业环境中进行计算机视觉，则在实践中可能会遇到这种情况。“少数”样本可以表示从几百到几万个图像的任何地方。作为一个实际例子，我们将重点放在将图像分类为狗或猫的数据集中，其中包含4,000张猫狗图片（2,000只猫，2,000只狗）。我们将使用2,000张图片进行训练-...