- 博客(238)
- 收藏
- 关注
RSS订阅原创 从数据到洞察：ChatGPT如何革新Python数据分析流程
在数据清洗阶段，我们会对数据进行格式化、标准化处理，使得后续的数据处理和分析工作更加顺畅。l 删除法：当缺失的观测比例非常低时（如5%以内），可以直接删除存在缺失的观测，或者当某些变量的缺失比例非常高时（如85%以上），直接删除这些缺失的变量。l 缺失值删除：直接删除有缺失值的行或者列是最简单的方式，前提是缺失数据的比例较少，而且缺失数据是随机出现的，这样删除缺失数据后对分析结果影响不大。从ChatGPT给出的答案可知，数据清洗的技术非常多，提高数据质量最常用的就是重复值、缺失值及异常值的处理。
2024-10-11 21:07:43
1037
原创 PaddleHub一键OCR中文识别
函数属于PaddleHub中的OCR模型模块，例如等。这些模型已经过训练，可以直接用于识别图片中的文字。函数是PaddleHub中用于图像文字识别的重要函数，它基于预训练的OCR模型进行工作，并提供了丰富的参数选项以满足不同场景的需求。通过合理地设置这些参数，可以获得更准确、更直观的识别结果。六、图片OCR识别若是待预测图片存放在一个文件中，如test.txt。每一行是待预测图片的存放路径。
2024-06-02 14:34:49
1695
原创 如何注册及使用飞浆AI Studio资源跑模型
请注意，以上步骤是基于飞桨AI Studio的注册流程，如果您指的是其他AI Studio平台，可能会有所不同，但基本流程类似。飞浆AI Studio提供了大量的实训项目和课程，从基础到进阶，覆盖了人工智能的各个领域。这些竞赛不仅为用户提供了展示自己才华的机会，也促进了学术界的交流与合作，推动了人工智能技术的创新和发展。总结来说，飞桨AI Studio是一个集学习、实训、竞赛于一体的综合性人工智能平台，旨在为开发者提供全方位的支持和服务，帮助他们更好地掌握和应用人工智能技术。注册后，点击右上角的登录。
2024-06-02 12:22:01
5352
3
原创 paddleocr快速入门：基于python脚本及命令行两种方式实现图片OCR识别
paddleocr快速入门：基于python脚本及命令行两种方式实现图片OCR识别。
2024-06-02 01:13:17
5934
1
原创 《Keras深度学习：入门、实战与进阶》CIFAR-10图像识别
在本节将会通过CIFAR-10这个比较经典的数据集，进一步来说明卷积神经网络在图像识别方面的应用。
2023-02-11 23:36:14
738
原创 R语言文本挖掘相关包介绍
文本挖掘被描述为“自动化或半自动化处理文本的过程”，中文分词的结果就可以直接用来建立文本对象，最常用的结构就是词条与文档的关系矩阵，利用这个矩阵可以使用很多文本挖掘的算法来得到不同的结果，包括相似度计算、文本聚类、文本分类、主题模型、情感分析等。文本挖掘：基于基础R对象的文本挖掘框架，包含常用的文本挖掘模型，包含一些独立的NLP库，比如CRF++、word2vec等。Rwordseg包完全引用了Ansj包，在这个Java包的基础上开发了R的接口，并根据R处理文本的习惯进行了调整。
2022-08-20 22:12:07
1316
原创 手写数字彩色图像识别-Keras实现（基于R语言）
本文摘自《Keras深度学习：入门、实战及进阶》一书。本小节我们将利用MNIST数据集的训练数据训练模型，MNIST数据集的测试数据评估模型，再利用训练好的模型对本地的50个手写数字图像进行预测，查看预测效果。在num文件夹中已经保存了50张0~9的彩色数字图像使用EBImage包的readImage()函数将num文件夹中的所有数字图像读取到R中。> library(keras)> library(EBImage)> # 图像数据读取> setwd('../num'
2022-04-10 01:37:59
5101
原创 对彩色花图像进行分类-基于R语言的Keras实现
该案例摘自《Keras深度学习入门、实战及进阶》第四章综合案例内容。该案例的数据来源于Kaggle上的Flower Color Images（https://www.kaggle.com/olgabelitskaya/flower-color-images）。数据内容非常简单：包含10种开花植物的210张图像（128×128×3）和带有标签的文件flower-labels.csv，照片文件采用.png格式，标签为整数（0~9）。使用read.csv()将带有标签的文件flower-labels.csv
2022-04-07 00:17:30
3132
原创 R语言图像处理EBImage包详解
R语言图像处理EBImage包详解什么是EBImage1. 图像读取与保存2.色彩管理3.图像处理4.空间变换5.形态运算6.图像分割本文摘自《Keras深度学习：入门、实战及进阶》第四章部分章节。什么是EBImageEBImage是R的一个扩展包，提供了用于读取、写入、处理和分析图像的通用功能，非常容易上手。EBImage包在Bioconductor中，通过以下命令进行安装。install.packages("BiocManager")BiocManager::install("EBImag
2022-02-09 21:50:04
3637
原创 R语言图像处理EBImage包详解
> 本文摘自《Keras深度学习：入门、实战及进阶》第四章部分章节。## 什么是EBImageEBImage是R的一个扩展包，提供了用于读取、写入、处理和分析图像的通用功能，非常容易上手。EBImage包在Bioconductor中，通过以下命令进行安装。```rinstall.packages("BiocManager")BiocManager::install("EBImage")```EBImage安装后，可以通过以下命令将其加载到R中。```rlibrary("EBIma
2022-02-09 21:47:45
3227
原创 《Keras深度学习：入门、实战与进阶》之 Keras构建深度学习模型
本文来自《Keras深度学习：入门、实战与进阶》第一章 第四小节 Keras构建深度学习。将利用Keras自带的MNIST数据集来构建深度全连接深度学习模型，进行手写数字0~9的类别预测。MNIST数据集共有训练数据60000项、测试数据10000项。MNIST数据集中的每一项数据都由image（数字图像）和label（真实的数字）所组成。Keras已经提供了现成的函数dataset_mnist()，可以帮助我们下载并读取数据。第一次执行dataset_mnist()，程序会检查用...
2021-11-03 00:24:20
906
原创 Keras共享层模型入门：基于Python及R实现
Keras中可以多层共享一个层的输出。例如输入中可以存在多个不同的特征提取层，或者可以使用多个层来预测特征提取层的输出。下面进行示例介绍。本节将介绍具有不同大小内核的多个卷积层如何解译同一图像的输入。该模型采用尺寸为32*32*3像素的彩色CIFAR图像。有两个共享此输入的CNN特征提取子模型，其中一个内核大小为4，另一个内核大小为8。这些特征提取子模型的输出被平展为向量、然后串联成为一个...
2020-02-05 23:39:34
702
原创 Keras模型入门：基于Python及R实现
Keras有两种模型类型：序贯模型 使用函数API创建的模型1.序贯模型可以通过将多个层堆叠并传递给Sequential的构造函数来创建序贯模型。我们将创建一个包含四层的序贯网络。第1层是全连接层（稠密层），其input_shape为(*,784)，output_shape为(*,32)。 第2层是激活层，将tanh激活函数用于激活输入张量，Activation...
2020-02-05 14:42:34
904
原创 R语言数据挖掘-模型评估篇-谢佳标-专题视频课程
本课程 详细介绍了模型评估常用技术手段：混淆矩阵、ROC曲线、KS曲线、LIFT曲线，并通过自定义函数 实现各种曲线绘制方法。还介绍了等频分箱在企业中应用的价值。...
2018-06-28 09:11:00
525
转载 redhat6.5安装R-3.3.2.tar.gz 源码build安装成功记录
原文地址：http://blog.youkuaiyun.com/wumiqing1/article/details/54232345redhat6 上编译安装R语言：版本：3.3.21) 下载：R-3.3.2.tar.gz（https://mirrors.tuna.tsinghua.edu.cn/CRAN/ 点击：R-3.3.2.tar.gz 下载：最新版！）
2017-12-30 12:43:12
586
转载 数据挖掘模型中的IV和WOE详解
原文地址：http://blog.youkuaiyun.com/kevin7658/article/details/507803911.IV的用途IV的全称是Information Value，中文意思是信息价值，或者信息量。我们在用逻辑回归、决策树等模型方法构建分类模型时，经常需要对自变量进行筛选。比如我们有200个候选自变量，通常情况下，不会直接把200个变量直
2017-09-06 17:53:20
4576
3
转载 CentOS手动安装sbt过程
地址：http://blog.youkuaiyun.com/lizhitao/article/details/46846343参见官网配置说明http://www.scala-sbt.org/release/tutorial/Manual-Installation.html1、下载sbt通用平台压缩包：sbt-0.13.5.tgz http://www.scala-sbt.org/do
2017-08-24 23:04:09
1039
转载 基于spark1.4.1的sparkR的实例操作
原文地址：http://blog.youkuaiyun.com/bdchome/article/details/48104537[Author]: kwu 基于spark1.4.1的sparkR的实例操作，sparkR的操作基本语法与R一致，其中添加了rJava、rhdfs、SparkR的依赖库的支持。1、集群启动SparkR输入 bdcmagicR
2017-08-24 18:17:27
515
转载 SparkR初体验
原文地址：http://blog.youkuaiyun.com/dr_guo/article/details/51377784突然有个想法，R只能处理百万级别的数据，如果R能运行在spark上多好！搜了下发现13年SparkR这个项目就启动了，感谢美帝！1.你肯定得先装个spark吧。看这：Spark本地模式与Spark Standalone伪分布模式2.你肯定得会R吧。看
2017-08-24 18:16:11
558
转载 在R或Rstudio中调用SparkR
原文地址：http://blog.youkuaiyun.com/u010022051/article/details/51119008libpath libpath .libPaths(libpath)rm(libpath)library(rJava)library(devtools)library(SparkR)sc 或sc Spark://172.2
2017-08-24 18:13:59
1268
转载 Spark（八） -- 使用Intellij Idea搭建Spark开发环境
原文地址：http://blog.youkuaiyun.com/qq1010885678/article/details/45954731Intellij Idea下载地址： 官方下载 选择右下角的Community Edition版本下载安装即可本文中使用的是windows系统 环境为： jdk1.6.0_45 scala2.10.5在网上下载jdk和Scal
2017-08-24 16:19:45
486
转载 Intellij Idea搭建Spark开发环境
原文地址：http://blog.youkuaiyun.com/u012877472/article/details/51000690在Spark快速入门指南 – Spark安装与基础使用中介绍了Spark的安装与配置，在那里还介绍了使用spark-submit提交应用，不过不能使用vim来开发Spark应用，放着IDE的方便不用。这里介绍使用Intellij Idea搭建Spark的
2017-08-24 16:17:55
918
转载 Install and Run SparkR - easy way
地址：http://sbartek.github.io/sparkRInstall/installSparkReasyWay.htmlInstall and Run SparkR - easy wayRequirementFirst you must have R and java installed. This is a bit out the sco
2017-08-22 16:04:49
412
转载 R︱sparkR的安装与使用、函数尝试笔记、一些案例
本节内容转载于博客： wa2003 spark是一个我迟早要攻克的内容呀~—————————————————————————————————————一、SparkR 1.4.0 的安装及使用1、./sparkR打开R shell之后，使用不了SparkR的函数装在了 /usr/local/spark-1.4.0/ 下
2017-08-22 15:14:38
727
转载 Spark R安装成功的步骤
欢迎交流学习： Email : sparkexpert@sina.com网上有很多关于spark R的安装过程，但是按照那个过程总是出错。当然最常见的问题是：Launching sbt from sbt/sbt-launch-0.13.6.jarError: Invalid or corrupt jarfile sbt/sbt-launch-0.13.6.jarma
2017-08-16 18:44:51
1054
转载 sparkR介绍及安装
原文地址：http://www.cnblogs.com/Cherise/p/4342273.htmlSparkR是AMPLab发布的一个R开发包，为Apache Spark提供了轻量的前端。SparkR提供了Spark中弹性分布式数据集（RDD）的API，用户可以在集群上通过R shell交互性的运行job。例如，我们可以在HDFS上读取或写入文件，也可以使用 lapply 来定义对应
2017-08-16 18:32:25
386
转载 安装SparkR
原文地址：http://blog.youkuaiyun.com/wind520/article/details/48814129必须条件：1:安装好JDK2:安装好R步骤1： 运行R Shell[plain] view plain copy[jifeng@feng03 R-3.1.1]$ R R ve
2017-08-15 22:44:24
770
转载 centos6.5 安装和卸载R
原文地址：http://blog.youkuaiyun.com/samhuairen/article/details/51334317在centos6.5上采用非编译的方式安装R的步骤：su -c 'rpm -Uvh http://download.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm' sudo yum
2017-08-15 22:07:43
2684
转载 SparkR终极解决方案
原文地址：http://blog.youkuaiyun.com/wangjunji34478/article/details/70906537问题：Spark支持sparkR需要安装R如果R需要支持强大的内库，就需要安装第三方内库(需要连网)。解决步骤： 第一：安装开发工具集R对操作系统有一定的要求，所以先安装开发工具集，因为里面有c++的编译
2017-08-14 00:15:43
1116
转载 数据科学家如何优雅的运行R在spark内存计算引擎上
来源:http://www.ppvke.com/Blog/archives/46156R在数据科学中超过10,000包，是主要的编程语言之一。R是开源软件，作为 统计学和计算机科学课程的一部分，在专科和本科大学广泛传授。R使用DateFrame作为API可以方便操控数据。R还有很强大的基础设施，让数据分析师可以很有效的解释数据。使用R分析数据会被单机的可用内存量限制，并且R是单
2017-08-14 00:13:54
1297
转载 SparkR的R3.3.1源码安装
原文地址：http://blog.youkuaiyun.com/meng___xia/article/details/54923363如果想要在Spark上使用sparkR必须首先在集群的所有机器上安装R包，前面有安装过R.3.2.1，但是因为很多R包不支持，所以更新为3.3.1。1、安装依赖yuminstallgccyuminstallgcc-c++yum
2017-08-14 00:11:36
571
转载 Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin 安装过程-环境准备
原文地址：http://blog.youkuaiyun.com/meng___xia/article/details/546175791、虚拟机安装虚拟机安装工具：vSphere 登录虚拟服务器工具：SecureCRT在虚拟机上装好3台服务器，环境情况：内存：16GCPU：两个四核硬盘：320G2、版本选择组件版本安装服务器操
2017-08-14 00:08:51
344
转载 Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin安装过程-Hadoop安装及测试
原文地址：http://blog.youkuaiyun.com/meng___xia/article/details/54617959在上一篇环境安装完成的基础上进行Hadoop的安装和配置。3.7Hadoop安装需要在3台服务器上都安装 Hadoop。首先通过sftp将下载下来的二进制的 Hadoop包上传到Master，将Hadoop 压缩包 hadoop-2.6.3.ta
2017-08-14 00:07:42
449
转载 Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin安装过程-Spark的安装配置测试和Scala的安装配置yuan
原文地址：http://blog.youkuaiyun.com/meng___xia/article/details/54618065在上2篇文章中，完成了基础环境的安装以及Hadoop的安装配置基础上进行scala的安装配置。3.8 Scala安装注意scala2.11版本不支持spark1.*版本。需要在3台服务器上都安装 Scala 。首先通过sftp将下载下
2017-08-14 00:05:57
412
转载 Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin安装过程-SparkR安装配置和Zeppelin安装配置
原文地址：http://blog.youkuaiyun.com/meng___xia/article/details/54628918在前面3篇文章中，完成了基础环境的安装以及Hadoop的安装配置基础以及scala、spark的安装配置。本文将介绍SparkR和Zeppelin的安装配置。3.10 R安装安装R的原因是Spark安装后直接启动SparkR会报错，且在zep
2017-08-14 00:04:11
448
转载 SparkR数据分析
原文地址：http://blog.youkuaiyun.com/a358463121/article/details/50541242本文的运行环境是ubuntu,在阅读这篇文章前,请先保证你已经成功配置了Spark, 并设置好了全局变量 SPARK_HOME以及 PATH ,能够成功运行Spark.(如果你在终端输入sparkR 运行成功的话就证明你成功了) 如果还没有配置成功的
2017-08-14 00:02:16
576
转载 SparkR安装部署及数据分析实例
原文地址：http://www.cnblogs.com/payton/p/4227770.html1. SparkR的安装配置1.1. R与Rstudio的安装1.1.1. R的安装我们的工作环境都是在Ubuntu下操作的，所以只介绍Ubuntu下安装R的方法：1） 在/etc/apt/sources.lis
2017-08-13 23:57:48
602
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人