- 博客(75)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 如何将Python算法模型注册成Spark UDF函数实现全景模型部署
背景 Background对于算法业务团队来说，将训练好的模型部署成服务的业务场景是非常常见的。通常会应用于三个场景：部署到流式程序里，比如风控需要通过流式处理来实时监控。 部署到批任务中 部署成API服务然而在现实世界中，很多算法工程师都会遇到需要花费很多精力在模型部署工程上的问题，平台割裂。训练和部署是在不同平台完成的。 配合问题。部署一个模型，需要研发工程师，运维配合，才能完成这件事。 技术问题，一般地，大数据里的批流亦或是Web服务一般用Java/Scala/C++偏多些，而A
2022-07-13 16:11:06
31980
原创 Java等调用python深度学习训练的模型(待完成)
1.参考博客园:java web应用调用python深度学习训练的模型目标：调用python深度学习训练的模型内容：提示：这里可以添加要学的内容例如：1、 搭建 Java 开发环境2、 掌握 Java 基本语法3、 掌握条件语句4、 掌握循环语句时间：提示：这里可以添加计划学习的时间例如：1、 周一至周五晚上 7 点—晚上9点2、 周六上午 9 点-上午 11 点3、 周日下午 3 点-下午 6 点产出：提示：这里统计学习计划的总量例如：1、 技术笔记 2 遍2
2021-09-01 13:51:33
35514
2
原创 七、电影数据分析
七、电影数据分析7.1 背景介绍7.1.1实验背景电影娱乐产业越发发达，投资商希望能从电影的各种数据中找到最可能赚钱的电影有什么特点。数据介绍budget 预算genres 电影名数据homepage 网站主页idkeywords 关键字original_language 语言original_title 标题overview 概述popularity 人气popularity 电影商production_countries 电影商拍摄地release_date 发布日期
2021-08-18 16:05:33
33743
1
原创 时间格式转换2021-08-17T16:00:00.000Z存入数据库问题
项目场景：前台时间格式 2019-03-09T16:00:00.000Z存入数据库不成功问题描述：前台<el-form-item label="配送时间" prop="estimatedTime"> <el-date-picker v-model="form.estimatedTime" type="datetime" /></el-form-item>
2021-08-18 13:23:25
40376
1
原创 六、二手房数据分析
六、二手房数据分析6.1 背景介绍6.1.1 实验背景随着房地产市场发展，房价越来越高。为了的到影响房价的增长因素，现在从数据角度出发，分析以下左右房价的因素。数据介绍CATE 城区bedrooms 卧室数量halls 客厅AREA 面积floor 地面高度，楼层subway 附近是否有地铁school 附近是否有学校price 价格名称DISTRICT区域6.2 载入数据6.2.1 导入支持库import mathimport numpy as npimport
2021-08-16 09:27:52
36456
1
原创 五、空气质量分析与结果展示
五、空气质量分析与结果展示5.1 实验背景近年来随着城市化和工业化的发展，城市空气质量越来越差，从中央到地方各级政府对城市空气质量也越发重视。并对全国各个城市的空气质量进行了长期的采样。下面对全国空气质量进行分析，可以得出我国城市空气质量的大概规律。数据介绍time 时间city 城市AQI 根据细颗粒物、可吸入颗粒物、二氧化硫、二氧化氮、臭氧、一氧化碳等六项参数综合得出的空气污染程度及空气质量状况的表述。PM2.5 细颗粒物又称细粒、细颗粒、PM2.5。细颗粒物指环境空气中空气动力学当量直
2021-08-13 16:32:31
35659
原创 2021_08
***@author JingwenShi*@date 2021-08-11**1.el-table-column动态判断显示性别男女<el-table-column prop="gender" label="性别"> <template slot-scope="scope">{{scope.row.gender === 1 ? "男" : "女"}}</template></el-table-column>...
2021-08-11 18:37:00
33752
原创 四、Pandas数据清洗规整
四、Pandas数据清洗规整4.1 数据加载、储存4.1.1 从数据文件读取数据导入支持库：import numpy as npfrom pandas import Series,DataFrameimport pandas as pd从csv文件读取数据，一般方法：pd.read_csv('../data/ex1.csv',encoding='gbk')从csv文件读取数据，去掉头部：pd.read_csv('../data/ex1.csv',encoding='gbk',head
2021-08-10 10:18:58
33671
原创 三、图形样式、Matplotlib高级设置
三、图形样式、Matplotlib高级设置3.1 图表刻度、指示注解定制化样式3.1.1 添加图例和标题导入支持库：import matplotlib as mplimport matplotlib.pyplot as pltimport numpy as npfrom matplotlib.ticker import AutoMinorLocator,MultipleLocator,FuncFormatter设置中文显示：mpl.rcParams["font.sans-serif"]=
2021-08-10 10:15:00
33878
原创 二、Matplotlib绘制统计图形详解
二、Matplotlib绘制统计图形详解2.1 柱状图和条形图2.1.1 柱状图导入支持库：import matplotlib as mpl import matplotlib.pyplot as plt import numpy as np设置中文显示：mpl.rcParams["font.sans-serif"]=["SimHei"] mpl.rcParams["axes.unicode_minus"]=False 设置绘图数据：x = [1,2,3,4,5] y = [6,
2021-07-28 14:11:50
34985
原创 一、Matplotlib基础-图表组成元素
一、Matplotlib基础-图表组成元素jupyter路径介绍code：代码位置data：数据存放位置1.1 plot()函数和scatter()函数1.1.1 函数plot()——展现变量的趋势变化导入支持库：import matplotlib.pyplot as pltimport numpy as np数据准备：x = np.linspace(0.05,10,1000)y = np.cos(x)选取绘图函数，调整参数：plt.plot(x,y,ls='-',lw=2
2021-07-26 15:22:58
34708
7
原创 五、Scikit-learn的应用-为CHarityML寻找捐献者
五、Scikit-learn的应用-为CHarityML寻找捐献者5.1 实验介绍实验准备请到05 finding_donors文件目录下开始实验。实验背景在这个项目中，您将使用1994年美国人口普查收集的数据，选用几个监督学习算法以准确地建模被调查者的收入。然后，您将根据初步结果从中选择出最佳的候选算法，并进一步优化该算法以最好地建模这些数据。你的目标是建立一个能够准确地预测被调查者年收入是否超过50000美元的模型。这种类型的任务会出现在那些依赖于捐款而存在的非营利性组织。了解人群的收入情况可
2021-07-25 10:30:31
34962
2
原创 四、Scikit-learn的应用(创建用户分类)
四、Scikit-learn的应用(创建用户分类)4.1 实验介绍实验准备请到04 finding_segments文件目录下开始实验。项目背景在这个项目中，你将分析一个数据集的内在结构，这个数据集包含很多客户针对不同类型产品的年度采购额（用金额表示）。这个项目的任务之一是如何最好地描述一个批发商不同种类顾客之间的差异。这样做将能够使得批发商能够更好的组织他们的物流服务以满足每个客户的需求。这个项目的数据集能够在UCI机器学习信息库中找到.因为这个项目的目的，分析将不会包括’Channel’和’
2021-07-23 10:59:34
36114
1
原创 三、Scikit-learn机器学习框架
三、Scikit-learn机器学习框架3.1 Scikit-learn介绍Scikit-learn介绍对Python语言有所了解的科研人员可能都知道SciPy——一个开源的基于Python的科学计算工具包。基于SciPy，目前开发者们针对不同的应用领域已经发展出了为数众多的分支版本，它们被统一称为Scikits，即SciPy工具包的意思。而在这些分支版本中，最有名，也是专门面向机器学习的一个就是Scikit-learn。Scikit-learn项目最早由数据科学家 David Cournape
2021-07-22 11:11:07
36517
1
原创 二、机器学习模型评估
二、机器学习模型评估2.1 模型评估：基本概念错误率(Error Rate)预测错误的样本数aa占样本总数的比例mmE=amE=\frac{a}{m}E=ma准确率(Accuracy)准确率=1-错误率准确率=1−错误率误差(Error)学习器的实际预测输出与样本的真实输出之间的差异训练误差(Training Error)或经验误差(Empirical Error)学习器在训练集上的误差泛化误差(Generalization Error)学
2021-07-21 14:08:42
37701
原创 一、机器学习简介
一、机器学习简介1.1 机器学习简介人工智能 (Artificial Intelligence，简称AI) 是对人的意识、思维过程进行模拟的一门新学科。如今，人工智能从虚无缥缈的科学幻想变成了现实。计算机科学家们在 机器学习 (Machine Learning) 和 深度学习 (Deep Learning) 领域已经取得重大的突破，机器被赋予强大的认知和预测能力。2016 年 AplphaGO 成功击败人类世界冠军向世界证明，机器也可以像人类一样思考，甚至比人类做得更好。人工智能、机器学习和深度学习
2021-07-21 10:44:11
38139
1
原创 Linux基础 Day02
Linux第二天解决遗留问题：gcc编译器编译的时候，由于版本的不同，使用 gcc *.c 编译源文件。删除变量$unset 变量名示例：$unset test_var查找命令$whereis 命令名称示例：$whereis man#which多用于查找安装的软件路径$which gcc 【mysql】#多用于查找文件find 路径 -name 文件名$find /usr/local/ -name gccLinux目录结构目录的使用Linux使
2021-07-18 12:00:51
33861
原创 Linux基础 Day01
Linux培训第一天shell命令：查看命令的帮助文档$man <command>示例：$man ls退出man命令窗口q键查看shell命令的参数$ <command_name> --help示例：$ls --helpLinux系统中只有文件Linux桌面版系统，可以开6个终端模拟器，使用快捷键【Ctrl】+【Alt】+【Fn】(n = 1~6)CentOS 终端默认使用的shell是 bash shell操作技巧，快捷键的使用
2021-07-18 12:00:12
5780
原创 一、Hadoop课程
Hadoop课程2.1 初始设置初始环境这里平台已设置好，同学们需要了解一下如何设置。1. 修改主机名，以master节点为例[ec2-user@ip-172-31-32-47 ~]$ sudo vi /etc/hostname #在里面删去所有内容，在首行添加 master作为自己新的主机名。#重启虚拟机，使配置生效[ec2-user@ip-172-31-32-47 ~]$ sudo reboot2. 修改hosts映射，以master节点为例#查看所有节点的IP[ec2-user@
2021-07-18 11:58:23
6488
1
原创 机器学习入门
机器学习教程机器学习概述随着大数据的发展和计算机运算能力的不断提升，人工智能在最近几年取得了令人瞩目的成就。目前在很多行业中，都有企业开始应用机器学习技术，从而获取更深刻的洞察，为企业经营或日常生活提供帮助，提升产品服务水平。机器学习已经广泛应用于数据挖掘、搜索引擎、电子商务、自动驾驶、图像识别、量化投资、自然语言处理、计算机视觉、医学诊断、信用卡欺诈检测、证券金融市场分析、游戏和机器人等领...
2021-07-16 16:07:00
426
原创 Matplotlib之Python可视化
PYTHON可视化学习可视化的思路了解统计学中的基本图形的特征，图形类型。图形是由那些要素构成的，哪种类型的图形适合展示哪种类型的数据。学习绘制图形的API，熟悉各API的参数。图形颜色和线条美化，选择适合所分析行业的颜色和线条，例如分析的行业是金融业就选择黑灰商务色，看起来严谨认真的线条和字体；分析的是教育行业就选择鲜活可爱的颜色主题和线条字体。这点需要对行业风格有认知，长期积累经验...
2021-07-14 15:29:00
6828
原创 Python基础
Python基础知识Python3 基础语法注释给人看的，通常是对代码的描述信息，不执行。1.单行注释以# 开头，快捷键：ctrl + /# 第一个注释print ("Hello, Python!") # 第二个注释2.多行注释可以用三引号开头，三引号结尾。''' '''或""" """# 第一个注释# 第二个注释 '''第三注释第四注释''' """第五注释...
2021-07-13 09:07:00
6101
原创 Numpy基础
数据分析利器：NumPyPython之所以强大，是因为它提供了很多高效便捷的数据分析工具包，数据分析中常用的3个利器——NumPy、pandas与Matplotlib库。其中，NumPy库和pandas库主要用于处理一维及二维的表格数据，而Matplotlib库是数据可视化的利器。NumPyNumPy库的名字由“Numerical Python”缩写而来。NumPy库是pandas库的基础...
2021-07-13 09:05:00
7457
原创 中期_1.Python的Numpy,Pandas库使用_ch06--numpy初始
1.pandaspandas是基于Numpy的一种工具，该工具是为了解决数据分析任务而创建的，Pandas是python的一个数据分析包，使用时就需要分别引入高级结构和工具模块，工具模块一般别名为pdSeries通过 from pandas import Series 导入Series对象组成结构Series是由一组数据以及一组与之相关的数据标签(索引)组成Series(r...
2021-07-12 09:17:00
5834
原创 Pandas基础
pandaspandas简介Python Data Analysis Librarypandas是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型结构化数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。Python长期以来一直非常适合数据整理和准备，你很快就会发现，它是使P...
2021-07-12 09:16:00
6389
原创 配置机器学习jupyter notebook环境(2021-MLBD)
参考：Anaconda和Pycharm的下载安装与配置(详细教程)大体分为三步骤： 一、Anaconda的下载与安装 二、配置jupyrt notebook环境变量 三、更改jupyter notebook 默认路径 四、包管理...
2021-04-21 21:43:00
6258
原创 YOLOV4+DeepSort车流量检测网页显示
YOLOV4+DeepSort车流量检测网页显示资源下载：链接：https://pan.baidu.com/s/1ZKdMHaKuI-Hbxm01OKe0cg 提取码：aapj 复制这段内容后打开百度网盘手机App，操作更方便哦--来自百度网盘超级会员V4的分享1.配置Anaconda+Pycharm参考：https://www.cnblogs.com/shijingwen/p/1418...
2021-03-31 17:46:00
5976
原创 YOLOV4+DeepSort车流量检测基础版
YOLOV4+DeepSort车流量检测基础版资源下载：链接：https://pan.baidu.com/s/1Mv1VI1Wa5MUaHuKz9hlniQ 提取码：lmpk 复制这段内容后打开百度网盘手机App，操作更方便哦--来自百度网盘超级会员V4的分享1.配置Anaconda+Pycharm参考：https://www.cnblogs.com/shijingwen/p/14181...
2021-03-31 17:41:00
6844
原创 中转--自用
MobileNet-SSD+imagezmq部署树莓派搭建监控系统_y459541195的博客-优快云博客https://blog.youkuaiyun.com/y459541195/article/details/103028711imagezmq_hscoder的博客-优快云博客https://blog.youkuaiyun.com/hanshuobest/article/details/105131...
2021-01-17 21:17:00
5790
转载 大数据平台搭建期末复习题(选择)0112
下面哪个程序负责 HDFS 数据存储。secondaryNameNodeNameNodeJobtrackerDatanode(答案)HDFS是基于流数据模式访问和处理的超大文件的需求而开发的，适合读写的任务是？多次写入，少次读一次写入，少次读一次写入，多次读(答案)多次写入，多次读以下哪一项属于非结构化数据。财务系统数据日志数据视频监控数据(答案)企业ERP数据...
2021-01-12 22:30:00
9129
原创 spark_0108
Spark单节点部署1. 找到安装文件1 find / -name spark*.tgz2. 解压文件到指定目录1 tar -zxvf ~/experiment/file/spark-2.2.0-bin-hadoop2.7.tgz -C /opt3. 重命名1 mv /opt/spark-2.2.0-bin-hadoop2.7 /opt/spark4. 配置环境变...
2021-01-08 13:05:00
6136
原创 Anaconda+TensorFlow安装和Pycharm配置深度学习环境详细教程！
配置Anaconda+Pycharm学习环境大体分为三步骤： 一、Anaconda的下载与安装 二、PyCharm的下载与安装 三、Anaconda+Pycharm配置环境下载好的资源链接：链接：https://pan.baidu.com/s/1sD91BVKw7D...
2020-12-23 22:48:00
6979
5
原创 Hive_1222_topn
1.创建表(根据文本内容)1 create table mytable(id int,name string,gender string,age int) row format delimited fields terminated by '\t';2 #验证操作3 dfs -ls /uesr/hive/warehouse;4 #创建表到指定位置5 create table tb2(...
2020-12-22 13:07:00
5733
原创 用matplotlib绘制3D图形
用matplotlib绘制3D图形制备导入numpy进行数据处理，导入pyplot进行绘图，以及mpl_toolkits.mplot3d，因为它是3D的。1 # 导包2 from mpl_toolkits.mplot3d import Axes3D3 import matplotlib.pyplot as plt4 import numpy as np创建要绘制的数据...
2020-12-19 17:39:00
6225
原创 hive_1218
启动hadoop集群1 start-dfs.sh2 start-yarn.sh3 jps查找hive压缩包1 find / -name *hive*.tar.gz解压hive压缩包到/opt目录下1 tar -zxvf /root/experiment/file/apache-hive-2.1.1-bin.tar.gz -C /opt/2 # 查看是否解压成...
2020-12-18 12:01:00
5811
原创 Hive数据仓库操作
Hive数据库安装的三种方式内嵌模式安装内嵌derby数据库：一个会话连接，常用于简单测试启动hadoop集群1 start-dfs.sh2 start-yarn.sh3 jps查找hive压缩包1 find / -name *hive*.tar.gz解压hive压缩包到/opt目录下1 tar -zxvf /root/experiment/file/a...
2020-12-17 21:08:00
5703
分享word模板需要的时候可以参考（如有其侵权请联系我）
2020-06-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人