三石君1991-优快云博客

原创逻辑斯蒂回归LR与sigmoid函数

〇、参考（搬运）0.1 一文弄懂logistic回归为什么要用sigmoid函数0.2 为什么 LR 模型要使用 sigmoid 函数，背后的数学原理是什么？0.3 逻辑回归为什么用Sigmoid？一、逻辑斯蒂回归LR（摘自《统计学习方法》）1.1 二项逻辑回归一个事件发生的几率是指事件发生的概率与不发生的概率的比值。即，如果发生的概率为p，那么该事件的对数几率为：整理带入后：这就是说，在逻辑回归模型中，输出Y=1的对数几率是输入的线性函数。1.2 模型参数估计二、为什么使用si

2020-09-10 15:12:15 516

原创 Pyspark启动jupyter notebook

〇、参考Python版本问题jupyter pyspark 开发环境搭建如何在Jupyter里以不同的运行模式使用Pyspark一、安装安装到hadoop用户下，并设置好权限，两种方法：1、Anaconda官网下载或者清华源下载bash Anaconda3-5.3.1-Linux-x86_64.sh安装完成后修改环境变量：sudo vi ~/.bashrcexport PAT...

2019-05-08 09:16:03 1359

原创 hive on spark（yarn）安装部署

〇、说明HDFS+spark+hive的测试环境之前单独搭建成功了，后来需要使用hive on spark才发现需要重新配置。查看了很多参考文章，包括官网上的教程，一路摸索着，总算是成功了。0.参考文章Hive on Spark: Getting StartedRunning Spark on YARNBuilding SparkSpark ConfigurationHive on ...

2019-04-10 15:19:51 4781 2

原创 Hive安装部署

〇、准备0.参考材料Hive(一)——安装配置Hive为什么要启用MetastoreHive Metastore原理及配置1.Hive知识准备①Hive是什么？②hive的元数据库、MetaStore服务与客户端的关系这三者的关系在上一篇参考材料中有说明，这里贴一张图略作说明：在HDFS之上，metastore连接元数据库（自带的derby、MySQL、PostgreSQL等）...

2019-04-08 14:14:56 573

原创 Spark on yarn安装部署

〇、说明spark on yarn 中没有master和slave，凡是涉及到两个角色的安装基本都是standalone模式。spark on yarn 仅仅需要按照以下步骤安装启动即可。分为spark on yarn-cluster和spark on yarn-client（区别自行百度，网上很多。）一、准备1.HDFS2.YARN3.JDK8二、安装Scala1.下载官网下载（...

2019-04-07 20:29:47 1179 1

转载 Ubuntu Mysql安装及常用命令操作

参考文章Ubuntu 安装mysql和简单操作Ubuntu18.04 安装MySQLUbuntu 16.04安装MySQL（5.7.18）一、安装部署（APT）1.apt安装sudo apt-get updatesudo apt-get install mysql-serverapt-get isntall mysql-client #客户端sudo apt-get insta...

2019-04-03 11:16:13 228

原创 Hadoop3.2.0搭建部署

参考文章：一、设备3台Ubuntu16.04服务器（master：1；slave：2）二、准备工作1.配置hostname、hosts文件（分别修改3台服务器）①修改主机名vim /etc/hostname修改3台机器名分别为master、slave1、slave2②修改本地hosts文件vim /etc/hosts查看确认三台机器IP 地址，可以ping确认网络联通；...

2019-04-02 11:19:10 1638 1

转载 Ubuntu16.04 apt-get update Error

E: Problem executing scripts APT::Update::Post-Invoke-Success‘if /usr/bin/test -w /var/cache/app-info -a -e /usr/bin/appstreamcli;then appstreamcli refresh > /dev/null;fi’E: Sub-process returne...

2019-03-31 22:13:25 258

原创 ubuntu系统run方式安装nvidia显卡驱动

参考文章：Ubuntu安装NVIDA显卡驱动ubuntu16.04系统run方式安装nvidia显卡驱动

2019-03-31 21:12:03 552

原创 DataSet与Iterator用法总结

参考文章：TensorFlow全新的数据读取方式：Dataset API入门教程TensorFlow 利用Dataset读取和构建数据【Tensorflow】Dataset 中的 Iterator一、基本概念1.DataSet简单来说，Dataset可以看作是相同类型“元素”的有序列表，其中，单个“元素”可以是向量，也可以是字符串、图片，甚至是tuple或者dict。Dataset具...

2019-03-21 15:52:18 2292

原创 CreateThread传递char*参数乱码问题

〇、参考http://blog.sina.com.cn/s/blog_500bd63c0102vslt.html一、参数说明WINBASEAPIRet_maybenullHANDLEWINAPICreateThread(In_opt LPSECURITY_ATTRIBUTES lpThreadAttributes,In SIZE_T dwStackSize,In LPTHREA...

2018-12-20 11:24:29 1149

原创 opencv录制视频——CvVideoWriter

〇、参考https://blog.youkuaiyun.com/zbbmm/article/details/76696979一、几处关键的代码1.CvVideoWriter *writer = 0;2.writer=cvCreateVideoWriter(name_str.c_str(),CV_FOURCC(‘D’,‘I’,‘V’,‘X’),this->fps,cvSize(frameW,fra...

2018-12-13 11:51:15 1304 2

weixin_43860247的博客