三石君1991-优快云博客

原创逻辑斯蒂回归LR与sigmoid函数

〇、参考（搬运） 0.1 一文弄懂logistic回归为什么要用sigmoid函数 0.2 为什么 LR 模型要使用 sigmoid 函数，背后的数学原理是什么？ 0.3 逻辑回归为什么用Sigmoid？一、逻辑斯蒂回归LR（摘自《统计学习方法》） 1.1 二项逻辑回归一个事件发生的几率是指事件发生的概率与不发生的概率的比值。即，如果发生的概率为p，那么该事件的对数几率为：整理带入后：这就是说，在逻辑回归模型中，输出Y=1的对数几率是输入的线性函数。 1.2 模型参数估计二、为什么使用si

2020-09-10 15:12:15 549

原创 Pyspark启动jupyter notebook

〇、参考 Python版本问题 jupyter pyspark 开发环境搭建如何在Jupyter里以不同的运行模式使用Pyspark 一、安装安装到hadoop用户下，并设置好权限，两种方法： 1、Anaconda 官网下载或者清华源下载 bash Anaconda3-5.3.1-Linux-x86_64.sh 安装完成后修改环境变量： sudo vi ~/.bashrc export PAT...

2019-05-08 09:16:03 1388

原创 hive on spark（yarn）安装部署

〇、说明 HDFS+spark+hive的测试环境之前单独搭建成功了，后来需要使用hive on spark才发现需要重新配置。查看了很多参考文章，包括官网上的教程，一路摸索着，总算是成功了。 0.参考文章 Hive on Spark: Getting Started Running Spark on YARN Building Spark Spark Configuration Hive on ...

2019-04-10 15:19:51 4902 2

原创 Hive安装部署

〇、准备 0.参考材料 Hive(一)——安装配置 Hive为什么要启用Metastore Hive Metastore原理及配置 1.Hive知识准备 ①Hive是什么？ ②hive的元数据库、MetaStore服务与客户端的关系这三者的关系在上一篇参考材料中有说明，这里贴一张图略作说明：在HDFS之上，metastore连接元数据库（自带的derby、MySQL、PostgreSQL等）...

2019-04-08 14:14:56 609

原创 Spark on yarn安装部署

〇、说明 spark on yarn 中没有master和slave，凡是涉及到两个角色的安装基本都是standalone模式。spark on yarn 仅仅需要按照以下步骤安装启动即可。分为spark on yarn-cluster和spark on yarn-client（区别自行百度，网上很多。）一、准备 1.HDFS 2.YARN 3.JDK8 二、安装Scala 1.下载官网下载（...

2019-04-07 20:29:47 1226 1

转载 Ubuntu Mysql安装及常用命令操作

参考文章 Ubuntu 安装mysql和简单操作 Ubuntu18.04 安装MySQL Ubuntu 16.04安装MySQL（5.7.18）一、安装部署（APT） 1.apt安装 sudo apt-get update sudo apt-get install mysql-server apt-get isntall mysql-client #客户端 sudo apt-get insta...

2019-04-03 11:16:13 267

原创 Hadoop3.2.0搭建部署

参考文章：一、设备 3台Ubuntu16.04服务器（master：1；slave：2）二、准备工作 1.配置hostname、hosts文件（分别修改3台服务器） ①修改主机名 vim /etc/hostname 修改3台机器名分别为master、slave1、slave2 ②修改本地hosts文件 vim /etc/hosts 查看确认三台机器IP 地址，可以ping确认网络联通； ...

2019-04-02 11:19:10 1673 1

转载 Ubuntu16.04 apt-get update Error

E: Problem executing scripts APT::Update::Post-Invoke-Success ‘if /usr/bin/test -w /var/cache/app-info -a -e /usr/bin/appstreamcli; then appstreamcli refresh > /dev/null; fi’ E: Sub-process returne...

2019-03-31 22:13:25 285

原创 ubuntu系统run方式安装nvidia显卡驱动

参考文章： Ubuntu安装NVIDA显卡驱动 ubuntu16.04系统run方式安装nvidia显卡驱动

2019-03-31 21:12:03 617

原创 DataSet与Iterator用法总结

参考文章： TensorFlow全新的数据读取方式：Dataset API入门教程 TensorFlow 利用Dataset读取和构建数据【Tensorflow】Dataset 中的 Iterator 一、基本概念 1.DataSet 简单来说，Dataset可以看作是相同类型“元素”的有序列表，其中，单个“元素”可以是向量，也可以是字符串、图片，甚至是tuple或者dict。Dataset具...

2019-03-21 15:52:18 2350

原创 CreateThread传递char*参数乱码问题

〇、参考 http://blog.sina.com.cn/s/blog_500bd63c0102vslt.html 一、参数说明 WINBASEAPI Ret_maybenull HANDLE WINAPI CreateThread( In_opt LPSECURITY_ATTRIBUTES lpThreadAttributes, In SIZE_T dwStackSize, In LPTHREA...

2018-12-20 11:24:29 1187

原创 opencv录制视频——CvVideoWriter

〇、参考 https://blog.youkuaiyun.com/zbbmm/article/details/76696979 一、几处关键的代码 1.CvVideoWriter *writer = 0; 2.writer=cvCreateVideoWriter(name_str.c_str(),CV_FOURCC(‘D’,‘I’,‘V’,‘X’),this->fps,cvSize(frameW,fra...

2018-12-13 11:51:15 1356 2

weixin_43860247的博客