Young Hsu-优快云博客

原创爬虫代理池 IP:PORT

1、代码部分 from urllib import request import re import sys from http import client import requests #爬取的是国内能访问的代理 def spider_66(): base_url="http://www.66ip.cn/areaindex_{}/1.html" head={"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/5

2021-01-11 17:07:32 4002

原创 kubeflow-pipeline-1

sss

2020-11-24 16:26:00 267

原创 CRF

1、crf_learn -f 3 -c 4.0 template 4_train.data 4_model -f, –freq=INT 使用属性的出现次数不少于INT(默认为1) -m, –maxiter=INT 设置INT为LBFGS的最大迭代次数 (默认10k) -c, –cost=FLOAT 设置FLOAT为代价参数，过大会过度拟合 (默认1.0) -e, –eta=FLOAT 设置终止标准FLOAT(默认0.0001) -C, –convert 将文本模式转为二进制模式 -t, –textmodel

2020-11-17 17:02:35 222

原创 kubeflow jupyter无法创建问题

两个问题： 1、No default Storage Class is set. Can’t create new Disks for the new Notebook 2、PermissionError: [Errno 13] Permission denied: ‘/home/jovyan/.local’ https://github.com/kubeflow/kubeflow/issues/3487 为jupyther创建pv的运维操作 kubectl get pvc -n anonymous k

2020-11-17 17:00:21 844

原创链接局域网内其他主机上的虚拟机

1、从菜单栏中选择“编辑–>虚拟网络编辑器”,点击“更改设置” 2、更改设置 3、选中VMnet8模式–>NAT设置 4、添加端口号+虚拟机ip+端口号 5、确定 6、应用一定要点击应用，否则无法生效 7、确定 8、访问网页宿主主机ip:端口号 ...

2020-11-06 13:24:15 410 2

原创安装kubeflow的经验

1、用kubeadm安装好k8s集群本实验: KubeMaster 10.4.7.20 KubeNode 10.4.7.21 2、确认机器的配置（1）8个处理器，每个处理器2核，共16G内存（2）查看root下的centos_kubeflowmaster-root下有超过100G足够的磁盘空间 [root@KubeflowMaster ~]# fdisk -l Disk /dev/sda: 161.1 GB, 161061273600 bytes, 314572800 sectors Units

2020-10-23 10:27:38 3426 16

原创 kubenetes(k8s)自动化安装部署（自动化、二进制）

安装教程： http://www.rhce.cc/2182.html https://blog.youkuaiyun.com/wo18237095579/article/details/86630750 https://www.cnblogs.com/zhongle21/p/12220789.html#_lab2_0_2 一、所有节点 1、在所有节点上修改hostname hostnamectl set-hostname master hostnamectl set-hostname node 2、在所有节点上修改ip

2020-10-21 15:56:59 1404

原创机器学习基础

1、抑制过拟合（1）增加训练数据（2）减小网络容量网络中神经单元数越多，层数越多，神经网络的农合能力越强但是训练速度、难度越大，越容易产生过拟合（3）dropout （4）正则化 2、逻辑回归是分类问题（1）正常的回归模型使用relu激活函数（2）分类的模型一般用sigmoid代替relu,输出的是概率，概率之和等于1 3、梯度下降法和反向传播算法是致力于寻找函数极值点的算法深度学习中将梯度下降法应用于寻找损失函数的机制点学习率反向传播算法是一种高效计算数据流图中梯度的技术每一层的

2020-08-18 10:31:37 171

原创初识Tornado

1、Tornado是使用Python编写的一个强大的、可扩展的Web服务器。 2、特点：轻量级web框架，拥有异步非阻塞IO的处理方式；有较为出色的抗负载能力 3、使用场景：用户量大，高并发；大量的HTTP持久连接（http1.0 在头中需添加keep-Alive；在http1.2中默认是持久连接） 4、C10K：高并发问题Concurrently handling ten thousand connections 5、性能：tornado在设计之初就考虑到了性能问题，旨在解决C10K问题，这样的时机十七拥

2020-08-10 12:44:30 191

原创 tensorflow入门

1、安装报错如下： Retrying (Retry(total=4, connect=None, read=None, redirect=None)) after connection broken by ‘ConnectTimeoutError(<pip._vendor.requests.packages.urllib3.connection. VerifiedHTTPSConnection object at 0x10b058850>, ‘Connection to pypi.python

2020-08-07 10:22:46 113

原创 Hadoop集群

1、Hadoop工作流程 2、Hadoop安装 ①vi hdfs-site.xml ②vi hadoop-env.sh 3、Hadoop的使用 ③vi core-site.xml

2020-08-04 13:48:07 121

原创 linux基础

P193 连接阿里云 + P197 阿里云防火墙配置登录阿里云，租用服务器 P120 Linux命令格式命令名称 [命令参数] [命令对象] 计算机五大部件：运算器、控制器、存储器、输入设备、输出设备计算机软件：系统软件（操作系统、编译程序）和应用软件操作系统负责管理和操作硬件，并提供简单的人机交互接口 Shell 程序（壳程序）—bash Linux发行版本: Reshat Unbuntu-----个人 CentOS-------服务器 Fedora SUSE Debian 服务器操作系统：商

2020-08-04 13:31:01 108

原创 Hadoop集群部署

Hadoop集群部署 CentOS的网络配置https://www.bilibili.com/video/BV1hb411n7i5?p=10 https://www.bilibili.com/video/BV16s411M7mg?p=7 Bigdata01: 192.168.2.128 192.168.2.1(网关） Bigdata02: 192.168.2.129 192.168.2.1(网关） Bigdata03: 192.168.2.130 192.168.2.1(网关） a、编辑——虚拟机网络

2020-08-04 13:28:34 212

原创 baike爬虫demo

注：medicine.dic - 副本.default 是一个17万行的文本，如：感冒 11111111 发烧 2222222 import urllib.request import urllib.parse import re from bs4 import BeautifulSoup from lxml import etree import gc import random import time import winsound def baike(word): def test_u

2020-08-04 11:27:51 187

原创 spool使用笔记

直接上代码 #!/bin/bash #此处修改为相应的数据库的名称，密码，IP和数据库服务名称，目的是登录sqlplus conn=k1/111@111.618.11.111:1521/pdb #默认时间2000.00.00（日志文件名字） sysdate=200000000000 echo -e "\e[0;32m ****************************************************************** \e[0m" echo -e "\e[1;32m

2020-08-04 11:09:04 651

原创利用spool自动创建Oracle用户

1、创建用户 #!/bin/bash echo -e "\e[0;33m ****************************************************************** \e[0m" echo " 功能：(1)dba 登陆切换到目标pdb （2）先创建添加ky表空间和增加表空间文件（默认为3个datafile）" echo " 功能：(3)创建cdrky、zkky_dev、ApolloPortalDB、Apolloconfigdb账户（4）账户权限管理" ech

2020-08-04 10:59:17 260

原创 python随笔

1、读取excel import xlrd data = xlrd.open_workbook(r’0804.xlsx’,encoding_override=“utf-8”) table = data.sheets()[0] # 打开第一张表 nrows = table.nrows # 获取表的行数 for i in range(nrows-1): # 循环逐行打印 PROPERTY_VALUE=str(table.row_values(i)[0]) 2、写入.xls import xlwt wbk = x

2020-08-04 10:49:30 160