- 博客(20)
- 收藏
- 关注
RSS订阅原创 爬虫代理池 IP:PORT
1、代码部分from urllib import requestimport reimport sysfrom http import clientimport requests#爬取的是国内能访问的代理def spider_66(): base_url="http://www.66ip.cn/areaindex_{}/1.html" head={"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/5
2021-01-11 17:07:32
3996
原创 CRF
1、crf_learn -f 3 -c 4.0 template 4_train.data 4_model-f, –freq=INT 使用属性的出现次数不少于INT(默认为1)-m, –maxiter=INT 设置INT为LBFGS的最大迭代次数 (默认10k)-c, –cost=FLOAT 设置FLOAT为代价参数，过大会过度拟合 (默认1.0)-e, –eta=FLOAT 设置终止标准FLOAT(默认0.0001)-C, –convert 将文本模式转为二进制模式-t, –textmodel
2020-11-17 17:02:35
215
原创 kubeflow jupyter无法创建问题
两个问题：1、No default Storage Class is set. Can’t create new Disks for the new Notebook2、PermissionError: [Errno 13] Permission denied: ‘/home/jovyan/.local’https://github.com/kubeflow/kubeflow/issues/3487为jupyther创建pv的运维操作kubectl get pvc -n anonymousk
2020-11-17 17:00:21
832
原创 链接局域网内其他主机上的虚拟机
1、从菜单栏中选择“编辑–>虚拟网络编辑器”,点击“更改设置”2、更改设置3、选中VMnet8模式–>NAT设置4、添加端口号+虚拟机ip+端口号5、确定6、应用一定要点击应用，否则无法生效7、确定8、访问网页 宿主主机ip:端口号...
2020-11-06 13:24:15
403
2
原创 安装kubeflow的经验
1、用kubeadm安装好k8s集群本实验:KubeMaster 10.4.7.20KubeNode 10.4.7.212、确认机器的配置（1）8个处理器，每个处理器2核，共16G内存（2）查看root下的centos_kubeflowmaster-root下有超过100G足够的磁盘空间[root@KubeflowMaster ~]# fdisk -lDisk /dev/sda: 161.1 GB, 161061273600 bytes, 314572800 sectorsUnits
2020-10-23 10:27:38
3396
16
原创 kubenetes(k8s)自动化安装部署（自动化、二进制）
安装教程：http://www.rhce.cc/2182.htmlhttps://blog.youkuaiyun.com/wo18237095579/article/details/86630750https://www.cnblogs.com/zhongle21/p/12220789.html#_lab2_0_2一、所有节点1、在所有节点上修改hostnamehostnamectl set-hostname masterhostnamectl set-hostname node2、在所有节点上修改ip
2020-10-21 15:56:59
1394
原创 机器学习基础
1、抑制过拟合（1）增加训练数据（2）减小网络容量网络中神经单元数越多，层数越多，神经网络的农合能力越强但是训练速度、难度越大，越容易产生过拟合（3）dropout（4）正则化2、逻辑回归是分类问题（1）正常的回归模型使用relu激活函数（2）分类的模型一般用sigmoid代替relu,输出的是概率，概率之和等于13、梯度下降法和反向传播算法是致力于寻找函数极值点的算法深度学习中将梯度下降法应用于寻找损失函数的机制点学习率反向传播算法是一种高效计算数据 流图中梯度的技术每一层的
2020-08-18 10:31:37
166
原创 初识Tornado
1、Tornado是使用Python编写的一个强大的、可扩展的Web服务器。2、特点：轻量级web框架，拥有异步非阻塞IO的处理方式；有较为出色的抗负载能力3、使用场景：用户量大，高并发；大量的HTTP持久连接（http1.0 在头中需添加keep-Alive；在http1.2中默认是持久连接）4、C10K：高并发问题Concurrently handling ten thousand connections5、性能：tornado在设计之初就考虑到了性能问题，旨在解决C10K问题，这样的时机十七拥
2020-08-10 12:44:30
180
原创 tensorflow入门
1、安装报错如下：Retrying (Retry(total=4, connect=None, read=None, redirect=None)) after connection broken by ‘ConnectTimeoutError(<pip._vendor.requests.packages.urllib3.connection. VerifiedHTTPSConnection object at 0x10b058850>, ‘Connection to pypi.python
2020-08-07 10:22:46
107
原创 Hadoop集群
1、Hadoop工作流程2、Hadoop安装①vi hdfs-site.xml②vi hadoop-env.sh3、Hadoop的使用③vi core-site.xml
2020-08-04 13:48:07
117
原创 linux基础
P193 连接阿里云 + P197 阿里云防火墙配置登录阿里云，租用服务器P120 Linux命令格式命令名称 [命令参数] [命令对象]计算机五大部件：运算器、控制器、存储器、输入设备、输出设备计算机软件：系统软件（操作系统、编译程序）和应用软件操作系统负责管理和操作硬件，并提供简单的人机交互接口Shell 程序（壳程序）—bashLinux发行版本:ReshatUnbuntu-----个人CentOS-------服务器FedoraSUSEDebian服务器操作系统：商
2020-08-04 13:31:01
103
原创 Hadoop集群部署
Hadoop集群部署CentOS的网络配置https://www.bilibili.com/video/BV1hb411n7i5?p=10https://www.bilibili.com/video/BV16s411M7mg?p=7Bigdata01: 192.168.2.128 192.168.2.1(网关）Bigdata02: 192.168.2.129 192.168.2.1(网关）Bigdata03: 192.168.2.130 192.168.2.1(网关）a、编辑——虚拟机网络
2020-08-04 13:28:34
202
原创 baike爬虫demo
注：medicine.dic - 副本.default 是一个17万行的文本，如：感冒 11111111发烧 2222222import urllib.requestimport urllib.parseimport refrom bs4 import BeautifulSoupfrom lxml import etreeimport gcimport randomimport timeimport winsounddef baike(word): def test_u
2020-08-04 11:27:51
180
原创 spool使用笔记
直接上代码#!/bin/bash#此处修改为相应的数据库的名称，密码，IP和数据库服务名称，目的是登录sqlplusconn=k1/111@111.618.11.111:1521/pdb#默认时间2000.00.00（日志文件名字）sysdate=200000000000echo -e "\e[0;32m ****************************************************************** \e[0m"echo -e "\e[1;32m
2020-08-04 11:09:04
640
原创 利用spool自动创建Oracle用户
1、创建用户#!/bin/bashecho -e "\e[0;33m ****************************************************************** \e[0m"echo " 功能：(1)dba 登陆切换到目标pdb （2）先创建添加ky表空间和增加表空间文件（默认为3个datafile）"echo " 功能：(3)创建cdrky、zkky_dev、ApolloPortalDB、Apolloconfigdb账户 （4）账户权限管理"ech
2020-08-04 10:59:17
251
原创 python随笔
1、读取excelimport xlrddata = xlrd.open_workbook(r’0804.xlsx’,encoding_override=“utf-8”)table = data.sheets()[0] # 打开第一张表nrows = table.nrows # 获取表的行数for i in range(nrows-1): # 循环逐行打印PROPERTY_VALUE=str(table.row_values(i)[0])2、写入.xlsimport xlwtwbk = x
2020-08-04 10:49:30
149
原创 创建查找算法有哪一些？
暴力：遍历for二分：条件：必须是有序的哈希：最高效，O（1），Hash冲突，JDK1.8里面的HashMap:链表+红黑树（处理hash冲突的）插值：索引：搜索引擎，Lucenebfs&dfs:图论里面的遍历平衡树：B+树：B-Tree:红黑树：二叉搜索树：...
2020-07-30 14:05:03
116
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人