gaoqian_1237-优快云博客

原创岭回归与lasso回归

a. 什么是岭回归和lasso回归？为什么要用岭回归和lasso回归？岭回归选参的一般原则是什么。对OLS进行范数1正则化叫Lasso回归。对OLS进行范数2正则化叫岭回归。进行岭回归和Lasso回归的主要目的：1.解决病态矩阵的过拟合和欠拟合问题。2.消除多重共线性造成的行列式趋近于0，从而引起的大系数问题。选参遵循原则如下：（1）在岭回归中设计矩阵X已经中心化...

2018-09-27 19:44:26 1620

原创妹子图进程线程爬虫代码（python）

import requestsfrom lxml import etreeimport osdef download_img(img_url_referer_url): print("fuck, 你还来不来") (img_url, referer) = img_url_referer_url print('Downloading ......' + img_url...

2018-08-20 23:46:55 385

原创进程vs线程

什么叫“多任务”呢？简单地说，就是操作系统可以同时运行多个任务。打个比方，你一边在用浏览器上网，一边在听MP3，一边在用Word赶作业，这就是多任务，至少同时有3个任务正在运行。还有很多任务悄悄地在后台同时运行着，只是桌面上没有显示而已。现在，多核CPU已经非常普及了，但是，即使过去的单核CPU，也可以执行多任务。由于CPU执行代码都是顺序执行的，那么，单核CPU是怎么执行多任务的呢？...

2018-08-20 23:40:01 230

原创正则表达式

# 正则表达式我们到网站上爬取数据，需要知道什么样的数据是我们想要爬取的，什么样的数据是网页上不会变化的。正则表达式通常被用来`检索、替换`那些符合某个`模式(规则)`的`文本`。### 模式介绍|模式|描述|-------|--------||^|匹配字符串的开头||$|匹配字符串的末尾。||.|匹配任意字符，除了换行符，当re.DOTALL标记被指定时，则可以匹配包括换...

2018-08-17 00:02:19 1030

原创 Python 连接 MySQL

连接数据库步骤1.创建数据库对象数据库对象 = pymysql.connect( '主机地址', '用户名', '密码', '库名', charset='utf8', port=3306)数据库对象的方法:cursor()、commit()、rollback()、close()2.创建游标对象游标对象 = db.cursor()3.游标对象方法： ...

2018-08-16 00:11:17 159

原创 baidufanyi

import jsonurl = 'http://fanyi.baidu.com/sug'def translate(kw): form = { 'kw':kw } #字典转换成str #form_str = parse.urlencode(form) #print(form_str) #str转换成bytes #...

2018-08-16 00:07:40 596

原创 xueqiu_requests.py

import jsonimport requestsfrom mysql_my import mysql_conn# 因为不能访问, 所以我们加个头试试headers = { #'Accept': '*/*', #'Accept-Encoding': 'gzip, deflate, br', #'Accept-Language': 'zh-CN,zh;q=0.9,...

2018-08-16 00:03:50 154

原创 proxy_urllib

from urllib import requestproxy = { 'http': 'http://219.141.153.41:80'}url = 'http://www.baidu.com/s?wd=ip'# request.HTTPCookieProcessor(cookie)handler = request.ProxyHandler(proxy)# 生成 o...

2018-08-15 00:25:45 121

原创有道翻译获取

import timeimport randomimport jsonfrom Day1.tuozhan_all import postdef md5_my(need_str): import hashlib # 创建md5对象 md5_o = hashlib.md5() # 需要有bytes, 作为参数 # 由str, 转换成 bytes en...

2018-08-15 00:25:03 365

原创人人网登陆获取

from Day1.tuozhan_all import post, getimport jsonfrom urllib import request, parse# 保存cookiefrom http import cookiejar# 通过对象保存cookiecookie_object = cookiejar.CookieJar()# handler 对应着一个操作handl...

2018-08-14 23:42:46 885

原创 HTTP

## HTTP 和 HTTPS 简介HTTP协议是Hyper Text Transfer Protocol（超文本传输协议）的缩写,是用于从万维网（WWW:World Wide Web ）服务器传输超文本到本地浏览器的传送协议。。HTTP是一个基于TCP/IP通信协议来传递数据（HTML 文件, 图片文件, 查询结果等）。默认端口：80<br>HTTPS 即HTTP下加入SSL...

2018-08-13 22:34:20 106

原创爬虫过程代码

from urllib import request,parsefrom urllib.error import HTTPError,URLErrordef get(url,headers=None): return urlrequests(url,headers=headers)def post(url,form,headers=None): return urlre...

2018-08-13 22:04:41 168

一、Session的概念Session 是存放在服务器端的，类似于Session结构来存放用户数据，当浏览器第一次发送请求时，服务器自动生成了一个Session和一个Session ID用来唯一标识这个Session，并将其通过响应发送到浏览器。当浏览器第二次发送请求，会将前一次服务器响应中的Session ID放在请求中一并发送到服务器上，服务器从请求中提取出Session ID，并和保存...

2018-08-13 20:32:59 89

gaoqian_1237的博客