
python
ljwy1234
111
展开
-
根据上一篇公司名称进行进一步筛选获取想要的更多职位
from selenium import webdriverfrom lxml import etreeimport reimport timefrom selenium.webdriver.common.by import Byimport csvimport requestsfrom selenium.webdriver.support.ui import WebDriverW...原创 2019-05-28 17:52:06 · 531 阅读 · 0 评论 -
python GIL
题外话,比如 python 垃圾回收机制简单总结就是 比如x=1,x=2 这时候x=1已经作废了 会被垃圾回收机制回收,但是不是立刻回收的,可以理解成解释器会有一个线程去执行这个操作他们会竞争线程 谁抢到谁先执行 先抢到的也不会执行完 切换的2个条件 io操作 还有时间轮询 sleep函数就等于io操作 所以还是会继续竞争 为了解决同一时刻执行的话 可以考虑...原创 2019-01-25 17:55:21 · 134 阅读 · 0 评论 -
python 多线程
import threading# def foo():# print("ok")### t1=threading.Thread(target=foo)# t1.start()## print("ending...")# class MyThread(threading.Thread):## def run(self):# ...原创 2019-01-25 14:15:53 · 161 阅读 · 0 评论 -
python 字符串中符号的意义
1、字符串前加 u 例:u"我是含有中文字符组成的字符串。" 作用:后面字符串以 Unicode 格式 进行编码,一般用在中文字符串前面,防止因为源码储存格式问题,导致再次使用时出现乱码。 PS:不是仅仅是针对中文, 可以针对任何的字符串,代表是对字符串进行。一般英文字符在使用各种编码下,,基本都可以正常解析, 所以一般不带u。但是中文有事会出现问题,就要想以前在学校上机敲代码时...原创 2018-12-18 17:45:05 · 2190 阅读 · 0 评论 -
socket
recv 都是从自己的缓存区接收的 也就是内核态的地方接收原创 2018-12-14 10:32:58 · 98 阅读 · 0 评论 -
类的装饰器应用
def Typed(**kwargs): def deco(obj): for key,val in kwargs.items(): # obj.key=val setattr(obj,key,val) return obj return deco@Typed(x=1,y=2,z=3) #1....原创 2018-11-26 15:38:01 · 139 阅读 · 0 评论 -
python 描述符的应用
# def test(x):# print('===>',x)## test('alex')# test(111111)class Typed: def __init__(self,key,expected_type): self.key=key self.expected_type=expected_type def ...原创 2018-11-26 13:46:04 · 140 阅读 · 0 评论 -
python 迭代器协议斐波那契数列
class Fib: def __init__(self): self._a=1 self._b=1 def __iter__(self): return self def __next__(self): if self._a > 100: raise StopIteratio...原创 2018-11-14 17:19:05 · 249 阅读 · 0 评论 -
python包标准类型和动态导入模块和多态和反射和授权
class List(list): def append(self, p_object): if type(p_object) is str: # self.append(p_object) super().append(p_object) else: print('只能添加字符串类型...转载 2018-11-12 09:34:20 · 228 阅读 · 0 评论 -
python3 新式类的继承顺序 广度优先
原创 2018-11-08 16:54:24 · 782 阅读 · 0 评论 -
python hashlib
import hashlibobj=hashlib.md5()# obj.update("admin".encode("utf8"))# print(obj.hexdigest()) #21232f297a57a5a743894a0e4a801fc3obj.update("adminroot".encode("utf8"))print(obj.hexdigest())# ...原创 2018-11-01 16:30:23 · 228 阅读 · 0 评论 -
python configparser模块
# import configparser## config = configparser.ConfigParser() #config={}##### config["DEFAULT"] = {'ServerAliveInterval': '45',# 'Compression': 'yes',# ...转载 2018-11-01 16:10:21 · 174 阅读 · 0 评论 -
python re模块
转载 2018-10-30 16:47:06 · 141 阅读 · 0 评论 -
python json和pickle模块
# dic='{"name":"alex"}'# f=open("hello","w")# f.write(dic)# f_read=open("hello","r")# data=f_read.read()# print(type(data))# data=eval(data)# print(data["name"])# import json转载 2018-10-30 15:41:04 · 182 阅读 · 0 评论 -
python 递归锁
递归锁 其实就是维护一个计数器 比如A 线程 获得了锁 那么计数器会+1 释放的时候 为0 如果这个计数器不为0 那么其他的线程无法获得锁 只能慢慢的等待 import threadingimport timeclass MyThread(threading.Thread): def actionA(self): r_lcok.acquire(...原创 2019-01-26 11:25:33 · 644 阅读 · 0 评论 -
python 同步event对象
import threading,timeclass Boss(threading.Thread): def run(self): print("BOSS:今晚大家都要加班到22:00。") print(event.isSet())# False event.set() time.sleep(5) pri...转载 2019-01-26 13:57:00 · 201 阅读 · 0 评论 -
Python 信号量
import threading,timeclass myThread(threading.Thread): def run(self): if semaphore.acquire(): print(self.name) time.sleep(3) semaphore.release()i...转载 2019-01-26 14:17:28 · 1051 阅读 · 0 评论 -
拉勾网爬取客服信息并记录到数据库(只获取公司名称)下一篇会根据公司名筛选
from selenium import webdriverfrom lxml import etreeimport reimport timefrom selenium.webdriver.common.by import Byimport csvimport requestsfrom selenium.webdriver.support.ui import WebDriverW...原创 2019-05-28 17:46:15 · 464 阅读 · 0 评论 -
拉勾爬虫
from selenium import webdriverfrom lxml import etreeimport reimport timefrom selenium.webdriver.common.by import Byimport csvimport requestsfrom selenium.webdriver.support.ui import WebDr...原创 2019-05-28 17:41:28 · 245 阅读 · 0 评论 -
python 生成器读取文件
def myreadlines(f, newline): buf = "" while True: while newline in buf: pos = buf.index(newline) yield buf[:pos] buf = buf[pos + len(newline):] chunk = f.read(4096) ...原创 2019-05-28 17:33:51 · 2375 阅读 · 0 评论 -
urllib库学习
from urllib import request#访问这个地址 # resp=request.urlopen('https://tieba.baidu.com/p/5251110663')## print(resp.read())#可以保存页面 和图片resp=request.urlretrieve('https://tieba.baidu.com/p/525111066...原创 2019-02-27 10:40:10 · 159 阅读 · 0 评论 -
cookie转字典 cookiejar相关的
str1="Cookie: anonymid=js5txwoc-mdawzp; depovince=GW; _r01_=1; JSESSIONID=abcPi5OivJCG47hnrAWJw; ick_login=0d403a11-f3c8-4d82-8282-a7f593dd4fce; jebe_key=d2b68b3d-d07e-4dfa-b5bb-79023ff79162%7Ccfcd20...原创 2019-03-01 09:54:09 · 562 阅读 · 0 评论 -
django 安装
pip django install之后 添加一下系统变量C:\Users\Administrator\AppData\Local\Programs\Python\Python37;C:\Users\Administrator\AppData\Local\Programs\Python\Python37\Scripts;D:\web\PHPTutorial\MySQL\bin;...原创 2019-02-13 15:12:20 · 229 阅读 · 0 评论 -
windows 安装pip 和 pychar 安装pymysql
https://pypi.org/project/pip/#files解压缩后 进入pip目录运行 Python setup.py install 安装后 会有显示目录和位置 最好都添加到 环境变量中 之后可以通过 pip pymysql install 或者 pychar安装 pychar 文件设置 这样依次点击就好 测试一下 ...原创 2019-02-13 09:42:26 · 934 阅读 · 2 评论 -
python 继承
class FooParent(object): def __init__(self): self.parent = 'I\'m the parent.' print('Parent') def bar(self, message): print("%s from Parent" % message)class FooChi...原创 2019-02-11 11:33:26 · 170 阅读 · 0 评论 -
python 进程池
pyhton 中 一般进程不超过100 线程不超过1000 推荐io 多路复用 来解决问题 而不是开多线程或者进程from multiprocessing import Process,Poolimport time,osdef Foo(i): time.sleep(1) print(i) print("son",os.getpid()) ret...原创 2019-02-11 09:47:31 · 287 阅读 · 0 评论 -
django2.0 自己入门记录一些基础url 模板等
静态文件 首先固定写法 上面的 STATIC_URL='/static/' 意思是别名 下面的index.html 调用静态的jq.js 就取这个static 在提交表单时 记得 关掉这个 区分开 免得互相受影响blog下的路由 比较乱 大概就是这样- - viewsfrom django.shortcuts import ...原创 2019-02-14 16:54:06 · 208 阅读 · 0 评论 -
python 进程调用
# from multiprocessing import Process# import time### def f(name):# time.sleep(1)# print('hello', name,time.ctime())## if __name__ == '__main__':# p_list=[]# for i in range(...转载 2019-01-26 16:52:07 · 754 阅读 · 1 评论 -
Python 生产者消费者模型
import time,randomimport queue,threadingq = queue.Queue()def Producer(name): count = 0 while count <10: print("making........") time.sleep(5) q.put(count) print('Producer ...转载 2019-01-26 15:58:53 · 216 阅读 · 0 评论 -
Python 队列
# import threading,time## li=[1,2,3,4]### def pri():# while li:# a=li[-1]# print(a)# time.sleep(1)# li.remove(a)# # try:# # li.remo...转载 2019-01-26 15:46:20 · 168 阅读 · 0 评论 -
python os模块
import os# print(os.getcwd())# os.chdir("..")# print(os.getcwd())#os.makedirs('dirname1/dirname2')#os.removedirs("dirname1/dirname2")#print(os.listdir())#print(os.stat("sss.py"))# print(os...转载 2018-10-30 15:38:08 · 115 阅读 · 0 评论 -
python sys模块
import sys# print(sys.argv)## command=sys.argv[1]# path=sys.argv[2]## if command=="post":# pass## elif command=="get":# passimport timefor i in range(100): sys.stdout.write("...转载 2018-10-30 15:36:57 · 102 阅读 · 0 评论 -
python 装饰器相关 从后往前看
import timedef timmer(func): #func=test def wrapper(): start_time=time.time() res=func() #就是在运行test() stop_time = time.time() print('运行时间是%s' %(stop_time-start_ti...转载 2018-10-13 17:15:13 · 127 阅读 · 0 评论 -
python yield
Python yield 使用浅析分类 编程技术您可能听说过,带有 yield 的函数在 Python 中被称之为 generator(生成器),何谓 generator ?我们先抛开 generator,以一个常见的编程题目来展示 yield 的概念。如何生成斐波那契數列斐波那契(Fibonacci)數列是一个非常简单的递归数列,除第一个和第二个数外,任意一个数都可由前两个数相加...转载 2018-10-12 18:01:40 · 618 阅读 · 0 评论 -
python迭代器生成器
# x='hello'# # print(dir(x))# iter_test=x.__iter__()## print(iter_test)# print(iter_test.__next__())# print(iter_test.__next__())# print(iter_test.__next__())# print(iter_test.__next__())...转载 2018-10-12 17:12:38 · 138 阅读 · 0 评论 -
python3 文件处理
# f=open('test11.py','rb',encoding='utf-8') #b的方式不能指定编码# f=open('test11.py','rb') #b的方式不能指定编码# data=f.read()# #'字符串'---------encode---------》bytes# #bytes---------decode---------》'字符串'# print(da...原创 2018-10-12 16:23:57 · 192 阅读 · 0 评论 -
centos7 编译安装 python3.5
首先进入官网 https://www.python.org/downloads/点击红色箭头 进入 复制链接地址 wget https://www.python.org/ftp/python/3.5.2/Python-3.5.2.tgz 然后解压缩tar xvf Python-3.5.2.tgz 好像解压缩参数不加z 也会选择gzip吧然后 cd Pyt...原创 2018-09-27 14:59:26 · 550 阅读 · 0 评论 -
python常用的内置函数
#绝对值# print(abs(-1))# print(abs(1))##是否全部bool值为true # print(all([1,2,'1']))# print(all([1,2,'1','']))# print(all(''))#只要有一个bool值为真就是true# print(any([0,'']))# print(any([0,'',1]))#转换二进制#...原创 2018-10-12 08:49:23 · 166 阅读 · 0 评论 -
python 简单的函数
#!/usr/bin/u/ubv/a python#_*_ coding:utf8 _*_import timenum_l=[1,2,3,4,5]def myadd(x): return x*3def fk(func,array): new_l=[] for i in array: res=func(i) new_l.appe...原创 2018-10-11 14:38:59 · 492 阅读 · 0 评论 -
python 模块,模块名和包 最最简单的使用 入门级 不够详细 不建议参考- - 扫一眼就好
import mod1mod1.funca()print(mod1.var)# fromfrom mod1 import *funca()print(var)import modabcde as mm.varimport pack.subprint(pack.sub.var)from pack import subsub.varfrom pack impor原创 2018-01-07 15:02:03 · 1107 阅读 · 0 评论