- 博客(24)
- 收藏
- 关注
RSS订阅原创 2020-12-02
今天聊点程序员学习过程中遇到的那些自以为是的人。 今天我去查一个问题，偶然间看见评论里有人发了一条恶意十足的语句 说让楼主不要问这种低级的问题，我就想问一下，每个程序员在刚开始学的时候不是一点一点的慢慢熟悉，你是从母胎里就会吗，你要真是这样你为什么还有时间在这里BB呢 ...
2020-12-02 17:33:19
178
原创 简单的用scrapy登陆GitHub
import scrapy class GitHub(scrapy.spider): name="github" allow_domains=['github.com'] start_urls=['https://github.com/login'] def parse(self,response): #如果还有其他需要提交的信息，可以使用xpath提取出他所在的标签的value...
2019-12-11 16:50:51
334
原创 IP代理池和Cookie池简单代码
import requests # url="http://httpbin.org/ip" # # response=requests.get(url=url) # # print(response.text) # proxy={ # 'http':'125.42.148.190:8060' # } # response=requests.get(url=url,proxies=proxy) ...
2019-11-12 13:40:45
445
原创 MongoDB文档之间的关系
–MongoDB文档之间的关系 一对一 在MongoDB，可以用内嵌文档的形式来体现出一对一的关系 举例 db.wifeandhusband.insert([ { name:“黄蓉” husband:{ name:“郭靖” } } ]) 多对一 用户–订单 –也可以用内嵌文档的形式来映射一对多的关系 举例 db.users.insert([ { username:“swk” }, { usern...
2019-10-26 15:11:20
254
1
原创 MongoDB排序和投影
–MongoDB排序和投影 –查询文档是，默认按照_id排序 db.emp.find(); –sort()可以指定文档的排序规则,sort()需要传递一个对象来指定排序规则。1表示升序，-1表示降序 db.emp.find().sort({sal:1}); db.emp.find().sort({sal:1,empno:-1}); –先按照sal排序，如果有重复的sal，再按照empno排序 –l...
2019-10-26 15:10:10
258
原创 MongoDB练习2
–MongoDB练习2 导入json文件，具体实现我就不在这写了，大家请去b站搜索尚硅谷的mongodb教学 1.查询工资在1000到2000之间的员工 db.emp.find({sal:{lt:2000,lt:2000,lt:2000,gt:1000}}); 2.查询工资小于1000或者大于2500的员工 –KaTeX parse error: Expected '}', got 'EOF' a...
2019-10-26 15:07:54
369
原创 MongoDB练习
–mangoDB练习 1.进入mt_test数据库 use my_test 2.向数据库的user集合添加一个文档 db.user.insert({ username:"sunwukong" }); 3.查询集合中的文档 db.user.find(); 4.向user集合再插入一个文档 db.user.insert({ username:“zhubajie” }); 5.查询集合中的文档 db...
2019-10-26 15:07:23
440
原创 MongoDB基础
–mangoDB nosql --not only sql 非关系型的数据库 随着网站访问量的额上升，网站的数据库性能出现了问题，nosql出现了 优点：分布式计算、低成本、架构的灵活性、半结构化数据、没有复杂的关系 缺点：没有标准化、有限的查询功能、最终一直是不直观的程序 文档型存储 MongoDB是一个基于分布式，文件存储的nosql数据库 由c++编写，运行稳定，性能高 旨在为WEB应用提供...
2019-10-26 15:06:34
285
原创 利用代理爬取搜狗微信文章
爬取淘宝美食 操作流程:1.搜索关键字，利用selenium驱动浏览器搜索关键字，得到查询后的商品列表 2.得到商品页码数，模拟翻页，得到后续页面的商品列表 3.分析提取商品内容，利用pyquery分析源码，解析得到商品列表 4.存储至mongodb from selenium import webdriver from selenium.common.exceptions import Time...
2019-10-21 09:17:09
353
原创 利用selenium爬取淘宝
爬取淘宝美食 操作流程:1.搜索关键字，利用selenium驱动浏览器搜索关键字，得到查询后的商品列表 2.得到商品页码数，模拟翻页，得到后续页面的商品列表 3.分析提取商品内容，利用pyquery分析源码，解析得到商品列表 4.存储至mongodb from selenium import webdriver from selenium.common.exceptions import Time...
2019-10-21 09:14:51
429
原创 利用正则爬取猫眼电影
爬取猫眼电影 import json import requests from requests.exceptions import RequestException import re def get_one_page(url):#获取一个页面的信息 try: kv = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win6...
2019-10-21 09:12:53
321
原创 python简易的实用代码，代替java复杂代码
1.检查两个给定列表是否含有重复元素 def check_repeat(lst): return len(lst)==len(set(lst)) 2.检测两个字符串是否含有互相换位置的字符 from collections import Counter def change(first,second): return Counter(first)==Counter(second) chang...
2019-10-16 11:05:59
328
原创 爬虫selenium库
–爬虫selenium库 自动化测试工具，爬虫中来解决js渲染问题 基本使用 from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys from selenium.webdriver.support import...
2019-10-16 11:04:41
229
原创 爬虫PyQuery
–爬虫pyquery 字符串初始化 html=""" ...... """" from pyquery import PyQuery as pq doc=pq(html) print(doc('li')) --其实就是个css选择器,选出了所有的li标签 url初始化 from pyquery import PyQuery as pq doc=pq(url="http://www.baidu...
2019-10-16 11:00:49
304
原创 爬虫入门
–爬虫 请求网站并提取数据的自动化程序 get与post的不同 get会把请求的参数放在url里，post会提交一个表单 url：统一资源定位符 request发送的请求一般都是document类型,网页中的图片是二次加载的 request:1.请求方式(get,post).2.请求url.3.请求头:User-Agent.4.请求体:请求时额外携带的数据 相应状态:200代表成功,301是跳转，...
2019-10-16 10:57:32
679
原创 求助MongoDB compass的内嵌文档的属性查询方法
我想查询到hobby中movies里面的属性值，比如，我想查询movies为hero的属性值，在mongodb compass里面怎么查， 就是在这里面怎么写。 非常感谢各位大佬
2019-10-07 17:09:12
660
1
原创 mysql事务
–mysql事务.sql mysql中，事务其实是最小的不可分割的工作单元。事务能够保证一个业务的完整性 比如 update user set money=money-100 where name=‘a’; update user set money=money+100 where name=‘b’; 这两条语句必须同时成功或者失败 create table user( id int, name ...
2019-10-04 09:38:38
903
原创 mysql连接查询
–mysql连接查询.sql sql的四种连接查询 内连接 inner join 或者 join 外连接 1.左连接: left join 或者 left outer join 2.右连接: right join 或者 right outer join 3.完全外连接： full join 或者 full outer join 创建两个表 create table person( id int, ...
2019-10-04 09:38:07
331
原创 mysql查询
–mysql查询练习.sql –学生表 create table student( sno varchar(20) primary key, sname varchar(20) not null, ssex varchar(10) not null, sbir datetime, class varchar(20) ); –教师表 create table teacher( tno varchar...
2019-10-04 09:37:05
1033
原创 mysql建表约束
–主键约束 它能够唯一确定一张表中的一条记录。也就是我们通过给某个字段添加约束，就可以使得该字段不重复且不为空。 primary key –联合主键，只要联合的主键值加起来不重复就可以 primary key(字段名，字段名); –自增约束 primary auto_increment 管控id自增加 如果创建表的时候忘记添加主键，可以用 alter table 表名 add primary ke...
2019-10-04 09:36:18
205
原创 MySql入门级知识
–mysql 学习笔记 –关系型数据库 – 一、如何使用终端操作数据库 –1.如何登陆数据库服务器? cd C:\Program Files\MySQL\MySQL Server 5.7\bin mysql -hlocalhost -uroot -p123456 –2.如何查询数据库服务器中所有的数据库? show databases; –3.如何选中一个数据库进行操作 use 数据库名字; se...
2019-10-04 09:35:25
209
原创 python入门小程序
# 输入整数，输出百位及以上的数字 # s=input("输入整数") # print(s[:-2]) # # 获取输入字符串，按照空格分割，按行打印 # i=input("输入字符串") # s=i.split() # for c in s: # print(c) # # 输入数字1--7，输出星期几 # d={1:"monday",2:"tuesday",3:"wednesday"...
2019-09-21 07:32:53
434
原创 Python 排序和堆的操作
自己自学了点排序和堆的操作，现学现卖，有不好的地方欢迎各路大神指点！ 1.二分法 def twojudge(search_list,target): left=0 right=len(search_list)-1 while left<=right: mid=(left+right)//2 if search_list[mid]<...
2019-09-19 10:52:31
192
原创 python经典代码
python学习之路 一、Hello World的条件输出 获得用户输入的一个整数，参考该整数值，打印输出"Hello World"，要求：...
2019-07-14 18:30:09
32408
2
空空如也
OCR本地运行，不用部署
2022-11-09
TA创建的收藏夹 TA关注的收藏夹
TA关注的人