huangwencai123-优快云博客

原创 ILRuntime Dotween

ILRuntime Dotween1； Unity 主程序导入dotween2; 热跟程序引用dotween.dll在unity 项目中找到dotween.dll 文件我的dotween.dll 位置是E:\ILRunTime\ILRuntimeProject\davidch-ILRuntimeProject-master\ILRuntimeProject\Assets\Plugins\Demigiant\DOTween导入热跟代码使用导入头文件using DG.Twee.

2021-01-05 11:23:31 1356 8

原创给定两个数组，编写一个函数来计算它们的交集

给定两个数组，编写一个函数来计算它们的交集示例 1:输入: nums1 = [1,2,2,1], nums2 = [2,2]输出: [2,2]示例 2:输入: nums1 = [4,9,5], nums2 = [9,4,9,8,4]输出: [4,9]说明：输出结果中每个元素出现的次数，应与元素在两个数组中出现的次数一致。我们可以不考虑输出结果的顺序。思路这是在数据结构中链表...

2019-09-02 21:56:43 2182

原创 letcode -- Two Sum 两数之和

题目给定一个整数数组 nums 和一个目标值 target，请你在该数组中找出和为目标值的那两个整数，并返回他们的数组下标。你可以假设每种输入只会对应一个答案。但是，你不能重复利用这个数组中同样的元素。示例:给定 nums = [2, 7, 11, 15], target = 9因为 nums[0] + nums[1] = 2 + 7 = 9所以返回 [0, 1]解题思路1、暴...

2019-09-02 09:45:56 218

原创 pyecharts x轴不能完全显示的问题解决

pyecharts x轴不能完全显示的问题解决 .set_global_opts(title_opts=opts.TitleOpts(title=title, subtitle=subtitle),xaxis_opts=opts.AxisOpts(name_rotate=60,name="123456",axislabel_opts={"rotate":45}))关键代码axislabe...

2019-08-25 23:36:30 14534 28

原创 scrapy 豆瓣短评数据分析 + 中文情感分析 + 可视化（一）

scrapy 豆瓣短评数据分析 + 中文情感分析 + 可视化（一）一、scrapy 爬取豆瓣短评本次爬取的是哪吒之魔童降世短评。本次爬取的是静态网页还是蛮简单的。1、开始地址https://movie.douban.com/subject/26794435/comments?status=P爬取的内容item设置为class DoubanscrapyItem(scrap...

2019-08-23 10:55:32 2543 2

原创 python-m3u8-协程-快速下载并合并MP4

python-m3u8-协程-快速下载并合并MP4一、关于m3u8：m3u8是苹果公司推出一种视频播放标准，是m3u的一种，不过编码方式是utf-8，是一种文件检索格式，将视频切割成一小段一小段的ts格式的视频文件，然后存在服务器中（现在为了减少I/o访问次数，一般存在服务器的内存中），通过m3u8解析出来路径，然后去请求。例子：#EXTM3U#EXT-X-VERSION:3#EXT...

2019-06-15 20:03:04 3367 2

原创 python--str和repr()区别

python–str__和__repr()两者的区别是1、str()返回用户看到的字符串，2、而__repr__()返回程序开发者看到的字符串，也就是说，repr()是为调试服务的。使用时：class Student(object): def __init__(self, name,callback=None, method='GET',meta=None,flags=Non...

2019-06-12 14:36:32 291

原创 python--类的单例模式的实现

python–类的单例模式的实现单例模式（Singleton Pattern）是一种常用的软件设计模式，该模式的主要目的是确保某一个类只有一个实例存在。当你希望在整个系统中，某个类只能出现一个实例时，单例对象就能派上用场。使用：1、在调度器的初始化__init__()中初始化类，则会是单例了2、使用__new___ 设置。1）new_ 本身用来初始化实例，如果check 到内存中有初始...

2019-06-12 11:48:07 354 1

原创 python--log的实现

python–log的实现1、日志等级# 日志的五个等级，等级依次递增# 默认是WARNING等级logging.DEBUGlogging.INFOlogging.WARNINGlogging.ERRORlogging.CRITICAL# 设置日志等级logging.basicConfig(level=logging.INFO)# 使用logging.debug('DEBU...

2019-06-12 11:39:36 4453 1

原创 python--装饰器deorator--高级

python–装饰器deorator-- 高级"""如何优化你的装饰器 1、wrapt是一个功能非常完善的包，用于实现各种你想到或者你没想到的装饰器。 2、使用wrapt实现的装饰器你不需要担心之前inspect中遇到的所有问题，因为它都帮你处理了，甚至inspect.getsource(func)也准确无误""""""1、无参数注要pip"""import w...

2019-06-12 11:35:35 231

原创 python--装饰器deorator--1

python–装饰器deorator装饰器 :装饰器的作用就是为已经存在的函数或对象添加额外的功能1、装饰器本质上是一个Python函数，2、它可以让其他函数在不需要做任何代码变动的前提下增加额外功能，3、装饰器的返回值也是一个函数对象4、使用：用@5、一般装饰器函数都被命名为wrapper()“”""""初级装饰器"""def debug(func): def...

2019-06-12 11:32:51 197

原创 python--closure闭包

python–closure闭包1、就是当某个函数被当成对象返回时，夹带了外部变量，就形成了一个闭包2、闭包函数相对与普通函数会多出一个__closure__的属性里面定义了一个元组用于存放所有的cell对象，每个cell对象一一保存了这个闭包中所有的外部变量例子def make_printer(msg): def printer(): print(msg) ...

2019-06-12 11:29:37 286

原创 json或字典的总结

json或字典的总结1、两种获取：1、results.get(‘paging’) # adiansdict.get(key, default=None)返回指定键的值，如果值不在字典中返回 default值2.results[“paging”]2、赋值：1、radiansdict.setdefault(key, default=None)#和get()类似, 但如...

2019-06-12 11:24:23 391

原创 python __list的总结

python __list的总结1 len() 长度2、.append(obj) 增加一个3、.count(obj) 某元素的个数4、list.extend(list2) == list+list25、list(seq) 列表变成元组6、遍历1 for data in datas :2 for index ,line in enumerate (all_data)7 ls...

2019-06-12 11:19:28 192

原创 python--re模块

python–re模块1、常用例子：pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a' + '.*?>(.*?)</a>.*?star">(.*?)</p&...

2019-06-12 11:18:11 206

原创 python-file、文件的总结

python–file(文件)的总结from contextlib import closingimport requests#使用yield迭代def read_file(fpath): BLOCK_SIZE = 1024 with open(fpath, 'rb') as f: while True: block = f.r...

2019-06-12 11:12:34 194

原创 python --通过urlretrieve下载MP4文件

python --通过urlretrieve下载MP4文件1、urlretrieve函数python3中urllib.request模块提供的urlretrieve()函数。urlretrieve()方法直接将远程数据下载到本地。 urlretrieve(url, filename=None, reporthook=None, data=None) 参数url：下载链接地址参数f...

2019-05-28 19:17:37 2251

原创 scrapy--set去重数据

scrapy–set去重数据1、Pipeline 中from scrapy.exceptions import DropItemclass CheckPipeline(object): """check item, and drop the duplicate one""" def __init__(self): self.names_seen = set...

2019-05-28 19:08:53 564

原创 scrapy---下载中国大学慕课课程视频及文件

scrapy—下载中国大学慕课课程视频及文件1、本文很大程度参考了https://blog.youkuaiyun.com/qq_37244001/article/details/84780430,在此表示感谢2、scrapy 应用如下：settings 文件COURSE_ID="PKU-1002536002"#{（ａ）标清　　　（ｂ）高清　　　（ｃ）超清　}VIDEO_TYPE="a"#dow...

2019-05-28 18:57:53 7107 3

原创 scrapy--基于Redis的Bloomfilter去重

scrapy–基于Redis的Bloomfilter去重本文代码去重对象是itemclass RedisPipeline(object): def __init__(self, redis_uri, redis_db): self.redis_uri = redis_uri self.redis_db = redis_db @classme...

2019-05-22 18:40:57 456

原创 python --m3u8下载和合并

python --m3u8下载和合并代码如下：import contextlibimport osimport tempfilefrom urllib.parse import ( splittype)_url_tempfiles = []from urllib import requestimport requestsdef Myurlretrieve(url...

2019-05-22 18:36:04 2979

原创 pyecharts可视化

pyecharts可视化概述：Echarts 是一个由百度开源的数据可视化，凭借着良好的交互性，精巧的图表设计，得到了众多开发者的认可。而 Python 是一门富有表达力的语言，很适合用于数据处理。当数据分析遇上数据可视化时，pyecharts 诞生了。特性：简洁的 API 设计，使用如丝滑般流畅，支持链式调用囊括了 30+ 种常见图表，应有尽有支持主流 Notebook 环境，Jup...

2019-05-15 21:03:06 581

原创 scrapy怎么debug断点调试

scrapy怎么debug断点调试1、在项目的文件夹下增加一个文件main.py（scrapy.cfg同等级中）main.py文件from scrapy.cmdline import executeimport osimport sysif __name__ == '__main__': sys.path.append(os.path.dirname(os.path.abs...

2019-05-06 20:40:56 6892 2

原创 python os和sys 模块的简单总结

python os和sys 模块的简单总结"""1、 os.chdir(path)改变当前工作目录2、os.getcwd()返回当前工作目录4、 os.path.abspath(path) 返回绝对路径5、os.path.dirname(path) 返回文件夹路径7、__file__ 本文件的地址： D:/Python/pachong/python_file/os.pysy...

2019-05-06 12:24:17 341

转载基于Redis的Bloomfilter去重（附Python代码）

（原文链接：http://blog.youkuaiyun.com/bone_ace/article/details/53107018）

2019-05-05 22:19:55 316

原创基于set和单例去重

基于set和单例去重去重”是日常工作中会经常用到的一项技能，在爬虫领域更是常用，并且规模一般都比较大。去重需要考虑两个点：去重的数据量、去重速度。为了保持较快的去重速度，一般选择在内存中进行去重。1、数据量不大时，可以直接放在内存里面进行去重，例如python可以使用set()进行去重。2、当数据量再大一点时，可以用不同的加密算法先将长字符串压缩成 16/32/40 个字符，再使用上面两种方...

2019-05-05 22:18:55 243

转载 python操作mongoDB数据库基本类封装

本文转至https://blog.youkuaiyun.com/yangxiaodong88/article/details/80748972 在此表示感谢修改：1、把文件都放入一个文件中，方便以后的移植2、用自己的例子调试一波本文基本没有修改原作者的代码：# _*_ encoding:utf-8 _*_# _*_ author:wen _*_import pymongofrom pymon...

2019-05-03 23:03:22 3351 1

原创 Fiddler 复制下来的header变成字典模式

Fiddler 复制下来的header变成字典模式使用Fiddler 复制下来的header 样式Device-Id: 00000000-5ae8-e179-a0f9-233a0033c587Cookie: serviceToken=04sr9GcZfERxKRplmwUmb83RlUaPGoQN/oWh1oElLB4ZTVXptLM+4fXTQF17y0wJFo2JsicSBSPIwrnc...

2019-05-03 22:53:59 1026

转载 python操作mysql数据库基本类封装

python操作mysql数据库基本类封装本文是在博主cxl283的博客下https://blog.youkuaiyun.com/cxl283/article/details/73521831稍微修改而来的。修改的地方：1、python2变成python32、MySQLdb 变成pymysql两者变化不大。import reimport pymysql"""connect连接对象的方法：...

2019-05-03 09:05:28 1098

原创 scrapy模拟登录知乎并获取知乎用户信息

scrapy模拟登录知乎并获取知乎用户信息开始工作代码的编写开始工作1、创建项目scrapy startproject loginScrapy2、创建spidercd loginScrapyscrapy genspider zhihu www.zhihu.com3、改写项目文件在settings中增加ROBOTSTXT_OBEY = False # 这个不禁用,遵守协议还怎么爬,人...

2019-04-27 10:40:07 467

原创 scrapy使用selenium模拟登录知乎

scrapy使用selenium模拟登录知乎项目的spider 中 class zhihuSpider(scrapy.Spider): name = 'zhihu2' allowed_domains = ['www.zhihu.com/'] start_urls = ['https://www.zhihu.com/signin','https://www...

2019-04-27 09:58:42 715

原创 scrapy的日志logging的使用

scrapy的日志logging的使用1、意义：为了方便在调试。在scrapy运行中可能停不下来，关闭就没有记录了。因此把日志保存在文本中方便看信息。2 、使用：1）在settings中增加：# log configimport datetimeToday=datetime.datetime.now()#取得现在的时间Log_file_path='scrapy_{}_{}_...

2019-04-27 09:39:47 1465 1

原创 scrapy爬取海贼王漫画

scrapy爬取海贼王漫画1、创建项目scrapy startproject onepiecesScrapy2、创建spidercd onepiecesScrapy scrapy genspider onepieces http://manhua.fzdm.com/02/3、改写项目文件在settings中增加ROBOTSTXT_OBEY = False # 这个不禁用,遵守协议还怎么...

2019-04-25 10:34:11 844

原创 scrapy 爬取酷狗T500音乐

scrapy 爬取酷狗T500音乐开始工作代码的编写开始工作1、创建项目scrapy startproject kugouScrapy2、创建spidercd kugouScrapy scrapy genspider kugouwww.kugou.com3、改写项目文件在settings中增加ROBOTSTXT_OBEY = False # 这个不禁用,遵守协议还怎么爬,人家默认不...

2019-04-25 09:56:06 1236