symoriaty的博客

用代码抓取百度指数时总是提示“cookie不可用”。估计是cookie没找对。按照网上大部分的教程，百度指数的cookie，是在登录百度指数后，在百度指数首页点击F12，找到Application在其左侧找到cookie，点击cookie下的链接，在NAME中找到BDUSS，将其value复制下来。然而，这种方法是不对的。正确的方法是 在登录百度指数后，在百度指数首页点击F12，找到Network，再点击下方的All，再点击abdr?data开头的链接，点击Headers，找到cookie

最近，需要用python批量处理一些超过4G的文本数据，在此记录一些处理思路。1 文本查看拿到新数据，总是想先打开数据，看看字段和数据情况。然而，我的电脑运存只有16G，超过4G的文本数据如果用记事本或notepad++等文本编辑器直接打开，会一下子涌入运存中，打开很慢或者直接打不开。EmEditor软件读取大文件很方便。不是免费的，需要注册：EmEditor (Text Editor) – Text Editor for Windows supporting large files and U

近日用pandas的read_csv读取中文文本文件时报错：python 'utf-8' codec can't decode byte 0xe3 in position 0: unexpected end of data。看到错误以为是读取时encoding选择错误，某个二进制块无法用 'utf-8'读取，不应该选择 'utf-8'。于是将utf-8,gb2312,gb18030,gbk,utf-8-sig,cp936,big5等中文编码都试了一遍，还是没有解决错误。用编码ISO-8859-1读取没有

不少地理工作者都会使用arcpy来批量处理一些文件，同时也会使用anaconda做一些科学运算。但当使用arcpy时，只能使用ArcGIS自带的IDE。但ArcGIS自带的IDE使用起来非常不友好。想使用Spyder时，却发现无法导入arcpy。spyder要使用arcpy，要保证spyder的Python环境与arcpy的一致。ArcMap10.1及以上都是使用的Python2....

目录1.情感分析是什么？2.情感分析有什么用？3.情感分析实战-SnowNLPSnowNLP官方参考资料：SnowNLP两个坑：自己用snownlp训练模型：1.情感分析是什么？极性：观点正负性的程度，0-1，0为负，1为正持有者：提取出观点的持有者是谁日常分析中使用频率：极性>观点>持有者程度...

pip安装python库通常用pip install x，x为python库名，默认使用的是国外的下载源，速度比较慢。把pip安装源更换为国内镜像，可提升下载速度，还可提高安装成功率。1.国内镜像：清华：https://pypi.tuna.tsinghua.edu.cn/simple中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/阿...

for 循环就像是一把瑞士军刀，它可以解决很多问题，但是，当你需要扫视代码，快速搞清楚代码所做的事情时，它们可能会让人不知所措。map、filter 和 reduce 这三种技术可以提供描述迭代原因的函数替代方案，以便避免过多的 for 循环。划重点：迭代什么是 Map、Filter 和 Reduce？在写代码时 95% 的时间都花在遍历字符串或数组上。在这种情况下，一般会执行以...

numpy.std() 求标准差的时候默认是除以 n 的，即是有偏的，np.std无偏样本标准差方式为加入参数 ddof = 1；pandas.std() 默认是除以n-1 的，即是无偏的，如果想和numpy.std() 一样有偏，需要加上参数ddof=0 ，即pandas.std(ddof=0) ；...

转载，侵删，感谢原作者利用pandas做分组聚合时，分组组名默认是变化成index，如图grouped = tdf.groupby('uid')mean=grouped.mean();forwardmeandf=pd.DataFrame(mean)代码中tdf是一个dataframe当以uid分组，并求每组的平均值后在转化为dataframe,组名并入到index这...

可以参考这个文档https://blog.youkuaiyun.com/qq_33256688/article/details/77675885，感谢原作者

目前我在网上找到的pandas加速包有两个：modin和swiftermodin 宣称"通过更改一行代码来加速你的pandas工作流"，官方文档https://github.com/modin-project/modinswifter 对apply函数加速，官方文档https://github.com/jmcarpenter2/swifter...

原文链接：https://www.dataquest.io/blog/settingwithcopywarning/原文标题：Understanding SettingwithCopyWarning in pandas原文发布时间：5 JULY 2017（需要注意时效性，文中有一些方法已经弃用，比如ix）作者：Benjamin Pryke译者：Ivy Lee学习 Python 数据分析的同学...

方法1import datetimestarttime = datetime.datetime.now()#long runningendtime = datetime.datetime.now()print (endtime - starttime).seconds方法 2start = time.time()run_fun()end = time.time(...

Python看程序执行时间需要用到time模块，该模块提供了各种时间相关的函数。相关功能还可以参阅datetime和calendar模块。time模块的官方文档https://docs.python.org/zh-cn/3.6/library/time.html#module-time这个模块是用C写的，源码见https://github.com/python/cpython/bl...

1.自己总结的Jupyter notebook与Spyder的区别Spyder是anaconda自带IDE，有“变量资源管理器”，可以很方便的检查变量，不便于管理多个项目的py文件。Jupyter notebook便于管理多个项目的py文件，便于共享，但没有“变量资源管理器”，不方便。2.Jupyter notebook与Spyder集成插件Spyder Notebook插件，gi...

近日在anaconda prompt中pip install xxx后，它提示我要不要更新pip，我就更新了下，结果spyder就打不开了。根据这篇博客https://blog.youkuaiyun.com/dugushangliang/article/details/90510589的方法得知，打不开的原因是Spyder-kernels 版本高于所需版本。解决方法是直接给spyder升级，参考htt...

Anaconda3(64-bit)中的jupyter notebook 保存程序时，程序被保存在了系统盘的用户文件夹中。若修改保存位置，可采用下面的方法：进入cmd 按下”win+r”，并输入cmd，然后按下enter键进入cmd.exe。 找到jupyter notebook保存位置设置文件的位置 输入jupyter notebook --generate-confi...

本文转载自https://blog.youkuaiyun.com/qq_41523096/article/details/82142747，感谢博主，如有侵权，请联系我删除其实时间复杂度就是代码的基本操作执行次数转载的内容写在前面：这篇文章是在公众号： 程序员小灰 中发布的。是我到目前为止所看到的关于时间复杂度介绍的最好的文章，简介 清晰 明了。所以拿来po出来 仅供学习交流，如侵则...

机器学习方法三要素-阿里云大学 参考李航《统计学习方法》1.3章统计学习三要素1. 机器学习方法三要素-模型、策略、算法2. 模型3. 策略3.1 策略衡量指标-损失函数（单个样本）真实值Y 预测值f(x)。如果计算公式中带绝对值，那计算往往会变得复杂。3.2 策略衡量指标-经验风险（整个训练集）3.3 结构风险=经验风险+正则化...

目录1. 机器学习方法流程2.输入与输出空间3. 特征空间（特征、特征向量、特征空间）4. 假设空间1. 机器学习方法流程features属性可以是原始数据的属性，也可以是处理后的属性2.输入与输出空间简单理解，空间对应的就是集合3. 特征空间（特征、特征向量、特征空间）4. 假设空间ps.西瓜书适合有一定基...

1． 公共访问控制符 public ：如果一个类被声明为公共类，表明它可以被所有的其它类所访问和引用。用 public 修饰的类的域称为公共域。如果公共域属于一个公共类，则它可以被所有的其他类所引用。2． 私有访问控制符 private ：用 private 修饰的成员变量 ( 域 ) 只能被该类自身所访问，而不能被任何其它类 ( 包括子类 ) 所引用。3． 保护访问控制符 pro...

阿里云大学人工智能学前小测验-Python测试7.a =“1” b = a*2 输出b的值为A. 1B. 2C. 11D. null我选的答案是D，结果 答案是C，因为python可以通过str * 2重复输出字符串print str * 2 # 输出字符串两次...

阿里云大学人工智能学前小测验-Python测试3.下列关于迭代器说法错误的是A. 迭代是访问集合元素的一种方式B. 迭代器是一个可以记住遍历的位置的对象C. 迭代器对象从集合的第一个元素开始访问，直到所有的元素被访问完结束D. 迭代器可以往前也可以后退参考资料：https://www.cnblogs.com/python-road/p/10504474.html，感谢博主！...

阿里云大学人工智能学前小测验-Python测试4.代码 print(type([1,2])) 输出结果为A. <class 'list'>B. <class 'tuple'>C. <class 'int'>D. <class 'set'>如何知道一个变量的数据类型基本上入门级最开始使用的就是type 函数，如：...

阿里云大学人工智能学前小测验-Python测试5.关于数据类型转换方法，错误的是A. int(x) 将x转换为一个整数B. float(x) 将x转换为一个浮点数C. string(x) 将x转换为字符串D. list(x) 将x转换为一个列表str(x) 而非string(x)数据转换表1 int(x [,base]) 将x转换为整数。如果x是字符串...

Python推导式阿里云大学人工智能学前小测验-Python测试1.推导式comprehensions又称解析式，下列关于Python中的推导不正确的是A. 字符串(string)推导式B. 字典(dict)推导式C. 集合(set)推导式D. 列表(list)推导式参考资料：https://www.cnblogs.com/zknublx/p/9534346.html,...

一、聚类算法和相似度在机器学习中，有两类学习算法，一类是无监督学习，另一类是监督学习。聚类算法是无监督学习算法，一般构建用户兴趣属性画像等可应用聚类算法；而一般的分类算法是有监督学习，基于有标注的历史数据进行算法模型构建 。 聚类的定义可以是这样的：对大量未知标注的数据集，按照数据内部存在的数据特征将数据集划分为多个不同的类别，使得类别内的数据比较相似，类别间的数据相似度较小。重点是计算样...

Python官方有一个转换工具：2to3.py。 无论是python还是Anaconda，2to3.py都在…\Tools\scripts里面。通过cmd或者anaconda prompt将文件路径定位到2to3的文件位置。输入 python 2to3.py --help，可以看到该工具的帮助说明：由帮助说明可以看出转换所需要的参数信息。可以单独转换一个.py文件，

一、anaconda2-keras安装在anaconda2平台下，安装keras库。记录一下，主要是我一开始觉得很简单，pip一下就行了，结果我用pip install keras安装时，就遇到了这样一个问题：ImportError: cannot import name np_utils。解决方案：That tutorial was written on June 9th, 2016.K

阿里云大学人工智能学前小测验-Python测试8.查看当前系统Python版本，下列命令正确的是A. python –vB. python –VC. python –versionD. python –Version答案是B...

阿里云大学人工智能学前小测验-Python测试9.配合try语句一起使用来处理异常的关键字是A. catchB. catch(a)C. exceptD. exception答案是C，D也是用来处理异常的，但不和try一起用参考资料：https://www.cnblogs.com/zhaopanpan/p/8577045.html，感谢博主！1.使用if判断式...

从网上复制的python代码，不修改，往往会报错：SyntaxError: invalid character in identifier报错的原因通常是以下两种：有中文状态下的括号（解决方法：修改为英文格式） 代码的末尾有空格（解决方法：去掉空格）...

python中pandas数据匹配常用merge函数，其实merge函数就类似于excel中的vlookup hlookup lookup，最近excel又出了一个逆天的xlookup函数，默默地推荐一下，嘿嘿转载自：https://www.cnblogs.com/stream886/p/6022049.html，感谢博主一定要看里面的图，很形象使用Pandas进行数据匹配本文转载...

一、空值与缺失值空值：在pandas中的空值是""缺失值：在dataframe中为nan或者naT（缺失时间），在series中为none或者nan二、相关处理函数：df.dropna()df.fillna()df.isnull()df.isna()三、函数解释：1. DataFrame.dropna(axis=0,how='any',thresh=None,...

阿里云大学人工智能学前小测验-Python测验19.以下关于模块说法正确的是A. 一个.py就是一个模块B. 任何一个普通的xx.py文件可以作为模块导入C. 模块文件的扩展名一定是 .pyD. 运行时会从指定的目录搜索导入的模块，如果没有，会报错异常参考资料：https://www.runoob.com/python/python-modules.html在下面...

阿里云大学人工智能学前小测验-Python测验关于参数*argv 和 **kw的说法正确的是A. 两个参数必须为函数定义中参数列表中的排名最后的参数B. *argv 代表该参数位置可以放任意个数的数据C. **kw 代表该参数位置可以放 k=v 格式的数据D. *argv最终会转换成列表数据类型在函数体内处理参考资料：https://blog.youkuaiyun.com/wei...

阿里云大学人工智能学前小测验-python测验5.Python编程关于面向对象说法正确的是A. Python是多继承语言B. Python3中的继承都为新式类C. Python语言支持多态D. Python语言是动态类型编程7.下列不是面向对象中的特殊成员的是A. __string__B. __new__C. __init__D. __class__...

阿里云大学人工智能学前小测验-Python测试10.Python权限修饰正确的是A. 标识符开头无下划线，该变量或方法为公有权限B. 标识符开头双下划线，该变量或方法为私有权限C. 标识符开头单下划线，该变量或方法为保护权限D. 以上都正确参考博文：https://www.cnblogs.com/yanyichao/p/4319348.html，感谢博主关于python...

1、Python中安装mysql驱动1.1、Python下安装mysql驱动：pip installmysql-connector-python --allow-external mysql-connector-python如果上面的命令安装失败，可以试试另一个驱动：pip installmysql-connector1.2、anaconda下安装mysql驱动：conda