A_pinkpig的博客

UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xbd in position 0: invalid start byte我遇到该错误的地方有两处：使用open函数后read数据f = open('D:/test.csv','r',encoding='utf8')f.readlines()使用pandas read_csv...

一、疑难杂症  最近使用pandas计算时，总是感觉dataframe占用内存过大，内存不足，导致计算时间被拉长。于是，趁着周末一探究竟。二、探寻原因  首先，pandas底层数据存储与计算是基于numpy的。通过查找资料我们发现，pandas的主要类型主要是下表的第一列。这几类是pandas的数据大类，后面的 Numpy type是其包含的小雷。在我们利用pandas读取数据时，尤其是数值...

一、疑难杂症def test_scopt(): print (x) #x是test_scopt()的局部变量，但是在打印时并没有绑定内存对象。 x = 30 #因为这里，所以x就变为了局部变量test_scopt()x = 40def test_scopt(): print(x) x = 30test_scopt()上面这两种情况都会报错：Unbou...

一、疑难杂症  最近项目中遇到一个难题，优化一个项目的计算时间。最初，建立项目时用户少，中间使用了for循环，还是嵌套的，共两层，项目整体耗时1-2个小时。最近，随着用户量增长，项目耗时达到6-7个小时。显然是不能接受的。for t, w in user_tags: for it, w in tag_items[t]: ...some计算...  透...

一、疑难杂症写工具代码时遇到的问题，简化一下如上图片所示。根据a1剔除a2内的元素，结果输出了一个没剔除干净的a2。顿时陷入迷茫。于是，决定一探究竟。二、探寻原因 此前一直以为，执行for循环时，会把所有元素一次性放入循环体，后续不再动态的每一次都访问可迭代对象。 首先，我们来解析一下for循环的执行过程。执行for循环时，主要有一下三个步骤： 1）调用内置函数iter（）函数...