计算机动物的博客

记录一次数据清洗--（准备工作）背景：我所在的部门是公司的大数据组，这次的数据清洗只记录清洗过程，遇到的值得记录的问题（小问题忽略）。本人将严格保密公司商业信息！数据库的所有字段都是自己随意命名替代的，数据的任何相关信息都不会透露!1、开启binlog防止误操作无法撤回、及时备份原表或某一时间段正确清洗过的表修改MySQL安装目录里的my.inf文件，这个去网上搜大把有，无非就是添加几行信息，lo...

这个简单，下班前水的，不说了放代码吧class Solution(object): def compareVersion(self, version1, version2): """ :type version1: str :type version2: str :rtype: int """ ...

这就是图的深度优先搜索，这里我把游戏里的方块图转化为0,1二维列表输入，0表示那个位置没有方块，1表示有。输入：0-1图，起始点在二维列表中的位置输出：标记了滑动顺序的二维列表，按照数字递增滑动即可思路：先把0-1图转化为字典存储的图结构，key是这个点在二维列表的位置整数化（i*10+j），value是一个列表，包括该点上下左右存在方块的位置[ [ i1, j1 ], [i2, ...

#!/usr/bin/python# -*- coding: utf-8 -*-# 链表的话就有data存放数据，next指向下一个dataclass Node(object): # 节点类 def __init__(self, data): self.data = data self.pnext = None def __repr__...

#!/usr/bin/python# -*- coding: utf-8 -*-# 自己手动实现一个range和xrange# print range(10) #[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]# print xrange(10) #xrange(10)def range(start, end, step=1): num = [] whil...

这里实现一个多线程编程的小例子，这个小例子是请求20000个url并且返回状态码，状态码200的把对应的url存入数据库Python的多线程的使用还是很简单的，先申请一个多线程对象，然后逐个start()开启就好了（我这个是最简单的想法）每个线程要做的工作可以写到函数里，传递给每个线程，就称它为工作函数好了。先来看工作函数：#coding=utf-8import threadi...

python 的文件可不能随意命名啊，一定要和包名避开，这个提醒就是说你的包名和文件名重复了

起因     因为平时很喜欢看新闻，而且关注的媒体大概有国内外六个左右（“兼听则明”吗，哈哈哈）。这就导致我每天都要通过APP、网页去获取新闻有些浪费时间，来回切换还很费事。。。所以就产生搭建一个自己的新闻网站的想法，写一个普通的新闻网站也没什么意思，所以决定搞一个推荐式的。项目的总体思路首先你需要有这些新闻数据，而且每天都会更新。你可以用一个简单的request或者urllib去获取数据，不过那...

咋跟写日记一样呢？先啰嗦两句我一直觉得“懒惰”对于进步有很正面的影响。当然了，这里的“懒惰”是指能用脑子解决的坚决不动手！因为动手累啊。。。对于学计算机的人来说应该再加上一条：能用计算机解决的就别用脑子，因为人脑会疲劳会出错。（逼先装到这）起因其实这个事是这样的，我们大数据组有几个同学负责在网上抓数据，我也不知道抓了多久，那个spider就写了好几千个（目测两千）我擦这任务量，随说框架搭好了写sp...

安装步骤折腾好久，主要是网上教程太散了有的地方还没说全版本jdk 1.8scala 2.10.7spark 1.6.0（依赖hadoop 2.6）hadoop 2.6.5spark 1.6还是比较稳定好用的，下载链接自己找放一下hadoop相关的链接吧链接: https://pan.baidu.com/s/1IU0GDJtvo70rwm7srRmr9A 提取码: 9c68 这是不...