shenshaoming的博客

def generate_sql(table_name, ignore_col_set): """ 根据数据库中的列名生成字典格式的sql语句 :param table_name 待生成sql的表名 :param ignore_col_set 要忽略的列名集合 :return: 生成的sql语句 """ sql = "show columns from %s" % table_name # 我写的get_conn是获取一个全局的数据库连接对象

前言    项目中的数据有分库分表，用到的是Java实现的一致性Hash算法。而我抓数据使用的是python，在Java中用到了Java中自带的hashCode方法，所以两边算出来的分库和分表结果可能会不同。所以，只好用python调用Java了，但是我只需要用到一个类的一个静态方法罢了，引入了框架调用什么的太麻烦。就像之前我用python中的os包的system方法直接调用jar包运行一样。    总体思路还是通过pyth

前言最近在我的Python爬虫中总是会遇到json.loads()方法报错,把抓取到的原文摘出来一看，里面带有转义的 " 和 '，也就是 \"和\'。一开始遇到这个问题就疯狂上网搜索,结果找不到能解决我问题的答案，所以就想着按照Json解析的算法做一个自己的Json解析算法。不过,这似乎十分麻烦，懒惰的我于是就做了个替换算法。对于...

前言为了避免时间逻辑上的不统一,需要将python和Java的时间戳统一。Java自带的本身就是Long,所以就在python上下功夫.但是python的time库中的time.time()的值是double.在网上搜了一下,说 round(time.time() * 1000) 就可以,将信将疑的测试了一下.java:class TimeTest{ public stat...

前言好久不更了,工作太忙- -入职不到两三个月,编程语言从Java跳C/C++,后来又需要爬虫,又去学了python,最近几日还在学vue...怎么说呢,往好听了说叫博学多识，往坏了说广而不专- -。 接下来我就对最近的爬虫工作做一个总结。我要爬取的网站不方便贴出来,不过这是个老网站了,没有什么验证码那一类的反爬措施。要说麻烦在哪了的话，那就是小日本的编程逻辑了吧...请求参数命名随心所欲...

import platformdef get_system_Platform(): print ('system and bit'.center(40,'-')) print(plat...

Python 是一种代表简单思想的语言，其语法相对简单，很容易上手。不过，如果就此小视 Python 语法的精妙和深邃，那就大错特错了。本文精心筛选了最能展现 Python 语法之精妙的十个知识点，并附上详细的实例代码。如能在实战中融会贯通、灵活使用...

    在大多数编排得好一点的脚本或者程序里面都有这段if __name__ == 'main': ，虽然一直知道他的作用，但是一直比较模糊，收集资料详细理解之后与大家分享。   1、这段代码的功能   一...