- 博客(251)
- 资源 (15)
- 收藏
- 关注
RSS订阅
原创 【个人随笔】这个博客停更了哦
这个博客已经使用6年了，现在声明停更了哈，因为最早的文章写的太乱了，懒得整理了，虽然已经积累了72万访问和5000的排名，但是都是浮云，去别的地方玩儿咯，什么地方就不透露了，大家byebye，如果有探讨技术的欢迎加我Q哦，602099303。...
2020-06-09 12:42:15
638
1
原创 【Mysql】常用SQL语句（查阅）
创建表 create_table_sql = """\ CREATE TABLE if not exists """+table_name+""" ( id INT AUTO_INCREMENT PRIMARY KEY, tid INT(10), pid INT(10), keyword VARCHAR(500), videosource ...
2019-02-20 16:04:59
286
原创 【Linux】Linux常用命令（查阅）
top显示当前系统的cpu、内存以及进程的详细信息。在top命令下按：c： 切换显示命令和显示完整命令m： 以内存使用率对进程排序P（大写）： 根据CPU使用百分比大小进行排序free显示物理内存、swap（交互内存）、缓存的使用情况。# 分别以b、kb、mg、gb为单位显示内存使用情况free -b （-k、-m、-g）kill# 按进程名杀掉某进程 kill -9 ...
2019-02-20 15:51:40
260
原创 【个人随笔】抓住IT行业学习的不变量
对于程序员来说这一点尤其重要，程序员行业的知识芜杂海量，而且总是在增长变化。很多人感叹跟不上新技术。应对这个问题的办法只能是：抓住不变量。 底层知识永远都不过时。算法数据结构永远都不过时。基本的程序设计理论永远都不过时。良好的编码习惯永远都不过时。分析问题和解决问题的能力永远都不过时。强大的学习能力和旺盛的求知欲永远都不过时。你大脑的思维方式永远都不过时。 1.请把注意力放在真正
2020-06-06 08:27:43
1253
原创 【Tools】一文详解Pycharm
pycharm介绍pycharm是一款由JetBrains公司开发的python IDE，我们熟悉的JAVA 开发工具IDEA、web开发工具webstrom等都出自于这个公司，pycharm是目前比较流行的python IDE。我个人的话因为之前一直在用java开发，所以在换到python后还是在用Eclipse + pydev进行python开发的，最近想试试这款流行的IDE，顺便也体验体验...
2020-06-06 00:07:11
827
原创 【大数据】一个传播力分析的实例总结
文章：https://mp.weixin.qq.com/s/PymsXArGZYvD23d-7aEvQg抖音平台：哪吒相关话题的播放量尾部KOL哪吒电影的二次创作的关键词哪吒各种叫法哪吒特效影片效果备受好评敖丙备受关注，“藕丙”组合好评如潮文中的kol是指粉丝数大于8000的用户统计结果：1、票房走势与票房占比走势2、上映后抖音相关视频发布数量走势 （KOL)3、尾部...
2020-06-05 23:52:01
769
原创 【大数据】基于海马大数据的传播力分析调研
调研范围http://www.haimacloud.com/report/reportList海马云大数据：《哪吒之魔童降世》抖音热点传播报告海马云大数据：汽车品牌抖音KOL营销全景分析海马云大数据：抖音垃圾分类热点传播报告海马云大数据：宠物品牌电商销售数据分析报告海马云大数据：美妆品牌抖音KOL营销全景分析海马云大数据：二手车电商行业报告调研内容传播力分析的要素：1、事...
2020-06-05 23:50:45
444
原创 【Python】json模块解析带单引号的json字符串
问题python解析json时，可以用json.loads(str)来处理，但是如果json的key或者value是单引号包围，则json.loads就会报错，解决方法如下方法一将单引号替换为双引号s = "'key':'value'"s = s.replace('\'','\"')js = json.loads(json.dumps(eval(s)))方法二js = json....
2019-08-16 17:41:30
7621
原创 【Mysql】Mysql基础知识与应用
开启远程访问权限grant all privileges on *.* to root@"%" identified by "Zkst@019" ;flush privileges ;
2019-07-05 15:15:48
199
原创 【爬虫】一文详解Scrapy
Microsoft Visual C++ 14.0 is required问题：在pip install scrapy时出现错误：Microsoft Visual C++ 14.0 is required.解决办法：进入网站https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted，根据pyhon版本和位数下载whl文件，然后放到An...
2019-07-05 13:51:23
282
原创 【Python】引用固定路径的模块
general_settings 在当前程序的上级目录中sys.path.append('../')from general_settings import *sys.path.append中的参数可以是相对路径也可以是绝对路径
2019-07-02 16:06:38
942
原创 【爬虫】scrapy加入多种防爬策略
随机UA1、安装scrapy-fake-useragent模块pip install scrapy-fake-useragent2、修改scrapy项目的settings.py文件DOWNLOADER_MIDDLEWARES = {# 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware':None , # 注释掉默认...
2019-07-02 15:15:43
431
原创 【mysql】pymysql.err.InterfaceError Interface Error: (0, '')
八成是丢失连接了while 1: try: self.conn.ping(reconnect=True) self.cur.execute(sql,tuple(item.values())) self.conn.commit() break except Exception as e: print(...
2019-07-01 18:54:42
2516
原创 【linux】linux下杀死进程的N种方法（转）
https://www.cnblogs.com/skyofbitbit/p/3681389.html
2019-06-27 23:42:34
448
原创 【爬虫】Selenium + xvfb + chrome 实现无头抓取
问题背景使用 Selenium 时有如下两种情况：（1）无界面的linux环境下（2）想用Selenium做自动化测试或爬虫，但又不想打开浏览器，以免拖慢速度所以我们需要一种不用打开浏览器的使用 Selenium 的方法，之前多数用的是PhantomJS + Selenium的方法，但是我使用 PhantomJS + Selenium 时报错：Selenium support for ...
2019-06-26 15:10:10
3350
原创 【Python】Ubuntu16.04安装Anaconda3
环境wget https://repo.anaconda.com/archive/Anaconda3-2019.03-Linux-x86_64.shbash Anaconda3-2019.03-Linux-x86_64.shsudo vim ~/.bashrcexport PATH="/home/xupp/anaconda3/bin:$PATH"source ~/.bash...
2019-06-25 17:50:14
473
原创 【Mysql】ubuntu18.04安装mysql8.0（dpkg方式）
环境ubuntu18.04mysql8.0步骤0、清除已有的mysqla. sudo apt-get autoremove --purge mysql-server-5.0b. sudo apt-get remove mysql-serverc. sudo apt-get autoremove mysql-serverd. sudo apt-get remove mysql-com...
2019-06-24 17:25:38
2411
原创 【Tools】Sublime3配置Python3
环境sublime3Miniconda3步骤1、sublime3 -> Tools -> Build System -> New Build System2、在弹出的文本页面中粘贴如下代码：{ "cmd": ["C:/work/Miniconda3/python.exe","-u","$file"], "file_regex": "^[ ]*File ...
2019-06-23 14:48:29
2099
原创 【tools】解决sublime3无法安装package control的问题
问题由于被墙的原因，sublime3在tools->Install Package Control会报错：an error occurred installing package control从网上收集了如下几种解决办法方案1：修改host1、打开C:\Windows\system32\drivers\etc\hosts文件2、增加两行：50.116.34.243 sub...
2019-06-23 12:28:27
955
原创 【Linux】ubuntu中selenium网页截图中文变方框
问题：最近在ubuntu中通过selenium+pyvirtualdisplay实现不打开浏览器网页截图时，发现截到的中文页面会变为方框，这是因为在该ubuntu系统中缺少支持的中文字体，这种情况下即使带界面的ubuntu系统也是无法正常显示中文的。解决方案1、下载任意一款中文字体（ttf格式的字体），我选择的是simsun.ttc ，也就是宋体2、将该字体文件放入/usr/share/f...
2019-06-22 13:05:37
1629
1
原创 【python】pip使用镜像源解决安装包太旧问题
问题今天在一台服务器上用pip install 的方式下载一个包，下载的是旧版本的无法使用，pip upgrade也无济于事，最后通过在pip命令中加入别的源搞定了，即使用命令:pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pyspider也就是pip install -i 源地址 包名的方式，顺便写几个国内的源镜像地...
2019-06-08 18:01:06
2055
原创 【Python】动态sql 生成技巧
背景在python利用pymysql执行sql语句时，由于没用的orm模型，只能手写sql，这么做有亮点不方便：1、参数个数变化时，sql语句就要有很大的调整，很不方便。2、在爬虫中，我们插入的往往是一个对象，把对象解析出来再拼接sql语句很麻烦。今天我们来学习一种动态sql的写法，也可以说是通用型sql的写法，当然这个写法是我在看崔庆才大神的博客中学到的，参考链接：https:/...
2019-05-24 16:00:26
4394
1
原创 【NLP】pyhanlp的安装与使用
介绍pyhanlpHanLP是由一系列模型与算法组成的Java工具包，目标是普及自然语言处理在生产环境中的应用。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。HanLP有如下功能：中文分词词性标注命名实体识别依存句法分析关键词提取新词发现短语提取自动摘要文本分类拼音简繁安装pyhanlppip install pyhanlp安装后在第一次使...
2019-05-08 17:47:35
20369
9
原创 【flask】一、python3虚拟环境virtualenv的安装与使用
python虚拟环境的必要性python的虚拟环境是python全局解释器的一个私有副本，我们建议为每个python应用创建单独的虚拟环境，这样可以在应用下的虚拟环境安装该应用所需要的包，而不影响其他应用，避免了包混乱和包版本的冲突，而且迁移应用时导出requirement.txt文件，也方便包信息的迁移。安装与开发环境系统：window7python版本：anaconda3.7IDE:...
2019-04-01 16:37:29
689
1
原创 【zookeeper】zookeeper集群的搭建
搭建环境ubuntu14：192.168.1.48、192.168.1.49、192.168.1.50jdk1.8zookeeper-3.4.11.tarzookeeper集群搭建1、介绍Zookeeper是Hadoop的一个子项目，它是分布式系统中的协调系统，可提供的服务主要有：配置服务、名字服务、分布式同步、组服务等。它有如下的一些特点：简单：Zookeep...
2019-03-27 12:14:21
298
原创 【redis】redis启动的警告
问题与解决在启动redis时遇到了一些warning，这些warning在一段时间后确实也导致了redis崩掉，这些warnning分别是：1、WARNING: The TCP backlog setting of 511 cannot be enforced because /proc/sys/net/core/somaxconn is set to the lower value of 1...
2019-03-19 16:43:05
503
原创 【python】使用xlwt、xlrd、xlutils、openpyxl操作excel
模块介绍xlwt、xlrd、xlutils可以完成读excel的读、写和修改操作，只需要通过pip安装相应的模块即可。使用xlrd模块读excel使用例子import xlrd# 常规读取filename = "test.xls" #文件路径wb = xlrd.open_workbook(filename) # 加载这个xls文件sh = wb.s...
2019-02-22 14:29:19
952
原创 【python】使用paramiko操作linux
paramiko介绍paramiko是一个基于python编写的、使用ssh协议的模块，跟xshell和xftp功能类似，支持加密与认证，可以上传下载和访问服务器的文件。可以利用paramiko模块写服务器脚本，在本地执行，比如持续更新代码，查看日志，批量配置集群等。paramiko 主要包含SSHClient和SFTPClient两个组件：SSHClientssh服务会话的表示，通常用...
2019-02-22 12:19:19
867
原创 【爬虫】常用爬虫代码（供查询）
beautifulsoup解析页面from bs4 import BeautifulSoupsoup = BeautifulSoup(htmltxt, "lxml")# 三种装载器soup = BeautifulSoup("<a></p>", "html.parser")### 只有起始标签的会自动补全
2019-02-21 16:41:59
2255
原创 【redis】redis客户端命令与redis配置解析
一、redis客户端命令大全进入redis客户端cd /redis-5.0.3/src./redis-cli -h 120.133.0.11、info命令，查看redis各项信息，其中包括server、clients、memory、persistence、stats、replication、cpu、cluster、keyspace等；info加信息项可查看对应的信息，比如 info m...
2019-02-19 16:44:33
344
原创 【redis】redis安装、配置与启动
redis安装与配置一、环境二、安装步骤一、环境操作系统：ubuntu18.04.1 LTSredis版本：redis 5.0.3二、安装步骤1、下载redis的tar.gz格式的安装包，可以使用命令：wget http://download.redis.io/releases/redis-5.0.3.tar.gz或在官网https://redis.io/download下载。2...
2019-02-18 17:39:01
200
原创 【Elasticsearch】elasticsearch6.3.2的head插件安装与使用
1、环境ubuntu14.04elasticsearch6.3.2nodejs8.11.3elasticsearch-head-master.zip2、下载elasticsearch-head-master.zip从https://github.com/mobz/elasticsearch-head下载zip文件，解压，并放入ubuntu的/usr/server/文件夹中...
2018-08-07 10:42:39
2079
原创 【Elasticsearch】Elasticsearch6.3.2集群安装
环境ubuntu14.04JDK8elasticsearch6.3.2安装、配置、启动1、官网下载tar.gz安装包https://www.elastic.co/downloads/elasticsearch2、解压tar -zxvf es_6.3.2 /usr/server3、修改配置文件cd /es_6.3.2/configvim ela...
2018-08-06 12:13:26
1831
原创 【Python】Linux 访问 Windows 之 pywinrm
序windows往往通过ssh协议访问linux服务器，我们可以通过xshell、以及python编程与linux服务器交互；在我们的实际生产环境中，服务器的系统有windows也有linux，所以难免会有局域网内两个系统互相访问，执行不同机器不同系统上的脚本，今天我们就来介绍如何使用python语言，在linux服务器上访问windows服务器的脚本。winrm服务windo...
2018-07-23 10:51:15
5579
原创 【Python】使用paramiko访问Linux
摘要paramiko模块安装paramiko使用paramiko执行linux命令访问linux上的文件上传与下载linux上的文件官方API摘要介绍paramiko模块安装paramiko使用paramikoparamiko模块paramiko是一个基于python编写的、使用ssh协议的模块，跟xshell和xftp功能类似，支持加...
2018-07-13 18:59:47
1261
原创 【Redis】ubuntu14搭建redis4.0集群
摘要ubuntu单机安装与配置redis4.0环境准备工作安装与配置redisubuntu14安装与配置redis4.0集群环境安装与配置redis集群ubuntu安装与配置redis4.0集群踩坑历程参考链接摘要redis4.0单机的安装与配置redis4.0集群的安装与配置redis4.0集群安装配置踩坑全纪录 ubun...
2018-07-13 16:22:29
713
原创 【Python】python操作Excel的多种方法
摘要：利用xlrd读取excel通用demo再拓展一点：注意date类型利用xlwt写excel通用demo更多功能更炫酷一点利用xlutils修改exceldemo摘要：利用xlrd读取excel利用xlwt写excel利用xlutils修改excel利用xlrd读取excel先需要在命令行中pip inst...
2018-07-10 15:33:26
569
原创 【Python】python内置函数locals
摘要本文我们介绍神奇的locals函数，包括动态创建变量和动态访问变量，以及一个应用场景。相同属性不相邻问题需求：有两个list，分别为list1和list2。list1中有n个对象，每个对象有5个属性，其中一个属性是tid，要求list1按tid排序，相邻的对象的tid不能重复，m为不重复的tid数量，m不确定。list2存放的是所有可能出现的tid的情况。list1 =...
2018-07-10 15:26:40
5243
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人