- 博客(12)
- 收藏
- 关注
RSS订阅原创 springboot通用Mapper使用selectByPrimaryKey时动态SQL语句不匹配
数据库字段定义类使用结果给的SQL语句并不是通过主键查询查了原因之后，有一种解释是通用Mapper的这个方法不能识别int类型，用Integer或Long类型不会发生这个问题。
2020-07-03 15:02:02
632
1
原创 记个教训...
当初想着自己这个服务器弄着也不会存什么麻烦资料，安全什么的也没考虑太多，没想到还真有中招的一天...中招了才知道有些东西遗失了真的很麻烦...快照的备份日期还停留在半年前...就当记个教训吧......
2020-02-28 10:30:21
225
原创 Django+mysql 实现简单的小说书库页面
很久以前就想着试着用爬虫是模拟一下db小说网站...结果对网页这块又没什么头绪...接触了Django似乎可以去尝试一下了...先找个小说网页模板，自行删改，保留一组显示小说信息的部分，对书名作者等进行参数设置...<div class="store_collist"> {% for info in book_list %} <div ...
2019-08-29 16:05:43
805
转载 Spark RDD常见的转化操作和行动操作
Spark RDD常见的转化操作和行动操作IDEA 创建scala spark的Mvn项目：https://blog.youkuaiyun.com/u014646662/article/details/84618032spark快速大数据分析.pdf下载：https://download.youkuaiyun.com/downl...
2019-08-22 14:49:11
610
原创 批量往数据库添加数据
Connection conn = getCon(); //获取连接已经封装过的方法 try { conn.setAutoCommit(false); Long beginTime = System.currentTimeMillis(); ...
2019-08-20 21:22:07
2245
原创 使用Elasticsearch实现一个简单的小说网站搜索功能
数据源：Mysql中存放的网络爬取的小说信息。选取其中的 id，名字，作者，介绍 字段存到es中。从mysql中其取出数据，转成 字典（json）形式，再使用 es 的 bulk批量提交。bulk 分 Elasticsearch.bulk 和 from elasticsearch.helpers import bulk，参数有点差异后者的返回结果为提交结果 成功数，失败数/错误列...
2019-08-18 18:49:16
2596
2
原创 redis bitmap 活跃用户记录
采用redis的优点也不用多说 计算方便 省时高效 节约空间采用的java实现用 bitmap 记录每一天的用户活跃情况（上线记为1，默认为0 )setbit(String key, long offset, boolean value)key 为键 ，offset为偏移量 ，我将其与用户id向对应，value=true 记为上线过key的表现形式根据实际情况 如果要记录每一天...
2019-08-02 11:18:07
312
原创 python字符串带运算符拼接报错
拼接字符串 sql="a"+"b > c"TypeError: bad operand type for unary +: 'str'解决方法sql=("a"+"b > c")...记一下踩到的少见的坑...
2019-07-27 21:13:05
881
原创 python requests与aiohttp的小对比
最近试着爬小说...突然发现用requests效率不尽人意，查阅了一番，发现了还有aiohttp的存在，不过需要3.5.3以上的版本才能装...看了下写的demo，10+MB的小说爬取内容仅需大约30s。在本地试了下代码...发现那个网站已经没了...自己试了下效率的确比差很多，但是远不及那个demo中30s爬取百万字数...大致代码如下...也不是很熟悉，可能有点问题- -# -*...
2019-04-21 19:52:11
4148
1
转载 【转】爬虫的几种方法的效率比较
该文非原创文字，文字转载至jclian91 链接：https://www.cnblogs.com/jclian91/p/9799697.html问题的由来 前几天，在微信公众号（Python爬虫及算法）上有个人问了笔者一个问题，如何利用爬虫来实现如下的需求，需要爬取的网页如下（网址为：https://www.wikidata.org/w/index.php?title=Specia...
2019-04-21 18:48:01
2169
转载 python requests 基础资料
python requests 基础资料import requestsresponse = requests.get('http://www.baidu.com')response.encoding='utf-8'print('状态码：',response.status_code) # 打印状态码print('url:', response.url) # 打印请求u...
2019-03-09 14:25:36
522
原创 简单的验证码
import java.util.Random;import java.util.Scanner;public class YZM { public static void main(String[] args) { Random r=new Random(); Scanner sc=new Scanner(System.in); String str=""; int fl...
2018-07-12 14:03:47
287
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人