- 博客(118)
- 资源 (15)
- 收藏
- 关注
RSS订阅原创 oracle的EBS并发请求生成并找存储过程
使用请求号查询生成的trace文件路径，生成的文件在数据库服务器上，需要用数据库服务器账号登录；找到请求编号 12560569。日志和返回数据进行整理。中返回的就是存储过程。
2022-10-17 14:49:06
707
原创 smartbi 进行mongodb数据源的安装
Mongodb数据库连接Smartbi产品的接口包，位于samrtbi.war\WEB-INF\dbdriven\目录下面，需要将smartbi-Mongodb.jar复制到mongodb驱动目录下。smartbi是一个bi的展示平台，对mysql和关系数据库展现还是挺好的，但因特殊要求需要安装mongodb发现了好多的坑，在则合理分享下。最后我还是将数据进行简单的展现，将进行分析的，还是放到了mysql数据库中。它只能使用原生sql，发现只能用原生，我说的是非常原生。安装的发现需要3个文件，...
2022-08-31 11:56:39
491
2
原创 查看当前外网IP
满足了一下自己的搜集癖，搜集了不少可以用来查询外网IP的网址和方法。#更多用法访问ifconfig.co。#国内某网站的接口，只返回IP。#需要翻墙，只返回IP。#有人给了以下测试方法。
2022-08-23 11:14:51
530
原创 SQL Server查询某个字段在哪些表中存在
到此这篇关于SQL Server查询某个字段在哪些表中存在的文章就介绍到这了。希望对大家的学习有所帮助，也希望大家多多支持脚本之家。name列表示所有的字段名称。name列表示所有的表名。
2022-08-16 10:59:56
3116
原创 sql server 查询所有表所有字段中包含某个字符
print ''所在的表及字段: ['+b.name+'].['+a.name+']'''set @str='999999' --要搜索的字符串。
2022-08-16 10:03:52
4510
原创 scrapy的使用
进入到scrapyshell的终端直接在window的终端中输入scrapyshell域名。#解决2运行python-mpipinstall--upgradepip。#（3）报错2提示python-mpipinstall--upgradepip。cd项目的名字\项目的名字\spiders。1.创建爬虫的项目scrapystartproject项目的名字。cd项目的名字\项目的名字\spiders。...
2022-07-28 18:09:15
305
原创 vmware 虚拟机 导入数据反应为Device/Credential Guard 不兼容
首先我怀疑是版本兼容问题，因为官网给我的是10.X，于是查了官网，首先建议关闭Hyper-V，按照步骤全部关掉，但是还是不好使，于是呢，进行第二部，之后上淘宝上买了个注册码，发现给的是14和15.5.0，这个就是让人无语了，于是又咬了牙买了16.的，结局还是很不错的，可以正常使用，这个也是没谁了。我想，其实也不错，毕竟干开发的，虚拟机都搭不上了，这就丢人了，于是就搭着试一试，（当然有需要资源的可以私聊，毕竟这玩意就是玩的）系统升级到21H2发现vm15.5.1启动的时候报错。言归正传因为本地系统。...
2022-07-27 10:54:15
363
原创 hadoop本地模式运行报错解决(Exception in thread main ExitCodeException exitCode=-1073741701)
如标题Error writing stream metadata StreamMetadata(1b80132f-e576-4cbc-be60-e48a1e3fa96b) to file:/C:/Users/admin/AppData/Local/Temp/temporary-8687c9c8-5662-49ae-af09-edf8e828c18b/metadataExitCodeException exitCode=-1073741701: Error writing stream metad
2022-05-19 18:00:46
1699
原创 python 3 关于json转化为xls的通用方法
有很多情况，尤其是爬虫方向经常会有些小任务，获取某某数据，但是也是临时的，去一个一个字段的解析，有很费解，当然有些网站提供些数据，但是让人很无语，收费现在提供通用json 转成excel表格的方法# -*- coding: utf-8 -*-"""品牌排行榜Create by scz on 2022-01-07."""import jsonimport tablibimport requestsfrom utils import get_loggerfrom storage
2022-01-07 18:02:45
1106
原创 Python3知识点：global关键字
# -*- coding: utf-8 -*-"""Create by scz on 2022-01-07."""num = 1datas = []datas1 = []def fun(): num = 123 print(num) datas.append(num) datas1 = [num]fun()print(num)print(datas)print(datas1)此时没有使用global关键字，无法对全局变量num进行...
2022-01-07 17:48:01
682
原创 mitmproxy 使用mitmdump 过滤请求
mitmproxy 抓包工具，优点可以使用python进行二次开发，或者进行接口的mock官网地址：mitmproxy - an interactive HTTPS proxy打算用这个最初的需求是，想对app做接口测试，但是app的接口有200多个，这么多接口，如果人工的的抓包或者获取，很浪费人力，那能不能自动的抓取到所有的请求呢？答案是可以，使用mitmdump -s xx.py 可以过滤我们想要的数据，比如存到数据库之类的from mitmproxy import ctx#
2022-01-07 11:34:29
2056
原创 MySQL获取每个分类下面的前20条数据
现在项目遇到个问题，我相册图片里面有很多分类，我想取出每个分类下面的前三条数据，应该怎么做呢？ 数据结构如下：DROP TABLE IF EXISTS `t_picture`;CREATE TABLE `t_picture` ( `id` int(11) unsigned NOT NULL AUTO_INCREMENT COMMENT '主键Id号', `admin_id` int(11) NOT NULL DEFAULT '0' COMMENT '操作员id', `member_id`
2021-12-10 17:57:43
2750
原创 百度指数 爬虫 其实主要是破解
百度指数改版之后的数据获取逻辑改版前百度指数在改版之前它的获取逻辑可以说是非常复杂。。。算是比较经典的了。。。看过很多人的文章，人们有用图片截取然后识别，有的是用 比例计算。。。都算是可用的方法，一个偶然的机会，在github上面找到一个百度指数的爬虫项目，方法算是比较新颖，给了我一点启发，selenium还可以这样用，真的是学到了，附上链接，有兴趣的小伙伴可以去研究一下 https://github.com/longxiaofei/spider-BaiduIndex主要是图片处理，但是在获取图片解
2021-11-15 16:33:08
976
原创 java的简单获取url
现在获取数据大多都是python，但是java页可以package test;import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import org.jsoup.nodes.Element;import org.jsoup.select.Elements;import java.io.IOException;import java.util.ArrayList;import java.util.List;/** * @
2021-09-18 10:42:35
1164
原创 python 3.* 简单的代码获取
# 把一个网页中所有的链接地址提取出来。运行环境Python3.*-实现代码：import urllib.requestimport re#1. 确定好要爬取的入口链接url = "http://blog.youkuaiyun.com"# 2.根据需求构建好链接提取的正则表达式pattern1 = '<.*?(href=".*?").*?'#3.模拟成浏览器并爬取对应的网页 谷歌浏览器headers = {'User-Agent', 'Mozilla/5.0 (Windows NT 6..
2021-09-18 10:41:14
139
原创 关于小花生书有会的解密过程
通过app进行获取时发现返回的不是单纯的json如m和c 可以确认是获取的对应的数据码，但是j 就是通过某些编码，通过脱壳发现还是json对称加密发现是先通过64位加密，之后是gzip加密上代码import osimport jsonimport codecsimport base64import gzipimport copyimport timeimport re# import datetimefrom datetime import datetime, .
2021-09-13 16:54:32
2122
原创 关于 小红书 x-sign 的数据的破解
该文章主要提供交流学习使用，请勿利用其进行不当行为！如本篇文章侵犯了贵公司的隐私，请联系我立刻删除！由于最近比较忙，暂时没有更新，这段时间会及时更新的在获取 小红书x-sign 时候发现数据为必须添加x-sign，authorization和User-Agentx-sign 为 加密方式authorization 为账户信息，一般一个账户数据都是一个，ua 不解释发现数据urlhttps://www.xiaohongshu.com/fe_api/burdock/we...
2021-06-29 15:28:13
4191
4
原创 selenium.common.exceptions.WebDriverException: Message: invalid argument: missing ‘name‘添加cookie
使用selenium在添加cookie提示错误：Traceback(mostrecentcalllast):File"I:/Dropbox/python/spider/zhihu/post.py",line37,in<module>z.loadCookie()File"I:/Dropbox/python/spider/zhihu/post.py",line31,inloadCookieself.browser.add_cookie...
2021-03-30 20:50:38
6072
转载 滑动验证码的破解（python+opencv+selenium）
这个周末突然接到电话，要监听一个网页内容，如果网页发生了变化，需要邮件通知。第一感觉这个事应该挺简单的啊，用爬虫把页面读取下来，如果和上次爬取的内容不一样，不就说明发生了变化了嘛。这个时候我把改网页打开，突然发现，what，竟然是要登录后才能跳转到想要的网页，心想这个也没有什么吗，大不了我把账号，密码填进去不就ok了么，当我把账号密码填进去，又TM出幺蛾子了，竟然出现了如下的滑动验证码。这个时候，我心里一万个羊驼奔驰而过，就一个网页监听，至于这么事么，为了完成领导的安排，我还是踏实的的解决吧。记得以前看
2021-03-18 10:33:55
1003
原创 ElasticSearch在linux上安装部署
一.安装准备工作安装参考文档:ELK官网：https://www.elastic.co/ELK官网文档：https://www.elastic.co/guide/index.htmlELK中文手册：https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.htmlELK中文社区：https://elasticsearch.cn/ELK-API :https://www.elastic.co/guide/en/el
2020-11-13 22:00:27
410
原创 liunx 生成日志文件，发现有中文返回数据都是问号❓
这是由于本地语言环境导致，学要修改语言环境方法1$ vim /etc/locale.confLANG="zh_CN.UTF-8"方法2$ vim ~/.bashrc# 追加export LANG='UTF-8'export LC_ALL='zh_CN.UTF-8'export LC_CTYPE='zh_CN.UTF-8'$ source ~/.bashrc一般都是方法2数据对对接...
2020-11-13 17:57:19
517
原创 Win10更新后出现“这可能是由于credssp加密oracle修正”的全解决办法
今天出现远程不好使了，看到这个方法可以，分享下https://blog.nancheung.com我的博客有更多更详细的操作。这几天win10更新之后，远程win server 2016就连不上了。如图所示：我猜想是系统更新的锅，于是查看了微软的补丁说明：https://support.microsoft.com/zh-cn/help/4093492/credssp-updates-for-cve-2018-0886-march-13-2018果不其然，说明中写了：..
2020-05-25 11:40:01
371
原创 Eclipse 打开出错：Java wa started but returned exit code=13
发现异常。网络上有人说将C:\Program Files (x86)\Java\jdk1.8.0_66\bin中的javaw.exe 和java.exe和javaws.exe这3文件干掉后，也没有好使啊，在报警的话C:\Users\Administrator\Desktop\javaexe文件\oracle 的文件进行干掉，之后就好使。...
2019-06-04 15:47:29
379
转载 python-----selenium淘宝模拟登陆（跳过滑块移动）
from selenium import webdriverfrom selenium.webdriver.support.wait import WebDriverWaitfrom time import sleepclass taobao_infos: def __init__(self,url): self.url = 'https://login.ta...
2019-03-06 11:37:04
4188
3
原创 ChromeDriver is assuming that Chrome has crashed 一直无法打开，总是崩溃
selenium.common.exceptions.WebDriverException: Message: unknown error: Chrome failed to start: exited abnormally (unknown error: DevToolsActivePort file doesn't exist) (The process started from ch...
2019-02-19 14:44:34
19295
4
转载 Xmind 8 pro 软件破解版
Xmind是一款非常专业的思维导图软件，收费好几百元，不过还是很多用户，因为目前用的最多，也简单易用。XMind界面友好、功能优秀、可用性极强，从而数百万人选择了它，XMind不仅可以绘制思维导图，还能绘制鱼骨图、二维图、树形图、逻辑图、组织结构图（Org、Tree、Logic Chart、Fishbone）等。 XMind中的思维导图结构包含一个中心根主题，和围绕中心主题辐...
2019-01-22 18:58:54
582
转载 selenium中为什么有些IE浏览器中输入英文和数字特别慢
selenium自动化测试中，有些IE浏览器输入英文和数字会特别慢，大大降低了自动化测试的执行速度。此问题一般出现在64位Windows系统中。解决方法：将"IEDriverServer.exe"从64位版本变为32位版本。下载地址：http://docs.seleniumhq.org/download/（需要翻墙访问）...
2019-01-05 15:13:16
982
转载 Zabbix配置监控和图形
配置监控创建一个主机自定义一个监控项常用的监控方式类型zabbix agent：被动模式，zabbix agent（active）：主动模式ipmisshjmxtelnet数据类型：整数浮点数字符串logtext存储的值：AS is：不对数据进行处理，存储采集到的数据本身Delta（simple change）：本次采样的数据减去前一次采样的数据D...
2018-11-02 16:31:37
321
转载 selenium2(WebDriver) API
1.1 下载selenium2.0的包官方download包地址：http://code.google.com/p/selenium/downloads/list 官方User Guide： http://seleniumhq.org/docs/ 官方API: http://selenium.googlecode.com/git/docs/api/java/index....
2018-11-02 16:28:17
178
转载 selenium 页面加载超时处理
https://blog.youkuaiyun.com/liaojianqiu0115/article/details/79657747 UI自动化的时候有时某个页面可能因为网络原因会加载很长时间，甚至导致超时失败。网络上找了很多方法，设置超时时间：driver.manage().timeouts().implicitlyWait(10, TimeUnit.SECONDS); drive...
2018-11-01 14:38:38
4260
1
转载 抓取微信公众号全部文章，采用AnyProxy+Javascript+Java实现
git https://gitee.com/saly/WechatSpider/blob/master/src/main/resources/spider.js#/** * 微信公众号爬虫, 抓取流程参考`README.MD`文档 * * @author 最爱吃小鱼 */// 规则配置var config = { host: 'http://127.0.0.1:808...
2018-07-26 14:17:10
4117
5
转载 微信爬取过程中参数分析
一：找到永久的历史信息列表：http://mp.weixin.qq.com/mp/getmasssendmsg?__biz=XXX==#wechat_redirect将XXX==替换为自己的BIZ二：4个参数可以唯一确定一篇微信文章：__biz可以认为是微信公众平台对外公布的公众帐号的唯一idmid是图文消息ididx是发布的第几条消息(1就代表是头条位置消息)sn是一个随机加密串(对于一篇图文消...
2018-07-11 16:03:01
719
转载 Windows使用AnyProxy抓包（详细）
使用AnyProxy抓包，看了很多教程，多是不完整，或者说的太笼统。下面记录下我探索的过程，也希望能减小各位爱学习的盆友弯路。第一次用简书写文章还不习惯，写的格式不太好。下次改进。如果喜欢，希望多多点赞看完本篇文章你能做到什么：搭建好AnyProxy，并且可以使用AnyProxy实现简单的抓包。步骤：1,安装NodeJs,然后安装AnyProxy2,手机下载CA并且添加信任3,手机设置代理4,抓包...
2018-04-13 13:56:22
13312
转载 戴尔最新灵越15R-5557 U盘BIOS设置UEFI!重装系统
戴尔灵越15R-5557 U盘BIOS设置UEFI!重装系统1. 开机按F2进入BIOS2.选择第五大项，打开Secure boot， 选择SCEURE BOOT ENABLE 改 Disabled，点击 屏幕右下侧APPLY (应用)2. 3 选择第一大项，打开ADVANCED BOOT OPTIONS ,右侧对话框 ENABLE 选LEGACY OPTIONG ROMS 前面打上对号，点...
2018-04-03 10:00:54
33151
3
转载 mysql中INSERT INTO… ON DUPLICATE KEY UPDATE用法
MySQL 自4.1版以后开始支持INSERT … ON DUPLICATE KEY UPDATE语法，使得原本需要执行3条SQL语句（SELECT,INSERT,UPDATE），缩减为1条语句即可完成。例如ipstats表结构如下： 代码如下复制代码CREATE TABLE ipstats (ip VARCHAR(15) NOT NULL UNIQ
2018-01-25 10:36:34
3122
转载 Linux新手生存笔记[13]——SVN命令总结
move to github 点击打开链接回到全局目录-------------------------------------------------------目录一、从版本库获取信息... 1二、从版本库到本地... 2三、从本地到版本库... 2四、高级应用... 4一、从版本库获取信息
2017-12-05 19:58:07
243
转载 使用jsoup爬虫抓取页面
httpclient 和jsoup都可以实现模拟浏览器抓取页面，前者发送请求，后者解析htm标签比较强大。本例直接使用jsoup实现请求和解析。package com.chongdong.log.test;import java.io.IOException;import java.util.HashMap;import java.util.Map;import org.jsoup.
2017-10-23 19:38:59
365
转载 java mysql 高性能批量处理 设置rewriteBatchedStatements
昨天研究了一下mysql的批处理，最初发现很慢10000条 每次1000 243秒50000条 每次500条 1295秒代码如下：[java] view plain copy print?package main; import java.sql.*; public class
2017-10-23 10:56:21
636
转载 并发队列ConcurrentLinkedQueue和阻塞队列LinkedBlockingQueue用法
在Java多线程应用中，队列的使用率很高，多数生产消费模型的首选数据结构就是队列(先进先出)。Java提供的线程安全的Queue可以分为阻塞队列和非阻塞队列，其中阻塞队列的典型例子是BlockingQueue，非阻塞队列的典型例子是ConcurrentLinkedQueue，在实际应用中要根据实际需要选用阻塞队列或者非阻塞队列。注：什么叫线程安全？这个首先要明确。线程安全就是说多线程访问同
2017-09-11 17:21:56
261
node-crawler.zip
2021-11-15
Eclipse SWTJFace核心应用光盘内容及其应用的jar包
2014-11-17
ruby 数组处理大全.doc
2013-10-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人