- 博客(590)
- 资源 (68)
- 收藏
- 关注

原创 关于机器学习的一点感想
虽然AlphaGO战胜了李世石,让一直不温不火的人工智能和机器学习火了一把,也激起了很多人的研究兴趣。但唱衰机器学习,认为机器学习准确性不高,基于人工定义规则比机器学习自动发现的规则更有效的言论也不少。个人理解,机器学习在各个领域的探索的时间不长,相关算法如何与实际分析场景相结合的具体路子也不太成熟,但所谓“乱世出英雄”,真正三足鼎立的时候那其他人也插入不了了。这正是各大公司应该积极投入人力和
2016-08-19 19:52:51
2250

转载 软件开发中的葵花宝典(转)
中国人大都喜欢用武侠小说来比较软件开发,但是在实战武功中,只有葵花宝典才是最厉害的,也只有掌握了葵花宝典,才能称为"不败"。 但什么才是软件开发的葵花宝典? 让我们先从一些现象出发。我们的前提是,软件开发是一项智力密集型劳动。对于智力密集型劳动,我们观察到的现象是,个体的表现差异很大,团队的表现差异很大,组织的表现差异很大,国家的表现差异很大。这不象体力占主要的劳动,象百米王跑百米
2011-06-11 17:51:00
1253
原创 ceph编译
降低ubuntu22.04里的openssl版本,包括/usr/include/openssl,/usr/bin/openssl和/lib/x86_64-linux-gnu下的libssl so文件。修改ceph/build/boost/src/Boost/boost/thread/pthread下的thread_data.hpp文件,将60~62行注释掉。在 src/pybind/mgr/dashboard/requirements.txt里删掉pytest-faulthandler。
2023-11-27 17:12:57
463
原创 openssh升级到8.8后密钥登录失败
但仍旧登录失败,查看/var/log/message 看到日志”User xxx not allowed because account is locked“原来OpenSSH8.8默认情况下UsePAM默认也是不开启的,而SSH密钥登录同时也会尝试密码登录,会发现用户没有配置密码,因此抛出xxx用户被锁定的信息。使用passwd xxx 为该用户配置一个密码后,即可以私钥登录成功。openssh升级到8.8后,密钥登录失效。
2023-10-11 18:24:26
919
原创 win11家庭版打开组策略
win11默认情况下,win+R执行"gpedit.msc"提示找不到。保存为test.bat,然后以管理员身份运行即可。
2023-09-14 08:55:06
813
1
原创 ceph pg inconsistent修复(unexpected clone)
日志里:rbd_data.88033092ad95.0000000000000012:b : is an unexpected clone。9.处理完全部pg inconsistent后,清除其余标记位。b转为十进制为11,因此需要删除的为snapid为11的快照。pg 10.17 osd [3,4] 权威副本osd:3。6.启动osd(非权威副本)2.禁止recover。5.删除有问题的快照。重复处理完全部osd。
2023-08-03 10:48:21
2067
1
原创 ceph osd因为ReplicatedBackend::recover_object crash
osd会在recovery的时候挂掉。因为是实际使用的环境,目前并不能对于ceph进行修复或者升级。所以只能用命令“ceph osd set norecover ”把ceph的recovery先关掉,然后再启动osd,才行。虽然会有部分object丢失了就无法找到了,但是总比osd完全起不来好。这应该是ceph version 15.2.14 (cd3bb7e87a2f62c1b862ff3fd8b1eec13391a5be) octopus (stable)的一个bug。
2023-08-02 15:33:55
993
原创 Common-Collection4 gadget
new InvokerTransformer("getMethod", new Class[]{String.class,Class[].class}, new Object[]{"getRuntime", new Class[0]}), //第二轮transform,调用了Runtime.class的getMethod方法,并且method为getRuntime。InvokerTransformer的transform方法,则会使用反射,调用传入的参数的类指定的iMethodName方法。
2023-02-02 12:02:37
484
原创 apache http server修复CVE-2016-2183漏洞
nmap -sV -p [端口] --script ssl-enum-ciphers [ip]输出的结果里,不再包含DES等弱加密方式。1.openssl升级,这是必须的。并重启http server。
2022-10-17 18:21:49
1925
原创 Kafka处理的消息大小与堆外内存
如果说,Kafka处理的消息大小,与它所用的堆外内存,会存在一定程度的关系。你一定会觉得非常奇怪。毕竟,阅读kafka处理消息的源码时,只看到了它申请了堆内存,并未发现有申请堆外内存。如果在jvm参数里,将maxDirectMemory的大小限制为100M。那么,我们写一个简化版的kafka broker 9092消息处理程序来进行一下实验。真是奇怪, 代码里并未直接申请堆外内存,怎么会在实验中发现堆外内存的增长呢?
2022-10-12 13:33:30
2534
1
原创 处理ceph osd incomplete
ceph-objectstore-tool --pgid $j --op mark-complete --data-path /var/lib/ceph/osd/ceph-$i/ --type bluestore #取出每个pg,标记为complete。ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-$i/ --op list-pgs > pg."$i" 2>/dev/null #获取当前osd的所有pg并放入对应pg.id文件中。...
2022-08-26 09:04:17
830
原创 ovn联通外网且需要带vlan tag
ovn联通外网且需要带vlan tag=50,需要往联通out-lr逻辑路由器的交换机增加一个localnet类型的port,命令如下:
2022-08-04 11:13:41
809
原创 jdk1.8与glibc的兼容性问题(JVM Crash+C [libc.so.6+0x81980] _IO_link_in+0x1f0)
基于alpine3.15基础镜像构建的,由于alpine默认用的是musellibc,所以oraclejdk是用不了的,需要自己安装glibc相关的库(尤其时涉及到验证码绘制这块时,需要安装glibc-bin,glibc-i18n)虽然该讨论主要是说的openjdk11与glibc的兼容问题,但问题现象是类似的,他是安装fontconfigttf-dejavu(fontconfig看起来就是字体相关的),会触发。当即,将glibc/glibc-bin/glibc-i18n统一升为2.33版本。......
2022-07-15 09:37:40
5418
2
原创 记一次spark内存泄露问题
问题定位:引擎里有一处代码detectDf.persist(detectDf为DataFrame),后续回收动作用的代码为val rdds = sc.getPersistentRDDsrdds.foreach(x => x._2.unpersist())分析:1.DataFrame跟RDD相比,就是多了schema部分; DataFrame=RDD+schema2.根据前几天堆内存的分析,schema是会放一份在driver端的3.代码,只unpersist了RDD,那么schema部分就一直在
2022-07-05 08:58:47
760
原创 ceph相关问题解决记录
ceph pg data unfound问题修复:华为开发者论坛ceph pg 2.2b mark_unfound_lost revert1.集群内OSD down掉的问题1.1 active ceph osd的命令(在osd挂掉的宿主机上执行)ceph-volume lvm activate --all1.2 如果osd的服务处于运行状态(systemctl status ceph-osd@id是active),但ceph osd tree内显示是挂掉的systemctl st..
2022-04-21 09:42:29
1084
原创 SQL盲注脚本(MySQL)
#coding:utf-8import urllib.requestimport json"""SQL盲注脚本,适用于MYSQL数据库;CTF 0~1 SQL注入第二题"""class SqlBlindInjection(object): def __init__(self): self.url = "http://eci-2zej1goyn9jgugq1cnzn.cloudeci1.ichunqiu.com/login.php" #条件为真的返回值.
2021-11-13 19:08:57
1364
1
原创 跳跃表C语言实现
我们都知道,链表的好处是插入和删除方便,但是遍历则比较慢。如果要找到链表最末尾的元素,那么需要查找时间复杂度是O(n)。跳跃表就是为了解决这个问题而提出,跳跃表可以理解为在链表的基础上加上了多级索引。为了保证插入的均衡以及查询的速率,跳跃表的新节点插入时,会计算一个随机的层数(不大于最大层数)。然后从该层逐步向最底层插入,当该层没有元素时,那么这个新的节点就是第一个元素。而如果该层已经有元素时,则在插入时会保证该层的全体元素整体有序。插入的代码如下(其中MAXLEVEL是跳表的最大层数):
2021-11-12 13:05:02
1963
1
原创 研究通过ovn设置qos防止虚拟机内部有人拒绝服务攻击
1.开始用iperf3,带宽可以达到1G/s左右2.使用qos限制mnet2网卡的速率ovn-nbctl set logical_switch_port mnet2 options:qos_max_rate=1000000ovn-nbctl set logical_switch_port mnet2 options:qos_burst=1000000
2021-09-27 13:33:05
430
原创 何使用OVN ACL策略控制虚拟机之间的网络不通和互通
1.环境,两台虚拟机(两台虚拟机绑定交换机acl_sw)acl_v1 内部IP:24.130.26.124 外部ip:10.67.2.34 接口名:mnet2acl_v2 内部IP:24.130.26.251 外部ip:10.67.2.33 接口名:mnet12.虚拟机之间不互通,但虚拟机允许特定IP机器SSH它#阻止所有到acl_v1、acl_v2的流量ovn-nbctl acl-add acl_sw to-lport 0 'outport == "mnet2" &&
2021-09-27 12:13:32
475
原创 Spark提交到k8s解决问题记录
1.报错debian InRelease is not valid yet (invalid for another 2d 9h 30min 9s)检查机器时间是不是没有同步,将时间配置为最新的时间。2.PKIX path building failedjdk证书问题。需要:/* * Copyright 2006 Sun Microsystems, Inc. All Rights Reserved. * * Redistribution and use in source a
2021-04-02 09:25:51
1580
原创 ng2打包报错Schema validation failed with the following errors: Data path ".budgets[1].type" should be
将angular.json中的红框处删除:
2020-05-09 09:56:34
3612
原创 [@ant-design/icons-angular]: the icon reload-o does not exist or is not
angular.json中加入:"assets": [ "src/favicon.ico", "src/assets", { "glob": "**/*", "input": "./node_modules/@ant-design/icons-angular/src/inline-svg/", "output": "/asse...
2020-05-08 20:03:47
2816
4
原创 Can't resolve all parameters for AppComponent(?)
在tsconfig.json文件中增加:"emitDecoratorMetadata": true,如下图所示:
2020-05-08 19:56:00
1806
原创 解决ovs-ofctl dump-flow报错:“is not a bridge or a socket”
1.官方对于此问题的解释:简单来说,就是ovs数据库里保存的和ovs-vsctl show里的不一致。这样使用ovs-ofctl dump-flows想查看某个网桥的流表时,库里找不到,自然就会报错。2.排查过程和问题解决按照官方的建议,我查看了/var/log/openvswitch/ovs-vswitchd.log,但是里面没有异常。官方文档又说,可能是ovs-vswtichd...
2020-04-24 11:41:15
3019
原创 virtlogd段错误
/usr/sbin/virtlogd无法启动,使用-v报错:segfault:core dump。排查发现是gnutls库与libvirt版本不兼容导致的。yum updategnutls即可。
2020-01-19 17:30:11
794
原创 CentOS7 root登录卡住
在机器上出现一个很诡异的现象,使用root ssh登录机器时,在打印了“last login”时间后就卡住了。需要按ctrl+c,终端才会显示bash-2.4,而只有source ~/.bashrc后,才会显示root的主目录。试了一下手动执行source /etc/profile,也卡住了。因此可以断定,是登录时加载/etc/profile卡住,导致的SSH登录卡住。试着手动执行了/et...
2020-01-19 14:15:53
4505
原创 base64转为pcap的方法
#coding:utf-8import base64import osimport binasciidef hex2oct(data): if data == 'a': return 10 elif data == 'b': return 11 elif data == 'c': return 12 eli...
2020-01-11 15:19:25
729
原创 一种IP命中交叉网段的查找算法
1.问题描述假设有一堆网段,如下所示:192.168.1.100-192.168.1.120,AAA,id1192.168.1.50-192.168.1.150,BBB,id210.67.1.1/24,CCC,id310.67.1.1,DDD,id410.67.1.0,EEE,id5第一列是单IP或者网段,第二列是设备hash,第三列是这个IP或者网段的唯一标志。...
2020-01-11 15:01:10
1344
原创 解决OpenSSH升级后root用户无法登录的问题
由于系统内置的OpenSSH版本过低,存在一些用户名枚举信息泄露之类的问题。所以做了一次加固,将OpenSSH的版本升级到了最新版,即OpenSSH_8.1p1, OpenSSL 1.0.2k-fips 。但是升级之后,root用户就不能登录了。用另一个具有sudo权限的用户登录后,查看/var/log/secure日志发现里面有这样一条记录:reprocess config line 93:...
2020-01-06 08:25:07
10790
原创 java进程的直接内存
JAVA进程除了堆内存之外,还有一部分内存是直接内存。直接内存并不是虚拟机运行时的数据区的一部分,也不是JAVA虚拟机规范定义的内存区域。直接内存可以被DirectByteBuffer或者Unsafe allocate申请使用。它的分配不受Java堆大小的限制,在一些场景中可以显著提高性能,避免在Java堆和Native堆中来回复制数据。如果使用不当,会触发OOM的问题,而且比较难以排查。...
2019-10-04 10:13:10
1459
原创 目前Spark Application处理的数据量和性能
今年最值得开心的事情,就是Spark Application在客户局点跑的效果。虽然里面涉及的算法由于涉密所以不能透露,但是性能杠杠的还是值得高兴一下的。每秒钟的数据量大概为40万~80万条。实时Spark Application的性能(开5分钟的时间窗口):5分钟内可以处理完,没有延迟和堆积。离线Spark Application的性能(一天跑一次,一次处理前一天的数...
2018-11-23 09:18:38
4528
1
原创 Apache Flink 各类关键数据格式读取/SQL支持
目前事件归并分为两种,一种为实时的归并,即基于Kafka内的数据进行归并和事件生成;一种是周期性的归并,即基于Hive中的数据进行数据的归并和事件生成。基于SQL归并时Spark Streaming支持的输入/输出数据如下: 数据类型 Flink支持情况 Kafka 需要定义schema HDFS(parquet/csv/textfile)...
2018-11-02 16:03:22
24550
5
原创 Apache Flink CEP学习总结
1. 简介Apache Flink是一个计算框架,地位和Spark差不多。里面的API也有与Spark类似的,例如FlinkKafkaConsumer010对应着Spark里的读取Kafka形成流的API,DataStream对应着Spark里的DStream,也有一系列的transform API例如map/fliter等等。在yarn上提交任务的方式也十分简洁:请注意,它的ya...
2018-11-02 15:51:06
22308
5
原创 Hadoop Namenode启动报错GC overhead limit exceeded
Hadoop Namenode启动报错:看起来是fsimage中的节点数目过多,导致的GC Overhead超过限制。Fsimage是namenode维护的重要文件之一,它包含了整个HDFS文件系统的所有目录信息和文件信息。对于文件来说包含了数据块描述信息、修改时间、访问时间等;对于目录来说,包含了修改时间、访问权限控制信息等。需要用以下命令查看fsimage文件占用的内存大小:....
2018-09-28 11:24:05
3179
phantomjs-linux
2017-04-10
PostgreSQL9.6并行查询(中文)
2017-03-21
softflowd源码包
2016-11-24
hadoop2.6 windows需要的dll文件
2015-05-21
PyDev4.0.0
2015-04-22
jline-2.9.1
2015-04-16
eclipse lua的hadoop2.6.0插件
2015-04-12
masm5.0编译器
2015-03-29
win7(64)运行debug
2015-03-29
elasticsearch.js
2014-10-30
ThinkPHP3.0
2014-02-22
ThinkPHP3.1.3完整包
2014-02-22
python27安装matplotlib的包及依赖
2014-01-12
PowerCmd安装文件
2013-12-03
apache2.2和python2.7的mod_wsgi
2013-10-26
windows gettext0.18
2013-10-21
TortoiseSVN-1.8.2.24708-x64-svn-1.8.3
2013-09-20
SlikSVN1.7.5(64位)
2013-09-20
Mod_Python中文文档
2013-04-02
Python3.3安装文件
2013-03-28
Wing IDE集成开发环境
2013-03-28
PHP帮助文档
2013-03-07
Apache2.2WEB服务器
2013-03-05
Zend Framework1.1.2
2013-03-05
PHP+MySQL开发的投票管理系统
2013-03-04
PHP+MySQL开发的留言本系统
2013-02-26
PHP+ACCESS开发的会议记录系统
2013-01-15
ADODB5.1.1
2012-12-31
Mod_Python2.7安装文件
2013-03-30
MySQL-Python2.7安装文件
2013-03-30
Python2.7安装文件
2013-03-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人