- 博客(85)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 使用AnyProxy自动爬取微信公众号数据-包括阅读数和点赞数
使用AnyProxy自动爬取微信公众号数据-包括阅读数和点赞数目录使用AnyProxy自动爬取微信公众号数据-包括阅读数和点赞数目录准备工作：原理图1.安装Node.js2.安装AnyProxy 代理服务器3. 启动AnyProxy4. 安装HTTPS 网络传输所需的证书电脑安装手机安装安装mysql 模块部分5.程序部分程序地址代码部分运行程序...
2017-12-20 12:18:44
18772
41
原创 如何在centos安装python3.8.8？详细教程
现在，您已经在CentOS上成功安装了Python 3.8.8。您可以使用新版本的Python来运行Python脚本和安装Python包。请注意，不要轻易删除系统默认的Python版本，以免影响系统的正常运行。如果需要，可以通过虚拟环境来管理不同的Python版本。如果您希望将Python 3.8.8设置为默认Python版本，可以创建一个符号链接。请注意，这可能会影响系统的某些功能，因此谨慎操作。它应该会显示Python 3.8.8的版本号。这将显示pip的版本号，确认它已成功安装。
2023-10-04 14:30:33
831
原创 【已解决】yum install npm node失败，提示No package npm available
问题描述Centos7环境，yum install npm失败，报错：Loaded plugins: fastestmirrorLoading mirror speeds from cached hostfileNo package npm available.Error: Nothing to do网上的方法都比较陈旧了，始终不能安装成功，终于在StackExchange上找到了答案，亲测有效。解决方法用sudo或者root执行以下命令：yum install epel-releas
2022-03-13 23:10:23
3731
1
原创 偏离策略年化收益回测出来了，高达372%
大家好，我是启四，长期分享套利机会。长话短说，经过艰苦的努力，我终于把偏离策略的收益回测出来了，结果是让人惊喜的！时间取 2021-06-25 到 2021-11-23，取偏离策略的前 5 进行日轮动，年化收益高达 244.26%！时间：['2021-06-25', '2021-06-28', '2021-06-29', '2021-06-30', '2021-07-01', '2021-07-02', '2021-07-05', '2
2021-11-27 23:51:12
994
原创 彼得林奇：选到十倍股的简单方法
大家好，我是启四，长期分享套利机会。今晚给大家介绍一个简单的，来自著名投资大师彼得林奇的，选到十倍股的方法。总结起来其实就五个字：购物选股票。下面我们详细讲讲：一、彼得林奇的业绩彼得林奇说，他在生活中一次又一次地发现了十倍牛股，而通过股票分析师推荐而得来的其实并不多，实际上普通人能抓到四倍股已经很不错了，但是十倍股往往会让你的业绩瞬间脱颖而出。比如，彼得林奇自己列出了他的成绩单，他买入了12只股票，有四只亏损，最多的亏损了将近40%，而有七只股票呢，能够赚钱，但总计三年盈利也不过是30%，而当时的标普500
2021-11-26 23:50:13
1437
原创 Spark如何将DataFrame、DataSet、Row转换为Json字符串？
Spark如何将DataFrame、DataSet、Row转换为Json字符串？最近遇到一个业务需求，需要将DataFrame中的每一行数据转换为Json字符串并存入mysql库。话不多说，直接上代码：package core.testimport org.apache.spark.sql.{DataFrame, Row, SparkSession}import scala.util.parsing.json.JSONObjectobject DFTest { def main(ar
2021-10-09 19:05:41
3525
1
原创 如何利用excel和python构建拟合曲线预测可转债股票价格？
各位同学大家好！上次我写了一篇干货教程：如何预测新上市转债的价格？文中提到利用excel拟合曲线插值预测转债价格的方法，点赞过30了，看来感兴趣的朋友不少，今天给大家详细地写一下教程。一、准备工具1、Microsoft Excel2、可转债数据：转股价值和转债价格二、操作方法1、从集思录或者宁稳网获取数据，长按鼠标左键从上到下选中所有可转债数据，然后复制2、新建并打开一个excel表格，将刚才复制的数据粘贴进去3、删除多余的数据，只留下转股价值和转债价格，并将两列数据位置调换剪切转股价
2021-09-26 10:50:00
1582
原创 推荐一个可以回测股票、基金、可转债数据的网站，附教程
分享一个可以回测股票、基金、债券数据的网站，这个网站叫聚宽(joinquant)，做投资量化的同学可能比较熟悉，这个网站涵盖了2005年至今的投资数据，包含股票、期货、基金、指数、债券等等，不仅有行情数据，还有交易统计数据，上市公司信息等，感觉找到宝藏了。当然，对我来说，最重要的数据还是「可转债」。测试了一下，获取数据很简单，很轻松就拿到了可转债的历史交易数据。下面简单说明一下操作方法：1、点击这个链接：https://www.joinquant.com/default/index/sdk#jq-s
2021-08-30 10:53:51
11430
1
原创 【已解决】macbook软件卸载了图标还在launchpad上怎么办？一分钟搞定！
问题描述有时候，我们使用MacBook时没有从Apple Store安装软件，而是从一些非官方渠道安装的软件。这样我们将这些macbook软件卸载了之后，图标还会留在在launchpad（启动台）上，这些软件的图标无法删除，鼠标长按也不会出来叉叉。我们的目标仅仅是删除掉这些软件的图标。解决方法按下command+空格键，输入terminal，按下enter回车键，进入终端.app。输入下面的内容：defaults write com.apple.dock ResetLaunchPad -
2021-07-24 10:23:39
15654
11
原创 Task not serializable的原因及解决方法
Task not serializable的原因及解决方法原因及解决方法：项目场景：问题描述：报错内容报错代码原因分析：解决方案：原因及解决方法：这是一个比较常见的问题，flink、spark，都有可能遇到类似问题。由于两者都是分布式计算引擎，都不能在算子中传入未经序列化的数据。所以此类问题：原因：基本上都是因为在算子中传入了未经序列化的数据。解决方法：就是找到那个未经序列化的数据，然后在算子前提前定义或者序列化。项目场景：我需要将一个util.HashMap[Integer, DataS
2021-05-30 17:07:55
4625
原创 使用Python爬取双低转债及三要素可转债，自动发送邮件
双低转债及三要素可转债注：爬取集思录上的可转债信息，并按照规则进行筛选排序，仅供交流学习之用，请勿用于商业用途项目地址：https://gitee.com/zsyoung01/kzz介绍可转债双低转债和三要素转债策略，数据抓取自集思录1、已支持三种排序筛选方式（最终结果逆序排序）：溢价率升序排名+价格升序排名+到期收益率降序排名溢价率+价格-到期收益率溢价率+剩余年限-到期收益率2、实现Email添加附件发送功能未来计划加入数据回测功能及数据告警发送email功能特性网络请求-数据
2021-03-28 17:45:55
3639
12
原创 面试官：死锁是什么？它是怎么产生的？如何避免？
一、死锁是什么？死锁就是有两个或者多个进程由于竞争资源而造成阻塞的现象，如果无外力作用，这种局面就会一直持续下去。案例：两个人共享红蓝钥匙，都要执行获取钥匙，打开两扇门，最后归还钥匙的操作。如下图这样就会导致死锁：二、死锁产生的四大条件死锁产生必须满足四个必要条件：1、互斥条件：指在一段时间内某资源只能由一个进程占用。只有一副钥匙2、请求和保持条件：指进程已经保持至少一个资源，但又提出了新的资源请求，且对自己已获得的其它资源保持不放。拿着红钥匙的人在没有归还红钥匙的情况下，又索要蓝钥
2021-03-09 20:24:27
3186
1
原创 当面试官问到HashMap时，我们应该聊些什么？
前言本文仅作为作者的学习记录和回顾，不建议作为学习参考。推荐学习这篇文章：https://blog.youkuaiyun.com/w410589502/article/details/79636535HashMap中涉及的知识点0、HashMap的使用及特性hashMap可以接受key或者value为null；hashMap是非Synchronized的；hashMap存储的是键值对。1、hashing的概念散列法（Hashing）或哈希法是一种将字符组成的字符串转换为固定长度（一般是更短长度）的数值或
2021-03-09 00:22:41
237
原创 通俗解释hash碰撞是什么以及如何解决
Hash如何存数据hash表的本质其实就是数组，hash表中通常存放的是键值对Entry。如下图:这里的学号是个key，哈希表就是根据key值来通过哈希函数计算得到一个值，这个值就是下标值，用来确定这个Entry要存放在哈希表中哪个位置。Hash碰撞hash碰撞指的是，两个不同的值（比如张三、李四的学号）经过hash计算后，得到的hash值相同，后来的李四要放到原来的张三的位置，但是数组的位置已经被张三占了，导致冲突。解决方法hash碰撞的解决方式是开放寻址法和拉..
2021-03-08 00:59:57
24152
7
原创 mysql为什么要使用B+树实现索引？
关于这个问题，我们首先要弄明白两个问题：什么是索引？什么是B+树？1、什么是索引？索引是一种数据结构，用于帮助我们在大量数据中快速定位到我们想要查找的数据。索引最形象的比喻就是图书的目录了。注意这里的大量，数据量大了索引才显得有意义，如果我想要在[1,2,3,4]中找到4这个数据，直接对全数据检索也很快，没有必要费力气建索引再去查找。索引在mysql数据库中分三类：B+树索引、Hash索引、全文索引今天要介绍的是工作开发中最常接触到innodb存储引擎中的的B+树索引。2、什么是B+树？B+
2021-03-08 00:20:06
373
1
原创 redis的缓存穿透、缓存击穿、缓存雪崩
一、缓存的处理流程前台请求数据，先经过redis，如果数据存在则直接返回结果，不存在则再请求数据库。如果数据库中存在数据，则更新缓存并返回结果，否则就直接返回空结果。二、缓存穿透是什么？缓存穿透是指数据库和缓存中都没有数据，而单一用户不断发起请求，导致数据库压力过大。如发起为id为“-1”的数据或id为特别大不存在的数据。这时的用户很可能是攻击者，攻击会导致数据库压力过大。怎么解决？1、数据不存在时设置默认值在查询数据库的时候如果未查询到数据，依然在redis.
2021-03-05 00:02:58
147
1
原创 通俗解释Docker镜像和容器的区别
简单点说，镜像就类似操作系统光盘介质，容器相当于通过光盘安装后的系统。通过光盘(镜像)，我们能在不同机器上部署系统(容器)，系统内的操作只会保留在当前的系统(容器)中，如果要升级系统，需要使用到光盘(镜像)，但是可能会导致操作系统(容器)的数据丢失。...
2021-02-22 06:27:11
914
原创 2021最新微信红包封面怎么获取？「红包封面」易烊千玺红包封面，速来领取
易烊千玺 X 蒂芙尼红包封面又一次突袭，不期而至！ 领取方式：易烊千玺的红包封面，考验大家欧气的时候到了！这次的领取方式有点不同！需要进入小程序不断刷新属于随机掉落形式，隐藏了两个封面退出重进，不断刷新，出现封面立即领取说白了就是看人品，不断尝试吧！另外两款封面可以直接领取。Vivo X60 系列和金典有机奶封面。send「红包封面」，可以领取市面上全新的红包封面信息，...
2021-01-14 01:31:02
2755
1
原创 Flink 集群安装部署和 HA 配置
Flink 常见的部署模式 环境准备 推荐在 Mac OS 或者 Linux 环境下运行 Flink 集群模式，那么可以在自己电脑上安装虚拟机 所有的机器上都应该安装 JDK 和 SSH Local 模式 本地解压直接启动 # ./bin/start-cluster.sh 测试任务 ./bin/flink run examples/batch/WordCount.jar Standalone 模式 和yarn模式相比： Standalone 模式的
2020-07-11 01:15:50
856
原创 Flink SQL & Table 编程和案例
Flink Table & SQL 概述 背景 Flink SQL 是 Flink 实时计算为简化计算模型，降低用户使用实时计算门槛而设计的一套符合标准 SQL 语义的开发语言。 DataStream 和 DataSet 两套 API，并没有做到事实上的批流统一，因为用户还是使用了2套API。正是因为 Flink Table & SQL 的加入，可以说 Flink 在某种程度上做到了事实上的批流一体。 原理 1、上图是一张经典的 Flink Table & SQL
2020-07-11 01:14:46
856
原创 Flink 常用的 DataSet 和 DataStream API
说好的流批一体呢？ 现状是截止1.10版本依然采用了 DataSet 和 DataStream 两套 API 来适配不同的应用场景。 DateSet 和 DataStream 的区别和联系 1、Apache Flink 在诞生之初的设计哲学是：用同一个引擎支持多种形式的计算，包括批处理、流处理和机器学习等。尤其是在流式计算方面，Flink 实现了计算引擎级别的流批一体 2、对于DataSet而言，Source部分来源于文件、表或者Java集合 3、对于DataStream而言，Source
2020-07-11 01:11:16
737
原创 Flink 的编程模型与其他框架比较
Flink 的核心语义和架构模型 Flink核心概念 Streams(流) 有界流 有固定大小，不随时间增长而增长的数据，比如Hive中的一张表 无界流 无固定大小，数据随时间增长而增长，比如Kafka中的消息 State(状态)#重要 指的是在进行流式计算过程中的信息，一般用作容错恢复和持久化。因为流式计算本质是增量计算，也就是说需要不断查询过去的状态 Time(时间) Flink 支持了 Event time、Ingestion time、P
2020-07-11 01:06:13
251
原创 Flink 入门程序 WordCount 和 SQL 实现
Flink提供的快速创建工程的方法： curlhttps://flink.apache.org/q/quickstart.sh| bash -s 1.10.0 自动生成的项目 pom.xml 文件中对于 Flink 的依赖注释掉 scope DataSet WordCount DataStream WordCount 问题1：使用 netcat 命令启动一个端口 nc -lk 9000要改为nc -l -p 9000 问题2：尽量使用Java原生的函数，不要过多使用lambda ..
2020-07-04 02:26:50
512
原创 Flink的应用场景和架构模型
Flink实际应用场景 实时数据计算 传统分析方式：批查询 Flink：批流一体 数据实时采集、实时计算和下游发送 实时数据仓库和 ETL 状态管理 丰富的API 包括 Stream API、Table API 及 Flink SQL； 生态完善 支持多种存储（HDFS、ES 等）； 批流一体 一套API既能实现流计算又能实现批计算 事件驱动型应用 高效的状态管理 自带的 State Backend 可以很好的存储中间状态信息；.
2020-07-03 00:29:36
346
原创 SpringBoot线程池如何配置？
三个步骤：1、在项目主类中添加@EnableAsync注解@SpringBootApplication@EnableAsyncpublic class MySpringBootApplication { private static Logger logger = LoggerFactory.getLogger(MySpringBootApplication.class); ...
2020-03-13 01:06:33
2292
原创 @Transactional注解怎么使用？
@Transactional注解的使用：1、在方法或者类上都可以添加，如果在类上添加，则此类中的所有方法都会执行事务，不推荐，因为可能后续接手开发的小伙伴添加方法的时候根本不需要执行事务；2、触发事务回滚有两种方式：a. 方法抛出异常自动进行回滚；如果使用了try catch，要在catch中抛出异常； b. 手动执行回滚：在方法中添加：TransactionAsceptSuppor...
2020-03-13 00:32:21
3316
原创 Dockerfile中 ENTRYPOINT 和 CMD 的区别
总结：ENTRYPOINT中的命令会先执行且不被覆盖CMD会先看后面有没有命令，有的话就被覆盖，没有的话才执行一、dockerfile中的 CMD 1、每个dockerfile中只能有一个CMD如果有多个那么只执行最后一个。 2、CMD 相当于启动docker时候后面添加的参数看，举个简单例子： docker run -itd --name wo...
2019-11-11 17:46:51
241
转载 Kubernetes（k8s）核心概念 / Kubernetes是什么
转载信息：译者：崔婧雯原文链接作者：Omer Dawelbeit本文将会简单介绍Kubernetes的核心概念。因为这些定义可以在Kubernetes的文档中找到，所以文章也会避免用大段的枯燥的文字介绍。相反，我们会使用一些图表（其中一些是动画）和示例来解释这些概念。我们发现一些概念（比如Service）如果没有图表的辅助就很难全面地理解。在合适的地方我们也会提供Kubernet...
2019-11-07 08:58:04
320
原创 越厉害的人，这件事越早知道！
文丨启四公众号：启四说（ID：qisisay）Rene Magritte, The magician关于如何成为一个厉害的人，前面分享了 3 点： 舍得投资自己 善于复制时间 每天都要学习 今天分享第 4 点：主动结识牛人主要解决以下 3 点问题： 为什么要结识牛人？ 该结识什么样的牛人？ 如何结识牛人？ 01 ...
2019-10-22 00:27:08
477
原创 docker run 命令选项整理
docker run 选项: --add-host list 添加自定义主机到IP映射（主机：IP） -a, --attach list 连接到stdin、stdout或stderr --blkio-weight uint16 块IO（相对权重），介于10到1000之间，或0...
2019-10-20 13:31:48
2236
原创 我优化了李笑来的MarkdownHere，附css样式代码，文章排版再也不用愁了
Markdownhere 是李笑来制作的一套 CSS 主题，已开源在 GitHub 上，对于中文的显示效果比较友好，字距、行距比直接套用英文模板更加自然，是为数不多的优质中文 CSS 主题。使用Markdownhere可以帮你轻松搞定排版，美观又高效。这是使用方法：Markdown-here帮你轻松搞定微信公众号排版李笑来原版的css样式：李笑来的markdown样式...
2019-10-15 02:13:47
3596
4
原创 25岁，月薪28k，他怎么做到的？
本文长度为2088字，建议阅读 6分钟文丨启四公众号：启四说（ID：qisisay）标题里提到的是发生在我身边的真人真事。主人公是我上一家公司的师傅，年长我 1 岁，技术水平非常牛逼，公司里领导都喊他“老师”。这样一个厉害的人物，大学专业是食品工程，全靠自学成为大数据大佬，当初得知他的经历后，我佩服的五体投地。关于如何成为一个厉害的人，前面分...
2019-10-13 12:59:47
673
原创 你真的理解什么是“财富自由”吗？
清晰且正确的概念是一切思考的基石。“阅读本文大约需要3.1分钟。”01国庆的一个下午，我和父亲顶着淅淅沥沥的雨，把一千多斤烟叶装上面包车，准备拿去交售。五六十斤的烟捆，从屋里拿出来，放秤记录重量，再装进车里，码好，没一会儿就大汗淋漓了。那是十月五日，假期的第五天。时间再往前推五个月，父亲在自家后门口，掘土立木，搭好大棚，铺上塑料膜，漂浮培育幼苗。然后在二十多亩...
2019-10-09 09:17:45
380
原创 “我毕业3年月入8万”：不是你不会赚钱，而是你赚钱的方式有问题
阅读本文大约需要5.4分钟。只靠透支生命，能过好生活吗？你一定见过这样一种人：拼命努力，却总是生活的不如人意。为了赚钱透支身体，秃了头发，肥了肚腩，忍受着各种委屈和心酸，可结果是，不仅一年到头存不下钱，还总是在负债的边缘徘徊。其实，很多人不是不够努力，而是努力的方式本身就有问题。理财，属于最高级的商业模式每个人工作的本质，其实都是通过出售自己的时间来赚钱，有这样...
2019-09-21 19:40:31
1115
1
原创 Operation category READ is not supported in state standby. hdfs改变standby状态为active
错误Operation category READ is not supported in state standby.原因namenode节点处于standby 状态解决方案两种方式获取服务ID：a. hdfs的50070端口的webUI页面 ——> Overview ——> NamenodeIDb. 在hdfs-site.xml中： <property...
2019-09-11 18:50:17
548
原创 org.apache.hadoop.security.AccessControlException Permission denied user=XXX
文章目录问题适用条件原因故障排除步骤参考链接问题“权限被拒绝”错误可能出现在各种用例和几乎任何使用CDH的应用程序中。例如，尝试使用此命令启动jobtracker时:service hadoop-0.20-mapreduce-jobtracker start您可能会看到此错误或类似错误:org.apache.hadoop.security.AccessControlExceptio...
2019-09-10 15:38:37
959
原创 kafka 配置 kerberos 中遇到的问题
问题：requirement failed :inter.broker.listener.name must be a listener name defined in adverstised.listeners. the valid options based on currently configured listeners are PLAINTEXT原因：server.propert...
2019-08-27 16:27:47
11195
3
转载 使用机器学习对美股涨跌预测系统的探究
美股涨跌预测系统的探究罗斌（141499）摘要：本文对美股股票的涨跌进行了研究，从问题出发并提出猜想，然后定义了机器学习的实验任务。通过多次实验得到实验数据，最终证明了所提出的猜想：中国股市确实和美国股市存在着一定的联系，并且通过这些隐含的联系可以预测某些美国股票的涨跌。关键字：机器学习; 股票预测The research of US stock prediction syste...
2019-08-27 14:16:18
963
原创 java.sercurity.auth.login.LoginException:Checksum failed / KrbException: Checksum failed
现象：java.sercurity.auth.login.LoginException:Checksum failedKrbException: Checksum failed可能的原因：没有用帐号登录：kinit -k -t nn.keytab nn/node-107kinit nn/node-107启用Kerberos后，如果没有kerberos票证，则无法访问HDFS ...
2019-08-19 23:40:39
6924
原创 AccessControlException SIMPLE authentication is not enabled
现象:启动namenode，namenode虽然起来了，但是namenode日志信息中很多异常信息：AccessControlException: SIMPLE authentication is not enabled. Available:[TOKEN, KERBEROS]原因:很多依赖hdfs的服务，但是没有开启安全认证，而hdfs开启了。解决方案：把依赖hdfs的服务关闭...
2019-08-19 23:19:41
8012
commons-daemon-1.2.0-src.tar.gz
2019-08-09
commons-daemon-1.2.0-bin.tar.gz
2019-08-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人