<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[wmjf1的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/wmjf1</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; wmjf1]]></copyright><item><title><![CDATA[使用python实现一个SCP小工具]]></title><link>https://blog.youkuaiyun.com/wmjf1/article/details/136292985</link><guid>https://blog.youkuaiyun.com/wmjf1/article/details/136292985</guid><author>wmjf1</author><pubDate>Mon, 26 Feb 2024 11:14:02 +0800</pubDate><description><![CDATA[一个简易的scp文件上传下载小工具，用来上传或下载一些小文件。目前只适用于windows，]]></description><category></category></item><item><title><![CDATA[使用aws Glue与kinesis 构建的流式ETL作业——二、数据处理]]></title><link>https://blog.youkuaiyun.com/wmjf1/article/details/126486351</link><guid>https://blog.youkuaiyun.com/wmjf1/article/details/126486351</guid><author>wmjf1</author><pubDate>Fri, 02 Feb 2024 10:56:23 +0800</pubDate><description><![CDATA[说明：在此脚本中，引入了python其他的包。写入PG使用的是sqlalchemy，是为了实现有则更新，无则写入的操作。由于Glue Job 在运行的时候，是在独立的服务器上，因此不能直接访问到私有子网中的服务，所以，借助Glue连接，可以使得Job在运行时连接AWS服务。–additional-python-modules：SQLAlchemy== 1.3.16,psycopg2-binary==2.8.5(值请自定义)此处提供了RedShift和PG数据库的连接创建过程，请自行选择。]]></description><category></category></item><item><title><![CDATA[使用aws Glue与kinesis 构建的流式ETL作业——一、数据实时采集]]></title><link>https://blog.youkuaiyun.com/wmjf1/article/details/126118285</link><guid>https://blog.youkuaiyun.com/wmjf1/article/details/126118285</guid><author>wmjf1</author><pubDate>Fri, 02 Feb 2024 10:55:11 +0800</pubDate><description><![CDATA[在此案例中，我们使用了CloudWatch + Kinesis Data Stream完成了前期的数据实时采集的工作，并且，使用了Lambda来作为触发器来对数据进行了一个验证操作（也可使用Lambda来进行ETL工作）。]]></description><category></category></item><item><title><![CDATA[Apache Superset 通过GLUE可视化s3、RDS、RedShift中的数据]]></title><link>https://blog.youkuaiyun.com/wmjf1/article/details/126548226</link><guid>https://blog.youkuaiyun.com/wmjf1/article/details/126548226</guid><author>wmjf1</author><pubDate>Fri, 02 Feb 2024 10:53:51 +0800</pubDate><description><![CDATA[配置成功后，Superset默认使用8088端口，使用http://<EC2 公有IP>:8088访问，默认用户名和密码均为admin 可在Dockerfile、docker中命令、管理页面更改。需要配置管理员用户权限，在docker/docker-init.sh中默认创建用户admin（密码也是admin）但权限并没有更新，通过以下命令更新权限。启动一台Amazon Linux EC2并安装启动docker环境，需要机型为t.xlarge及以上，EBS盘20GB以上。1、docker 没有启动。]]></description><category></category></item><item><title><![CDATA[基于AWS Batch的量化回测系统]]></title><link>https://blog.youkuaiyun.com/wmjf1/article/details/126624235</link><guid>https://blog.youkuaiyun.com/wmjf1/article/details/126624235</guid><author>wmjf1</author><pubDate>Fri, 02 Feb 2024 10:53:14 +0800</pubDate><description><![CDATA[任务类型我们选择单节点输入名称与超时时间选择使用Fargate作为运行环境，并开启分配公共IP。进入ECR，选择我们刚才创建的镜像仓库，复制其ARN。返回创建，输入映像与命令命令：python backtest.py 【数据源所在S3桶名】 【要回测的源数据文件名】 【结果存储S3桶名】输入重试次数完成创建。]]></description><category></category></item><item><title><![CDATA[基于Glue ETL(提取、转换和加载)的serviceless 数据分析——三、serverless数据分析]]></title><link>https://blog.youkuaiyun.com/wmjf1/article/details/126471584</link><guid>https://blog.youkuaiyun.com/wmjf1/article/details/126471584</guid><author>wmjf1</author><pubDate>Fri, 02 Feb 2024 10:42:22 +0800</pubDate><description><![CDATA[到此，我们已经完成了基于Glue ETL(提取、转换和加载)的serviceless 数据分析的全部过程了。在此案例中，我们使用到了AWS 服务中的Glue、S3、APIGateway、Lambda等服务实现了一个通过API访问的数据统计与分析接口。]]></description><category></category></item><item><title><![CDATA[基于Glue ETL(提取、转换和加载)的serviceless 数据分析——二、数据清洗、转换]]></title><link>https://blog.youkuaiyun.com/wmjf1/article/details/126468430</link><guid>https://blog.youkuaiyun.com/wmjf1/article/details/126468430</guid><author>wmjf1</author><pubDate>Fri, 02 Feb 2024 10:42:10 +0800</pubDate><description><![CDATA[到这一步，我们已经使用Glue ETL对s3桶中的数据进行了清洗、分区操作。在进行上篇中的Athena操作后，我们已经可以通过Athena直接查询到清洗、分区后的数据集了。接下来，我们会通过使用APIGateway+Lambda+Athena来构建一个无服务器的数据查询分析服务。]]></description><category></category></item><item><title><![CDATA[基于Glue ETL(提取、转换和加载)的serviceless 数据分析——一、Glue创建]]></title><link>https://blog.youkuaiyun.com/wmjf1/article/details/126462173</link><guid>https://blog.youkuaiyun.com/wmjf1/article/details/126462173</guid><author>wmjf1</author><pubDate>Fri, 02 Feb 2024 10:41:50 +0800</pubDate><description><![CDATA[在此实验中，我们使用Glue 的爬网程序自动解析存储在s3桶中的原始数据，自动创建了表。通过Glue数据库中的表，我们可以使用Athena对表进行查询（Athena每次检索表对应的s3桶数据，按检索量收费）。接下来我们会对原始数据进行转换、清洗以及分区操作，以及使用API Gateway+lambda实现一个无服务架构，通过API查询数据。]]></description><category></category></item><item><title><![CDATA[win to go 蓝屏笔记]]></title><link>https://blog.youkuaiyun.com/wmjf1/article/details/135474817</link><guid>https://blog.youkuaiyun.com/wmjf1/article/details/135474817</guid><author>wmjf1</author><pubDate>Fri, 02 Feb 2024 10:40:48 +0800</pubDate><description><![CDATA[Windows 11 win to go 安装硬盘无法启动解决方法之一
Win10禁用UASP传输协议
如何轻松更新惠普笔记本电脑的BIOS？


]]></description><category></category></item><item><title><![CDATA[mysql 锁知识汇总]]></title><link>https://blog.youkuaiyun.com/wmjf1/article/details/135947984</link><guid>https://blog.youkuaiyun.com/wmjf1/article/details/135947984</guid><author>wmjf1</author><pubDate>Wed, 31 Jan 2024 17:59:18 +0800</pubDate><description><![CDATA[*锁是用来控制对数据库中数据访问的机制。**在并发环境下，多个用户可能同时访问相同的数据，这样就会产生数据的冲突和不一致的情况，为了避免这种情况发生，MySQL提供了多种锁机制。全局锁就是对整个数据库实例加锁。，执行后，整个数据库就处于只读状态了。]]></description><category></category></item><item><title><![CDATA[mysql 事务知识汇总]]></title><link>https://blog.youkuaiyun.com/wmjf1/article/details/135936719</link><guid>https://blog.youkuaiyun.com/wmjf1/article/details/135936719</guid><author>wmjf1</author><pubDate>Wed, 31 Jan 2024 10:20:01 +0800</pubDate><description><![CDATA[MVCC 是 Multi-Version Concurrency Control 的缩写，意为多版本并发控制。这是一种数据库事务管理技术，主要用于处理并发读写操作，以提高数据库的并发性能和一致性。在 MySQL 中，MVCC 通过数据行的多个版本管理来实现并发控制。当一个事务在执行 SELECT 操作时，如果该行已经被另一个事务更新过，那么 InnoDB 存储引擎会提供之前版本的值给当前事务，这样在做查询的时候就不用等待另一个事务释放锁。]]></description><category></category></item><item><title><![CDATA[mysql 索引知识汇总]]></title><link>https://blog.youkuaiyun.com/wmjf1/article/details/135915484</link><guid>https://blog.youkuaiyun.com/wmjf1/article/details/135915484</guid><author>wmjf1</author><pubDate>Tue, 30 Jan 2024 11:25:49 +0800</pubDate><description><![CDATA[mysql 索引个人知识汇总]]></description><category></category></item><item><title><![CDATA[mysql 执行流程知识汇总]]></title><link>https://blog.youkuaiyun.com/wmjf1/article/details/135765011</link><guid>https://blog.youkuaiyun.com/wmjf1/article/details/135765011</guid><author>wmjf1</author><pubDate>Mon, 29 Jan 2024 16:16:50 +0800</pubDate><description><![CDATA[mysql 执行流程概括]]></description><category></category></item><item><title><![CDATA[TCP 重传、滑动窗口、流量控制、拥塞控制知识汇总]]></title><link>https://blog.youkuaiyun.com/wmjf1/article/details/135701404</link><guid>https://blog.youkuaiyun.com/wmjf1/article/details/135701404</guid><author>wmjf1</author><pubDate>Fri, 19 Jan 2024 17:40:18 +0800</pubDate><description><![CDATA[告诉接收方，哪些数据被重传了。告诉发送方，数据为什么被重传了。]]></description><category></category></item><item><title><![CDATA[TCP三次握手与四次挥手知识汇总]]></title><link>https://blog.youkuaiyun.com/wmjf1/article/details/135672875</link><guid>https://blog.youkuaiyun.com/wmjf1/article/details/135672875</guid><author>wmjf1</author><pubDate>Thu, 18 Jan 2024 18:16:54 +0800</pubDate><description><![CDATA[这里只介绍SYN、ACK、FIN这三个标志位。一共有六个。SYN:代表请求创建连接。所以在三次握手中前两次要SYN=1，表示这两次用于建立连接。FIN：代表请求关闭连接。在四次分手时，我们发现FIN客户端与服务端各发了一次。这是因为TCP的连接是双向的，所以一次FIN只能关闭一个方向。ACK：代表确认接受。不管是三次握手还是四次分手，在回应的时候都会加上ACK=1，表示消息接收到了，并且在建立连接以后的发送数据时，都需加上ACK=1,来表示数据接收成功。seq:序列号。]]></description><category></category></item><item><title><![CDATA[OSI七层模型和TCP/IP四层(五层)模型知识汇总]]></title><link>https://blog.youkuaiyun.com/wmjf1/article/details/135667108</link><guid>https://blog.youkuaiyun.com/wmjf1/article/details/135667108</guid><author>wmjf1</author><pubDate>Thu, 18 Jan 2024 11:02:51 +0800</pubDate><description><![CDATA[1.1定义2.1 定义。]]></description><category></category></item><item><title><![CDATA[Starlette 源码分析]]></title><link>https://blog.youkuaiyun.com/wmjf1/article/details/132449208</link><guid>https://blog.youkuaiyun.com/wmjf1/article/details/132449208</guid><author>wmjf1</author><pubDate>Wed, 23 Aug 2023 14:05:40 +0800</pubDate><description><![CDATA[Starlette 源码流程分析]]></description><category></category></item><item><title><![CDATA[fastapi源码流程图]]></title><link>https://blog.youkuaiyun.com/wmjf1/article/details/132449172</link><guid>https://blog.youkuaiyun.com/wmjf1/article/details/132449172</guid><author>wmjf1</author><pubDate>Wed, 23 Aug 2023 11:47:37 +0800</pubDate><description><![CDATA[fastapi源码过程调用大致流程图。]]></description><category></category></item><item><title><![CDATA[django bulk_update_or_create 批量创建更新]]></title><link>https://blog.youkuaiyun.com/wmjf1/article/details/129534643</link><guid>https://blog.youkuaiyun.com/wmjf1/article/details/129534643</guid><author>wmjf1</author><pubDate>Tue, 14 Mar 2023 18:05:53 +0800</pubDate><description><![CDATA[当前django并没有提供能够批量创建或更新的方法，只有和以及，在实际业务中并不能满足我们的需求。因此才会有了。]]></description><category></category></item><item><title><![CDATA[Django 全局获取request]]></title><link>https://blog.youkuaiyun.com/wmjf1/article/details/129530093</link><guid>https://blog.youkuaiyun.com/wmjf1/article/details/129530093</guid><author>wmjf1</author><pubDate>Tue, 14 Mar 2023 17:09:45 +0800</pubDate><description><![CDATA[Django 全局获取request]]></description><category></category></item></channel></rss>