<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[IMISer2016的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/IMISer2016</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; IMISer2016]]></copyright><item><title><![CDATA[[MIT6.824-lab1] 批处理算法模型MapReduce]]></title><link>https://blog.youkuaiyun.com/IMISer2016/article/details/107296392</link><guid>https://blog.youkuaiyun.com/IMISer2016/article/details/107296392</guid><author>IMISer2016</author><pubDate>Sun, 12 Jul 2020 10:57:01 +0800</pubDate><description><![CDATA[开个新专题，总结下MIT-6.824分布式系统的实验。同时不熟悉golnag内存模型的朋友也可用python做实验，原理是一样的。

原文链接

Lab1-MapReduce golang version
Lab1-MapReuduce python version

MIT-6.824课程实验一，使用golang完成单机版本的MapReduce, 具体问题场景为WordsCount。需要通过的测试主要有：

正确性，与串行结果比较
可靠性，能应付某个作业失败的情况(主要是Worker失效)
可扩展性，增.]]></description><category></category></item><item><title><![CDATA[docker-compose编排部署多服务Web应用(python/fastapi, go/gin, nginx, mysql, redis)]]></title><link>https://blog.youkuaiyun.com/IMISer2016/article/details/106862809</link><guid>https://blog.youkuaiyun.com/IMISer2016/article/details/106862809</guid><author>IMISer2016</author><pubDate>Fri, 19 Jun 2020 19:53:16 +0800</pubDate><description><![CDATA[目前项目涉及到的基础设施有mysql, nginx, redis，服务模块有两个 python/fastapi 和 golang/gin。 如果本地部署的话需要配置的环境有点多，虚拟化（以docker容器形式）是目前（最）流行的部署方法。加上众多编排工具可选择，非常适合Frodo目前多服务的形式。本文先介绍项目的docker部署方法，再以此为例，谈谈docker-compose编排多服务应用的特点和需要注意的地方。希望本文对大家开始实践部署多服务的容器编排应用能有启发~

项目地址： python/fas.]]></description><category></category></item><item><title><![CDATA[Python-FastAPI异步博客开发（四）--加入Go语言！~]]></title><link>https://blog.youkuaiyun.com/IMISer2016/article/details/106781054</link><guid>https://blog.youkuaiyun.com/IMISer2016/article/details/106781054</guid><author>IMISer2016</author><pubDate>Tue, 16 Jun 2020 09:45:03 +0800</pubDate><description><![CDATA[Frodo-v2.0 没有添加新功能，而是将后端最重要的部分，后台API使用golang重构，python现在只负责前台模板的渲染。这样原本的单服务应用就成了多服务。本文将简介v2.0的调整思路和golang异步的特性，新版本的部署文档请参看项目地址

博客地址
项目地址
主要重构的模块为：

博文、用户、标签等的后台CRUD接口
缓存清理模块
JWT认证模块

why golang?
golang是年轻的语言，新世纪的静态语言。设计理念很好地平衡了C++和 javascript/python等动态语言..]]></description><category></category></item><item><title><![CDATA[Python-FastAPI异步博客开发 （三）异步特性篇]]></title><link>https://blog.youkuaiyun.com/IMISer2016/article/details/106781016</link><guid>https://blog.youkuaiyun.com/IMISer2016/article/details/106781016</guid><author>IMISer2016</author><pubDate>Tue, 16 Jun 2020 09:43:10 +0800</pubDate><description><![CDATA[异步篇最接近Frodo的初衷了。通信与数据的内容使用传统框架的思路是相同的。而异步思路只改变了若干场景的实现方法。

博客地址
项目地址
异步编程不是新鲜概念，但他并没有指定很明确的技术特点和路线。相关概念也不是很清晰，很少有文章能细致地说明白 阻塞/非阻塞、异步/同步、并行/并发、分布式、IO多路复用、协程 这些概念的区别与联系。这些概念在CS专业的OS、分布式系统课程中可能有设计，但具体实现层面可能鲜有涉及。具体到Python这门语言，我阅读了很多工业界、python届的工作者（或者称为pythoni.]]></description><category></category></item><item><title><![CDATA[Python-FastAPI 异步博客开发（二） 通信逻辑篇]]></title><link>https://blog.youkuaiyun.com/IMISer2016/article/details/106780975</link><guid>https://blog.youkuaiyun.com/IMISer2016/article/details/106780975</guid><author>IMISer2016</author><pubDate>Tue, 16 Jun 2020 09:41:24 +0800</pubDate><description><![CDATA[Frodo的第一个版本已经实现了，在下一个版本前，我将目前的开发思路整理成三篇文章，分别是数据篇、通信篇、异步篇。

博客地址
项目地址

本篇就来到实现具体功能的逻辑流程了，在Web应用汇总，我个人更倾向于将业务流程成为「通信」。因为是整个流程就是后台将数据组织加工发往前端，这个过程协议可以不同（http(s), websocket）, 方法可能不同（rcp, ajax, mq）, 返回的内容格式不同（json, xml, html(templates), 早年的Flash等）; 刚才讲的是前后台通信，.]]></description><category></category></item><item><title><![CDATA[Python-FastAPI异步框架博客系统开发（一）数据建模篇]]></title><link>https://blog.youkuaiyun.com/IMISer2016/article/details/106780904</link><guid>https://blog.youkuaiyun.com/IMISer2016/article/details/106780904</guid><author>IMISer2016</author><pubDate>Tue, 16 Jun 2020 09:38:02 +0800</pubDate><description><![CDATA[Frodo的第一个版本已经实现了，在下一个版本前，我将目前的开发思路整理成三篇文章，分别是数据篇、通信篇、异步篇。

项目地址
Frodo
简要系统分析
数据库设计是紧跟需求来的，在我本科学UML时，数据库设计是在需求分析和系统分析之后，架构设计之前的设计。但博客项目的需求比较简单，主要大需求:

内容管理（文章、用户、标签、评论、反馈、动态的增删改查）
管理员用户的验证、评论人用户的验证
小功能：边栏组件、归档、分类等

再简单地做一个系统分析：

博客前台页面（不需要认证，内容展示）

博文内容
博客.]]></description><category></category></item><item><title><![CDATA[强化学习笔记01：马尔科夫决策过程与动态规划]]></title><link>https://blog.youkuaiyun.com/IMISer2016/article/details/88984467</link><guid>https://blog.youkuaiyun.com/IMISer2016/article/details/88984467</guid><author>IMISer2016</author><pubDate>Tue, 02 Apr 2019 23:51:32 +0800</pubDate><description><![CDATA[Markov Decision Process and Dynamic Programming

Date: Match 2019
Material from Reinforcement Learning:An Introduction,2nd,Rechard.S.Sutton;
Code from dennyBritze, 部分做了修改；

文章目录Markov Decision Process...]]></description><category></category></item><item><title><![CDATA[Python异步编程技术概述(Asyncio生态圈+并发爬虫测试)]]></title><link>https://blog.youkuaiyun.com/IMISer2016/article/details/88595881</link><guid>https://blog.youkuaiyun.com/IMISer2016/article/details/88595881</guid><author>IMISer2016</author><pubDate>Sat, 16 Mar 2019 12:45:09 +0800</pubDate><description><![CDATA[Python 异步IO技术
异步(asynchronous)编程模式是相对于同步方式的另一种编程思路。 C10K的问题提出后， 各种编程语言都出现了解决高并发的技术栈， 而早在Python2时期， Twisted、Tornado和Gevent这三个库用不同的技术路径解决了高并发。[1] 其中就有用到Python的一些异步实现方法。 此文将对异步编程的基本思想和Python的实现方式进行阐述。
文章...]]></description><category></category></item><item><title><![CDATA[基于文本内容的推荐系统开发记录]]></title><link>https://blog.youkuaiyun.com/IMISer2016/article/details/81626702</link><guid>https://blog.youkuaiyun.com/IMISer2016/article/details/81626702</guid><author>IMISer2016</author><pubDate>Mon, 13 Aug 2018 11:19:47 +0800</pubDate><description><![CDATA[基于文本内容的推荐系统开发日记

这里将会涉及：


推荐模型逻辑
算法基本实现与测试（gensim等模块的调用）
内存溢出问题的解决
编写Python rest 服务接口


推荐模型逻辑

基本思路是围绕一个json文件展开，将文本对应信息保存在json中，json定时根据更新过后的字典库、语料库进行更新。

算法基本实现与测试

文本预处理

中文文本的预处理包含去标点、去停用词、分词（单独...]]></description><category></category></item><item><title><![CDATA[将机器学习应用嵌入到Web应用中]]></title><link>https://blog.youkuaiyun.com/IMISer2016/article/details/79452617</link><guid>https://blog.youkuaiyun.com/IMISer2016/article/details/79452617</guid><author>IMISer2016</author><pubDate>Mon, 05 Mar 2018 23:38:07 +0800</pubDate><description><![CDATA[Ch9:Embedding a Machine Learning Model into a Web Application


  前面的ML模型都是在本地运行计算的，此chapter介绍如何将模型应用在Web app上以获得实时学习、应用 
  这一章主要偏机器学习功能Web的简单开发，与算法关系不大。没有跳过反而收获不少。不得不佩服作者在构思’算法+系统‘时所作出的为读者充分考虑的思想


本...]]></description><category></category></item><item><title><![CDATA[Pyamf实际应用案例]]></title><link>https://blog.youkuaiyun.com/IMISer2016/article/details/79231783</link><guid>https://blog.youkuaiyun.com/IMISer2016/article/details/79231783</guid><author>IMISer2016</author><pubDate>Thu, 01 Feb 2018 18:09:08 +0800</pubDate><description><![CDATA[再次爬取基于Flex技术的某农产品每日价格历史数据


  这个是实习期间耽搁时间最长的项目了，通过这个对pyamf这个包算是很熟悉了。不得不说他的请求伪造真的好复杂。。。


顺便吐槽一下，像flash这种当今在网页上见得很少了，但是众多政府网站依然使用，接受html5就那么难吗？？？还是说懒得换架构和模式？？

网上对pyamf包的使用案例几乎没有，只能从国外找，1.23那天项目已经实践过一次]]></description><category></category></item><item><title><![CDATA[爬取基于Flex技术的网站数据]]></title><link>https://blog.youkuaiyun.com/IMISer2016/article/details/79151506</link><guid>https://blog.youkuaiyun.com/IMISer2016/article/details/79151506</guid><author>IMISer2016</author><pubDate>Wed, 24 Jan 2018 15:33:38 +0800</pubDate><description><![CDATA[爬取基于Flex技术的网站数据

Flex技术是网站运用flash方法与客户端进行数据通信，数据的格式可以是txt,json或amf等。 
AMF是一种二进制编码方式，其在flash传输效率高,以农业信息网数据为例，爬取的方式与一般ajax分析相同。通过抓包分析请求头和响应数据，然后构造请求、接受返回数据。 
github原文地址 
下面我以中国农产品批发市场每日价格行情http://jgsb.a]]></description><category></category></item></channel></rss>