学海无涯苦作舟的博客

相信很多人都听过DevOps，但你知道什么是ModelOps吗？DevOps是软件工程中一个常见的文化精神，并重软件开发（Dev）和系统维运（Ops）团队之间的沟通，使得两方在软件系统上线的协作能更加快速、频繁和可靠。可想而知，ModelOps是导入DevOps精神在以AI模型为核心的系统开发和维运流程中，因此流程涉及常见的AI模型（机器学习、时间序列模型、统计模型等）、数据质量等相关议题。除了软件工程本身，ModelOps也追求提升模型从第一步到最后一步的开发效率，使得模型上线更加快速、频繁，并同时确

自2020年初疫情爆发并曼延全球之后，我们在AI的普及与应用上面，都能看到一个加速的情况。首先可以从比较宏观的一些数据，来看AI对于现在一般企业及一般个人的整体影响与发展。企业导入AI的困难与挑战在哪？我相信大多数人在过去几年，已经听到非常多AI人工智能的发展与应用，而AI跟数据其实密不可分，事实上，最近在企业采用AI的过程中，会听到一个常见的痛点就是，有超过一半的时间，企业几乎都在处理数据。在机器学习项目任务常见的时间分配中，前半部的时间都将AI的导入和应用，完全聚焦在数据的清理（Data Clea

写烂code虽然可耻,但是可行.算是瞎忙半天的纪录吧哈哈目标:在windows上像.py那样直接执行(含有中文).R的档案,如果是不含中文的R_code制成.exe网络上很多方法但如果含中文的话可以用这个办法创一个Rcode叫他yc1.R然后里面只写一行source(‘C:\Users\yanchen\Desktop\yc2.R’, encoding = ‘utf-8’)使用名称要改,放在桌面并含有中文名称的档案名称叫做yc2.R然后去执行yc1.R的话就可以执行啰!写一个txt,内容为

在Python网页爬虫搜集资料的过程中，除了能够将资料存入资料库或汇入成档案外，另一个最常应用的场景就是“消息通知”，也就是在利用Python网页爬虫搜集到所需的资料后，透过讯息通知的管道来推送资料结果。举例来说，[Python爬虫]Python爬虫结合LINE Notify打造自动化讯息通知服务文章整合了LINE Notify服务，来通知使用者Python网页爬虫获得的降价消息，而此则要来和大家分享另一个消息通知管道的结合，也就是电子邮件。本文延续[python]详解Scrapy框架爬取分页资料的实.

日常生活中，每个人都有关注的事情，像是演唱会门票的开卖、喜欢的商品降价或新电影上档等，而为了要及时自动取得这些资讯，Python网页爬虫就被广泛的使用，除了将爬取的信息透过[Python实战应用]Python寄送Gmail电子邮件实战教学文章介绍的电子邮件进行通知外，另一个备受欢迎的接收通知管道就是LINE。而LINE官方提供了LINE Notify的服务，只要完成和LINE网站的连动设定，就可以通过LINE Notify推播或传送消息至目标使用者的LINE中。本文即以Udemy线上课程网站为例，利.

在现今大多数的网站，不管是注册成功、重新设定密码、优惠消息或新商品上架等，都会透过电子邮件来通知客户，是网站中不可或缺的传递消息方式。除此之外，也有开发人员在运行爬虫时，会将所爬取的信息透过电子邮件来通知。从以上的情境可以知道，电子邮件使用的频繁及对网站功能的重要性，所以本文将利用Visual Studio Code开发工具，介绍如何透过Python来寄送电子邮件，并且客制化邮件样版，重点包含：基本电子邮件内容取得Gmail应用程式密码设定SMTP伺服器(SMTP Server)电子邮件内容增加图.

在利用Scrapy框架开发网页爬虫的过程中，成功取得想要搜集的资料后，下一个步骤就是资料的储存，像是存入资料库或是档案中等，这时候，就会需要使用到Scrapy框架的项目资料模型及管道资料模型管道组件（模块），来帮助开发人员建立好维护的资料处理方式。因此本文将继续[Scrapy教学5]掌握Scrapy框架重要的XPath定位元素方法文章所建立的Scrapy网页爬虫专案，来和大家分享如何将爬取到的网页资料，存入MySQL资料库，其中的重点包含：Scrapy spider网页爬虫粗糙的项目资料模型崎cr.

Scrapy网页爬虫框架除了提供[Scrapy教学4]掌握Scrapy框架重要的CSS定位元素方法文章中所分享的css（）方法（方法）来定位网页元素（Element）外，也提供了xpath（）定位方法（方法）让开发者使用。XPath（XML路径语言）是一个使用类似档案路径的语法，来定位XML文件中特定特定的（节点）的语言，因为能够有效的查找节点（节点）的位置，所以也被广泛的使用在Python网页爬虫的元素（Element）定位上。本文就延续使用[Scrapy教学4]掌握Scrapy框架重要的CSS定位.

想要开发的Python网页爬虫的朋友，知道都会定位元素（元素）是一个非常重要的动作，在[Scrapy3教学]如何有效利用Scrapy建立框架|网页爬虫看这篇就懂文章中，使用了Scrapy框架的BS4模组（Module ），也就是BeautifulSoup的语法，来示范爬取目标网页中的HTML元素（Element）。但事实上，Scrapy本身框架就有提供自己的定位元素（元素）方法（方法），包含CSS与XPath的两种，而本文将延续使用[Scrapy3教学]如何有效利用Scrapy框架建立网页爬虫看这篇就懂.

在「python」实用的Scrapy框架安装指南，开始你的第一个专案-第2篇文章，完成Scrapy框架的安装以及专案的建立后，接下来，就可以在其中开发网页爬虫，而在开发之前，又有哪些基本的观念需要知道?本文将一步一步带大家来进行了解，重点包含：Scrapy网页爬虫建立方法Scrapy网页爬虫结构Scrapy网页爬虫执行方法一、Scrapy网页爬虫建立方法首先，回顾一下上一篇文章中，在建立Scrapy专案时，可以看到如下图的执行结果：其中，提示了建立Scrapy网页爬虫的方法，也就是如下指令：.

​继「python」快速入门Scrapy框架的5个执行模组及架构——第一篇文章，了解Scrapy框架的5个主要模组相互之间的关系与执行流程后，本文将带大家在Windows环境中，安装Scrapy框架，并且提示可能会遇到的错误该如何解决，最后，建立属于您的第一个Scrapy专案，来一窥其中的档案结构。重点包含：安装Scrapy框架建立Scrapy专案Scrapy专案结构一、安装Scrapy框架首先，Scrapy框架的安装方式，就像安装Python的套件(Package)一样，透过以下的指令即可进.

一般想要自动化搜集网页上的资料时，普遍都会使用像BeautifulSoup或Selenium套件开发Python网页爬虫来取得，但是，如果所要爬取的资料量较大，拥有复杂的逻辑处理及效率的要求，这时候就会建议使用Scrapy框架，来帮助开发人员建立一个维护性较好的Python网页爬虫。而要使用Scrapy框架来开发大型的Python网页爬虫专案前，本文就先来带大家了解一下Scrapy框架的以下三个基本观念：Scrapy框架是什么Scrapy框架模组Scrapy框架执行执行流程一、Scrapy框架是.

​网络的普及，为了要自动化的搜集资料，提升工作效率，相信Python网页爬虫是最常使用的方法之一，而要实作Python网页爬虫，最受欢迎的三大工具莫过于BeautifulSoup、Selenium及Scrapy，其中各自的主要特色以及使用时机，本文就来为大家进行简单的分享与比较。一、BeautifulSoupBeautifulSoup是一个撷取HTML/XML内容的套件，提供了非常多友善的方法(Method)，协助开发人员可以快速搜寻及取得HTML/XML中的元素，也因此被广泛的应用在Python网.

本系列文章为【2020年度十大Python函式库-人工智慧·机器学习必备】的最后一篇。上一篇介绍了PyTorch版的Keras「PyTorch Lightening」让你告别没完没了的Debug！另外还有微软出的Hummingbird让你不用重新设计新模型；另外还有可以将高维度资料视觉化的「HiPlot」，请点此看「python」2020十大Python函式库有哪些？快来看看~(3)阅读了解！十大Pytho函式库的最后一段路,一起来看看你会学到什么!HiPlot几乎每个数据工程师都处理过高维度资料（

本系列文章为【2020年度十大Python函式库-人工智慧·机器学习必备】的第三篇。上一篇介绍了美化了Python错误信息的「Pretty Errors」，堪称是疗愈系的工程师的debug神器、还有「Diagrams」让工程师不需要使用设计软件，只要使用Python就能画出美轮美奂的云系统架构图。请点此看「python」2020十大Python函式库有哪些？快来看看~(2)阅读了解。python函式库里竟然有Hummingbird?它的功能是…?​Hydra与OmegaConf：结构化复杂的机器学习

本系列文章为【2020年度十大Python函式库-人工智慧·机器学习必备】的第二篇。上一篇介绍了把单调的「命令列介面」变花俏的Python函式库：Typer、Rich与PyGui，除了可把命令列/终端机界面变彩色外，还可以加入表情符号与特效等。请点此看上一篇阅读了解。第二篇介绍Python函式库的文章会有哪些内容呢？这篇也不能随便略过呀！PrettyErrors：将Python丑陋的bug信息变漂亮Python已经是言简意赅的程序语言了，但是当有bug时，它的错误信息输出（参见下图左侧）也是一样会让

十大最强Python函式库，里面的东西相信你已经迫不及待想知道啦！国外的机器学习与资料科学顾问公司「Tryolabs」每年底都会选出年度十大最强Python函式库。去年（2020）年尾不例外。根据Tryolabs 提出的免责声明，2020 年他们在精选出10 大函式库时，在很大程度上是受到机器学习与数据科学的影响——尽管其中有几个确实对「非」数据科学的人士非常有用。因此，除了10个入选的Python函式库之外，他们决定再从遗珠之憾中，挑出几个他们觉得同样重要的数据库，列入「荣誉表扬（Honorable

更新完树莓派内的套件，接下来让我们了解Python。Step1：确认有无安装Python▲输入指令python3 -–version指令：python3 --version▲ 当前版本如果发现内建并没有安装的话，也可以输入指令手动安装指令：sudo apt-get install python3▲如果安装完成只需要输入python3 ，就可以进入编程模式再来介绍一下Pthon 管理工具pip：指令：pip3 list▲ 查看已安装的套件指令：pip3 insta

一、前言list索引、list反向索引、list新增元素、list删除元素、list删除所有指定元素、list循环、循环生成list、元素是否存在list、list组合与复制、list常用函数、list统计运用、循环访问list每个元素。看完文章list基础运用畅行无阻，大部分会用的方法都在这里了，客官慢用，当字典查询二、list用法全解析完整代码# a_list是一个lista_list = [1，1，1，2，3，4，5，7]b_list = [100，200]#索引a_l

Python LauncherPython Launcher是Python for Windows才有的功能. (注一)Python Launcher 的出现, 让我们可以不必依赖环境变数PATH 的设定来简化python 执行档的使用, 同时也简化了多个版本的python 同时存在时的管理工作. (试想如果你的系统里安装3 或4个python 时, 你到底要如何指定使用其中一个版本?)Python Launcher py.exe是自Python 3.3版起,随附在Python for Window