Ruby.菜耕地

一共有22课，刨去前面导入一课，上节课检索，剩下二十课，最好按照<3-22>均分，比如一天四课这样子。当然了，精力分配来说可能只是理想状态，就比如今天肯定最多只能把23两课解决。或者采用一种，头天，代码+截图，第二天回忆+自述笔记这种方式，既加倍速度，又加倍记忆。3.1 排序数据SELECT prod_name FROM Products;子句（clause）：...

目录1.最基本的抓站2.使用代理服务器3.需要登录的情况3.1 cookie的处理3.2 表单的处理3.4 反”反盗链”3.5 终极绝招4.多线程并发抓取5.验证码的处理6.gzip/deflate支持7. 更方便地多线程8. 一些琐碎的经验【一万个声明：】这个不是博主写的，转载的，稍作了一些排版，因为找不到原有网址了，如有侵权或者原作需要，联系...

休息几天，早睡早起，对于生活和远方，又有了追逐的勇气。比如坑挖多了，既要占住新坑的同时，也要不断地填满旧坑。上周四结束的Linux基础的课程属于python学习中的一环，但经时较久，不能每日上手唯恐遗忘，所以这里做一个小一点的回顾总结，把每篇链接放到这篇汇总一下。针对稍微印象不那么深刻又重要的会稍作加强以便记忆。在11天入门深入python的课程典藏中，Linux的学习处于这个部分。这个版块除...

武汉初雪，实验室的小伙伴们都很激动，冲到窗前看，我被代码缠住，没能冲到一线，有一个男孩子经过正对着窗前的时候发现窗户是开的担心着凉，善意的帮忙合上，又是人间欢喜生活美好的一天。所以，又到了八小时之外的时间，来填一个久挖未善的坑。昨天是P91结束的，今天复习一下，就往后走了。P91是对软链接的实战介绍，对于演练目标中，123前一章笔记都有，所以这里主要记住，添加软链接最好使用绝对路径。...

起因，是需要收集微博大量主题语料用作分析，之前朋友给我推荐过selenium，（懒得学星人一直没有上手。直到拖了一段时间内心发慌后，还是屈服了开始上手。前两个截图是使用git软件在anaconda默认的Python环境下安装selenium，第一次使用的时候前面添加了python3，报了错，第二次的安装命令分别是：#我是安装pip install selenium#我是查看pip ...

学习忌中断与不内化，遗憾的是，两样我都占全了。本来三天就能学习完的课程，硬是又拖了一周，所以，今天无论如何得把这部分给学完了。P80是用户管理里的chmod演练 -R递归修改目录权限，有三个演练目标，也就是rwx的三个组合，另外两个就是改py改test目录下的权限，常用的有这些，用chmod 后跟权限状态进行修改。复习完这部分练习，进入今天的主题，也就是系统信息相关命令，这些命...

因为组里位置从五楼搬到了三楼，没来得及去占座的我刚好赶上最后一波搬东西。所以正好从帮忙清洁的阿姨手里捡回几本看起来有意思的书，比如Hadoop实战，Hive编程指南，还有R语言实战，这本是同门一起带回来的。哈哈哈有点开心，毕竟图灵系列的书是真的很贵。然后接着自己买的深入浅出数据分析那本，觉得可以对R语言下手了。果然照着那本的附录，把R语言下下来安装好。下载好以后，桌面出现两个图标...

即使今天稍微乱了一点，想早回家，不能中断练习。所以吃粒奶酪条，接着打开页面。先复习上次的最后1P视频，也就是新建用户的熟悉练习。03.用户管理提示：创建用户/删除用户/修改其他用户密码的终端命令都需要通过sudo执行3.1 创建用户/设置密码/删除用户参看命令表格，相关命令及作用和说明再对文件进行练习。提示：创建用户时，如果忘记添加-m选项指...

水滴石穿，成年人知己不足，当应该付出，而不是退缩。今日份学习是60-70部分，内容是用户权限与组管理。用户权限相关命令【用的不多】目标用户和权限的基本概念 用户管理 终端命令 组管理 终端命令 修改权限 终端命令01.用户 和 权限 基本概念1.1 基本概念用户 是 Linux系统工作中重要的一环，用户管理包括 用户 和 组 管理在Linux系统中，不论是由本机...

有点匆忙的一天，因为刚从yc回来，工位被回收的缘故，留在原地办公，没能早起，所以一天的安排有些松散。接着学习今天内容，复习50部分的。这是上次的学到一半的，这里把剩下部分的也跟上。复习了ssh链接Ubuntu，使用一下“touch”与“rm”的用法。接下来就跟着远程管理命令课程来练习，PuTTY的安装和exit退出登录。3）Windows下SSH客户端的安装Putty 官网...

重听40，对“echo”和重定向又复习一下，因为隔了几天，对于“cat”和gedit又熟悉了一次。并且，echo 与touch的区别在于一个可以指定内容创建文件，一个是直接新建文件，。现在进入41 其他命令 管道的概念和基本使用首先对管道进行介绍，6.3 管道 " | "Linux允许将 一个命令的输出 可以通过管道 作为另一个命令的输入 比如：水管，这头进水，另一头出水。在这...

复习完昨天的P30，也就是文件结构，tree的使用能使目录结构以树形显示。-d 只显示目录 默认会把目录文件都显示出来，颜色区分，蓝色文件夹，白色文件。4.2 cp cp 命令的功能是讲给出的文件或目录复制到另一个文件或目录，相当于DOS下的 copycp 源文件位置 目标位置（当前目录 -“.”）扩展：-i 提示 覆盖前给个提示-r 类rm操作 文件复制需要加 另外 ...

问题截图： 描述：在跟linux基础课程时候，按照老师的演示，敲下tree发现，提示“程序tree尚未安装”，查了一下发现linux默认是没有装的，按照命令提示，输入了sudo apt install tree 出现以上错误。解决方法：网上说“上一次的apt-get指令没有正确完成且关闭：”，进行强制解锁就行。 继续在命令行中输入“sudo r...

老规矩，复习昨日最后一个视频，缓缓心神，把准备工作做好。这一部分是文件和目录常用命令，前半部分，稍作了讲解。这部分老师进行实践讲解。01.查看目录内容1.1 终端实用技巧1） 自动补全 tab文件/目录/命令 的前几个字母敲出来后， 按下tab 没歧义 会自动补全还存在其他 文件/目录/命令 两下tab 出现 提示可能出现的命令2）上下光标 选择曾经使用过的命令 退...

复习一下昨天的Ubuntu系统与Windows系统目录结构的简介，用Ubuntu走演示。以下是一些主要目录速查表：Ubuntu图像界面的基本使用任务栏，左侧，类Windows窗口操作按钮，类Mac左上角，Windows在右侧。借助Windows的窗口一些操作，如菜单系栏的一些操作，进行说明Ubuntu中的菜单栏在一直在最上面。同一时间，只能有一个窗口激活使用。常用Linux...

文件和目录目标理解 Linux 文件目录的结构01. 单用户操作系统和多用户操作系统（科普）单用户操作系统：指一台计算机在同一时间 只能由一个用户 使用，一个用户独自享用系统的全部硬件和软件资源Windows XP 之前的版本都是单用户操作系统多用户操作系统：指一台计算机在同一时间可以由 多个用户 使用，多个用户共同享用系统的全部硬件和软件资源Unix 和 Linu...

操作系统的发展史（科普章节）这部分目标：了解操作系统的发展历史知道 Linux 内核及发行版的区别知道 Linux 的应用领域操作系统的发展历史1.1 Unix1965 年之前的时候，电脑并不像现在一样普遍，它可不是一般人能碰的起的，除非是军事或者学院的研究机构，而且当时大型主机至多能提供30台终端（30个键盘、显示器)，连接一台电脑为了解决数量不够用的问题1965 年左...

继对话系统后，接着给自己挖坑。专利里写了自己暂时还不太确定能实现的部分，于是先填一个小坑，这里发现主要研究方向的领域词典不够完善，或者说根本就没有基础词库，在查资料时候发现：其他方向都开源一部分基础词库。于是有一个小思路，可以在每日工作下，完成一部分标注，为了组内工作，也为了毕业的数据基础吧。海量词库构建（1）：概览 - 简书 https://www.jianshu.com/p/12b007...

最近在群里看到一个讲座通知，可视化的老师会来学校开一个主题讲座，刚好这个主题是最近关注的一篇文章，又刚好这位老师是之前选的一门专业必修课的教材编著者，再就是刚好是出差回来第二天下午的讲座。出发去之前又仔细把论文看了一下，想了几个问题，“围绕论文相关的，围绕论文+课题发散的，围绕科研+生活发散的”，实在还是觉得有些不妥，需要再改改。于是去知乎上搜索了一圈，整理一下答案，并且把有用的贴出来，来源放在最...

老规矩，上笔记之前先放资料及目录上面这两本 是老师给出的官方参照，第二本是教材，第一本是实验手册，步骤比较详细。上面是老师提供的一些参考书，下面是一些有关的软件。不得不说老师真的用心。说明一下，我先在实验室的电脑上试装了两个版本的，然后在自己笔记本电脑上也装了，因为上课需要，所以课上练习以笔记本为主，课下学习主要是实验室机子。hadoop的安装在安装之前需要...

前面推荐一个bgm 未闻花名口琴版<iframe frameborder="no" border="0" marginwidth="0" marginheight="0" width=330 height=86 src="//music.163.com/outchain/player?type=2&id=33911781&auto=1&height=66"&...

起初用ps处理个小图，算是顺手完成需求。因为boss指定了设计加上素材已经找好，算上文案参照图，没用多久就可以出了一套图。第二天，boss决定把整套图交给我。嗯这件事情教导我们老板给的任务不要这么着急这么噌噌噌的一下完成，( Ĭ ^ Ĭ )否则，不仅得不到表扬，还会~得到更多的任务！就是这样子的！所以我现在有两个任务：1.手绘替换背景板；2.完成粗略设计网页出图；3.完成...

之前因为在网易云课堂上面学习，视频里的老师用的是webstorm，并推荐给我们说是最好用的js开发工具。嗯，用了一段时间确实不错，可是，前端水太深，关于这些，实在觉得熟能生巧。而我一心想准备考试的人，偶尔对着php三百例做一两个小例子的菜鸟来说，动了想专门用phpstorm的心思。说干就干，正好旁边的姑娘对html感兴趣，我一看想起慕课能够在线编译，那我练习一些简单的标签就没必要留着webstor...

我给自己十天的学习时间，希望能够做出一个有特点的个人网站。其中大概涉及了HTML5、CSS3还有JavaScript，起初跟着网易云课堂里的教学视频自己下载了webstorm开发软件，实现视频里讲的代码。可能刚开始的静态网页里一些标签实现都比较简单像“<p><a><img><h><br>”一些不带属性的标签实现起来也好理...

老师用的参考书是陈为的《数据可视化的基本原理和方法》。1、收集5个优秀可视化案例，并且用文字描述每种视化图表的含义，以及整个案例讲述故事。列出5个案例种出现过的颜色，并大概估计每种颜色的使用比例。

复习思路-复习方向-复习要点复习思路：因为是走兴趣方向，一直对底层的这些更感兴趣，但是偏差的是没有主要做这些了，可以通过考个中级网络工程师来系统过一遍，因为今年没有考证打算所以可先把更有意思的章节刷一遍。复习方向：先走基础知识中的部分章节过渡到设计管理的网站管理/类系统使用。两部分：基础知识/设计管理 思维导图如下，主要学习内容有以下：【考试形式】（1）...

最近又开始懈怠更博的事情，反而有个朋友邀请去了知识星球做简单的读研每日分享，所以总结没有停止，每天都定期输出只是不同平台而已。但在技能性总结来说，优快云博客更占优势。废话不多说，整理完“三月→六月”的论文笔记“五万→一万”以后，手头上主要的任务是两个主题专利的书写，之前例会上也有零散的传授我们写法，还是没有系统的过一遍。所以接下来，主要是针对“专利写作”的各方面准备及资料进行整理和汇总。说起...

数据分析师最佳实践1快速入门：认知数据分析 数据分析概念·数据分析是什么：数据分析概念及应用场景 ·数据分析分析什么：分析方法、应用领域 数据分析价值通过数据分析发现商机：发现数据之间的关联，预测趋势 通过数据分析做精准营销...

哇，转载之前，想先抱怨一下，这个真的太难了。介绍一下pycocotool是个什么东西。来自github上的译文。COCO是一个大型图像数据集，设计用于对象检测，分割，人物关键点检测，填充物分割和字幕生成。该软件包提供了Matlab，Python和Lua API，可帮助加载，解析和可视化COCO中的注释。有关COCO的更多信息，请访问http://cocodataset.org/，包括...

别问，问就是项目需要，我是一个没有感情的任务机器。最近项目需要收集各种信息类的采集相关。简数数据采集平台提供针对微信公众号文章的采集,并可以轻松的发布到WordPress等系统。 一、简数微信公众号文章采集主要功能特色 1）可按公众号名称或ID、关键词采集，并支持输入多个同时抓取； 2）自动接入多家商业IP代理商，使数据采集得到有效保障； 3）图片下载多种...

需求：将爬到的数据中两列，合并为一列，并用逗号“，”分隔开→右边是目标形式，所以需要改动一下左边的，问了同门和她师兄，得到可以实现链接查找的肯定回答后。开始百度答案。尝试了两种：答案①.1、首先在打开的excel表格中输入几组数据，需要将这几组数据合并到一个单元格并用逗号隔开。2、在C1单元格中输入合并公式：=A1&","&B1，双引号需要使用英文输入法输...

项目需要，所以学习一下，自然语言处理，主要是【知识库构建】、【自动摘要生成】、【个性推荐算法】、【聊天机器人|问答系统】这几个部分的应用。有哪些部分在我们学习NLP过程中提的比较多的呢？这是老师在讲课开始提的一个问题，紧跟着回答了，中文分词 依存文法分析 篇章分析自动摘要 实体提取 文本相似度计算知识库构建 聊天机器人 问答系统等中文分词链接自取：结巴、ik...

篇章分析自动分析出文本中的段落层次结果 http://open.memect.cn/section案例分析经过分析，有几种方法，比如分析每行间是否为最后一个字，还有标点符号，还有日期间隔。使用工具可以完成段落间的分割。自动摘要左侧为老师笔记，针对第一个，老师认为比较好用，第二个做得比较好的很少。知识提取文本相似度计算已经有一些工具比较成熟，可以直接搜索gith...

参考链接：百度开源 FAQ 问答系统（AnyQ）安装---Linux（无docker） - nopSled - 优快云博客 https://blog.youkuaiyun.com/qq_28385535/article/details/83213822 自动问答系统流程 - Just for fun的专栏 - 优快云博客 https://blog.youkuaiyun.com/QFire/article/d...

知识库构建在垂直领域容易被忽视的内容，在年报中找到案例中“raw_text”中一条，变动原因。这里提供一个开源的工具 - 开放知识图谱。对于其中的列表资源，可以点进去看一下。问答系统与聊天机器人不同，问答系统较为全面，其中用户通过查询发起请求，对话管理器中将问题路由进行分发。聊天机器人的话，老师提供另一个思路-语料，对问句相似度计算（余弦距离），找到语料中接近的...

学习起因是有时间，并且一直感兴趣。只是零零散散的接触，通过百度科普，没有过一遍，那就过一遍吧。有时间海绵里的水什么的，就挤出来把这个清单里的都过一遍吧！以下是笔记Linux的作用：大部分的商业服务器 开源软件的支持 大数据分析、机器学习首选Linux 常见设备是以Linux系统为基 例如路由、手机等课程安排如下：研发需要用到的服务器Linux知识Linux 用作：...