Ruby.菜耕地

一共有22课，刨去前面导入一课，上节课检索，剩下二十课，最好按照<3-22>均分，比如一天四课这样子。当然了，精力分配来说可能只是理想状态，就比如今天肯定最多只能把23两课解决。或者采用一种，头天，代码+截图，第二天回忆+自述笔记这种方式，既加倍速度，又加倍记忆。3.1 排序数据SELECT prod_name FROM Products;子句（clause）：...

先回答三个问题：为什么学？大概是个什么方式，怎么学？因为金三银四学习好时光，因为知识越用越新。大概是一个对着书，敲着练习，完成实验心得，截图+po博文的方式。最好在较短时间内，复习完这本SQL必知必会(之所以是说复习，是因为之前使用过也学习过，但并不够深入)，对以MySQL的掌握程度来看，考虑进一步的优化问题，能熟练完成crud（增删改查），包括DQL、DML，对于DDL的学习操作也要掌握...

408四大块之所以非常重要，很大一部分原因在于编程到实现以及传输的过程中，涉及很多原理性的东西。作为科班出身的学生，在学习过程中可能把科目单独学习了，没有串起来联合理解。恰逢春招，金三银四正式学习查缺好时光。这部分讲的是Python开发中的一些学习笔记，关于网络编程的基本概念。博文关键词：IP、端口、socket

今天学习的是GIL（全局解释器锁）、深拷贝、浅拷贝，平时敲代码的时候没有特别注意，有针对性的学习一下。一般是面试题中有这些点，但在Python编程学习过程中，也是会涉及到的，所以干脆就一并再过一遍。如何解决...

做好事要趁白天，所以上次晚上没有整理完的部分除了直接补在上篇csdn_Part 03 编程部分以外，还需要把自定义函数及爬虫部分的给补上，今天最好把笔记全部补完！好推进下一部分，虽然数据分析理论知识并不作为编程的主要思想，但是配合统计学理论，在数据处理及后续发展中还是占很重的比例，所以需要提上日程。【本篇关键词】：匿名函数、自定义函数

听完几首歌，开始今天的爬虫课程，这部分主要是对管道使用的介绍，本部分讲完，后面再一个综合案例就结束了，最好今天能够把这部分搞熟，包括案例的理解，可以结合前五篇一起回顾scrapy的特性和那张部件流程图。

昨日开了三篇，一篇爬虫，一篇复习计划，一篇数据分析笔记，三篇都没完成，这篇也是拖到今天，不是因为昨天一天没干活，而是在本地听了scrapy传zhi播客的导入视频，讲解的较为细致，从scrapy的特点到内核组成，所以会另起一篇讲关于笔记和理解，今天这部分依旧是接着前面几篇。

接着上篇存储到本地文件后，对于规则与爬取对象的选取这部分工作放到了Selector选择器部分，可以理解为对于目标的解析方法。本节关键词：直接使用 | xpath | 正则匹配 | CSS

根据计划，今天接着跟scrapy课程，上篇博文【爬虫计划】Scrapy框架的学习及跟课学习 | csdn_Part 01 认识Scrapy框架学到创建新项目及对于两种命令（全局命令和项目命令）的查看及使用，这部分内容跟着练习一个小的“我爱我家”的网站处理项目，重点在于获取使用的基本方法，尽量预期在今天完成四个小时的视频课，并完成三篇以内的相关博文。如有必要可进行下一步扩充，在网盘又查了一下应该...

【引言】深夜的宁静，好像更适合学习，尤其是一个人的房间。晚上跟老朋友打了电话，谈论现在和未来。挺好的，比以前坦诚，比以前更相信努力有用。所以加上晚饭前后跟导师的讨论，包括技术栈的需要，终于对爬虫框架动手了。另：这是买数据分析挖掘课程送得五个课程之一。全课程接近四个小时，最好两天搞定，快速上手并完成项目部署基本操作。

学习忌中断与不内化，遗憾的是，两样我都占全了。本来三天就能学习完的课程，硬是又拖了一周，所以，今天无论如何得把这部分给学完了。P80是用户管理里的chmod演练 -R递归修改目录权限，有三个演练目标，也就是rwx的三个组合，另外两个就是改py改test目录下的权限，常用的有这些，用chmod 后跟权限状态进行修改。复习完这部分练习，进入今天的主题，也就是系统信息相关命令，这些命...

即使今天稍微乱了一点，想早回家，不能中断练习。所以吃粒奶酪条，接着打开页面。先复习上次的最后1P视频，也就是新建用户的熟悉练习。03.用户管理提示：创建用户/删除用户/修改其他用户密码的终端命令都需要通过sudo执行3.1 创建用户/设置密码/删除用户参看命令表格，相关命令及作用和说明再对文件进行练习。提示：创建用户时，如果忘记添加-m选项指...

之前专利推倒重写，心情沮丧了三秒，开始新探索。虽然已经用了正则表达式这块，但总归是不是很熟悉。往在小破站上搬运一定资源后有同学者来讨论遇到的问题。还得倒回去补课才能尝试解决，所以趁着放弃回家的周末，干脆把这部分刷过去好了。使用的教材是，微信读书出的网页版，试水。1.前言首先介绍一下：什么是正则表达式？这个模块就是re。为什么需要用正则表达式？怎么用？2.正则表达...

水滴石穿，成年人知己不足，当应该付出，而不是退缩。今日份学习是60-70部分，内容是用户权限与组管理。用户权限相关命令【用的不多】目标用户和权限的基本概念 用户管理 终端命令 组管理 终端命令 修改权限 终端命令01.用户 和 权限 基本概念1.1 基本概念用户 是 Linux系统工作中重要的一环，用户管理包括 用户 和 组 管理在Linux系统中，不论是由本机...

有点匆忙的一天，因为刚从yc回来，工位被回收的缘故，留在原地办公，没能早起，所以一天的安排有些松散。接着学习今天内容，复习50部分的。这是上次的学到一半的，这里把剩下部分的也跟上。复习了ssh链接Ubuntu，使用一下“touch”与“rm”的用法。接下来就跟着远程管理命令课程来练习，PuTTY的安装和exit退出登录。3）Windows下SSH客户端的安装Putty 官网...

重听40，对“echo”和重定向又复习一下，因为隔了几天，对于“cat”和gedit又熟悉了一次。并且，echo 与touch的区别在于一个可以指定内容创建文件，一个是直接新建文件，。现在进入41 其他命令 管道的概念和基本使用首先对管道进行介绍，6.3 管道 " | "Linux允许将 一个命令的输出 可以通过管道 作为另一个命令的输入 比如：水管，这头进水，另一头出水。在这...

复习完昨天的P30，也就是文件结构，tree的使用能使目录结构以树形显示。-d 只显示目录 默认会把目录文件都显示出来，颜色区分，蓝色文件夹，白色文件。4.2 cp cp 命令的功能是讲给出的文件或目录复制到另一个文件或目录，相当于DOS下的 copycp 源文件位置 目标位置（当前目录 -“.”）扩展：-i 提示 覆盖前给个提示-r 类rm操作 文件复制需要加 另外 ...

老规矩，复习昨日最后一个视频，缓缓心神，把准备工作做好。这一部分是文件和目录常用命令，前半部分，稍作了讲解。这部分老师进行实践讲解。01.查看目录内容1.1 终端实用技巧1） 自动补全 tab文件/目录/命令 的前几个字母敲出来后， 按下tab 没歧义 会自动补全还存在其他 文件/目录/命令 两下tab 出现 提示可能出现的命令2）上下光标 选择曾经使用过的命令 退...

复习一下昨天的Ubuntu系统与Windows系统目录结构的简介，用Ubuntu走演示。以下是一些主要目录速查表：Ubuntu图像界面的基本使用任务栏，左侧，类Windows窗口操作按钮，类Mac左上角，Windows在右侧。借助Windows的窗口一些操作，如菜单系栏的一些操作，进行说明Ubuntu中的菜单栏在一直在最上面。同一时间，只能有一个窗口激活使用。常用Linux...

因为十月底开始出差，博客开始微停更。除了每日上传【云胡实验室】的稿子，代码敲得不多，虽也能用。但如卖油翁所说，无他，手孰能尔。所以，还是请坚持下去。面向工作编程，如果实在有些松懈没有动力的话，或者哪怕再累，实现一个小demo解救自己沉浸生活的灵魂一下吧。今日份是python的linux基础部分，巧的是，b站刚刚更完这部分，之前感兴趣自己折腾过一段时间，加上这学期新开的大数据课基于Ubunt...

说好七天学完，估计七天是学不完了。今天和几个已经实习的同学聊了聊，和没有实习准备考公的同学聊聊。有太多感受，这里不一一叙述。唯一深刻的感受就是应该好好学习，保持学习的心态保持一直进取的状态。 这是今天敲的第一个结果：格式化输出。接着昨天的学习，今天学完day1好吗？答应自己，下雨十点送姑娘回宿舍，这个时候安静把课听完，不要吵。笔记不够截图来凑...

首先照例介绍一下学习的环境和背景，就像程序员无限入坑一样。一面面临着毕业设计的紧迫，一面跟着传zhi博客的七天视频来学习python，每天呆在类似于实验室的一个教室，和一群大牛坐在一起，深感惶恐。上午和下午完成当天的文档任务，晚上就来自学py，在两个网页的帮助下顺利完成了python编译环境的配置和编译器的安装。嗯，顺便表白hack字体，确实美的不得了。 为了便于各位...

之前因为在网易云课堂上面学习，视频里的老师用的是webstorm，并推荐给我们说是最好用的js开发工具。嗯，用了一段时间确实不错，可是，前端水太深，关于这些，实在觉得熟能生巧。而我一心想准备考试的人，偶尔对着php三百例做一两个小例子的菜鸟来说，动了想专门用phpstorm的心思。说干就干，正好旁边的姑娘对html感兴趣，我一看想起慕课能够在线编译，那我练习一些简单的标签就没必要留着webstor...

把努力当成你的一种习惯，而不是一时的热血。 很久没聊聊学习进度了，说没有学习吧也不对，说学习了吧又算不上。但是构建个人网站的梦想确实实现了一小步，购买了个人域名和云服务器，和一个朋友一起享受腾讯云的学生帮扶政策“一元每月服务器”。从抢认证资格那天中午十二点开始浑身热血在霹雳作响。 服务器的开始...

我给自己十天的学习时间，希望能够做出一个有特点的个人网站。其中大概涉及了HTML5、CSS3还有JavaScript，起初跟着网易云课堂里的教学视频自己下载了webstorm开发软件，实现视频里讲的代码。可能刚开始的静态网页里一些标签实现都比较简单像“<p><a><img><h><br>”一些不带属性的标签实现起来也好理...

端午回家呆了几天，完全放松。收假来赶个课程汇报，所以晚上没能及时跟上学习节奏，碰巧师兄分享学习进度，为所动。考试周正好大部分课程开始结课，可以有大块的时间来学习。下面介绍一下学习目标：这篇博文会完成这部分视频的笔记和练习。6-【作业】内涵段子爬虫作业这里按照老师给的url：www.neihanshequ.com已经找不到网址了，可能是已经停止运营。所以选择天涯完成练习（http:/...

老规矩，上笔记先上视频的清单，这里截图来一张。加一波资源，因为有几天还有一点点视频没有看，索性把视频全都分类转码传上了B站，祈祷哪天有网没事干，或者梦里醒来有段代码看不懂，对着在线资源再刷一遍，虽然并没有这样的可能。但学习是一日不学手生，三日不学心慌，所以传>不传，正好已经审核成功了。这里贴出来，给有需要的小伙伴们，传送门点我。另外，最近看到一个视频，非常治愈，【卡林巴琴】《未...

拖拖拉拉终于开了新坑，三月份就下好的资料一直拖到现在才动手实践，充分说明懒拖本质，再谴责下去没有意义，交代一下学习方式，每日跟视频做笔记，上手实战代码，复盘梳理。论文点及选体量目标合适的小练手项目。争取六月底前，更完这波视频吧。1.爬虫前奏： ·爬虫案例：搜索引擎（爬别人的网页-收录）/伯乐在线（爬别人的文章）/惠惠购物助手（爬取历史价格-进行对比）/数据分析与研究（各行业趋势）/...

前面完成公众号稿子去了，所以一探头看到时间到了九点二十心里有点着急，但是今天任务必须完成。今天可能需要一些时间，天气有点晚，昨天休息的还可以，可以把这些刷完再回家。或者刷一部分，这里定一个目标-至少要刷到8.废话不多说开始。urllib库python中最基本的网络请求库-模拟浏览器行为，向指定服务器发送请求+保存返回数据·urlopen函数-python3中，用法如下：...

六月底就开始停更新博文的原因是“期末周+疯狂忙专利”，暑假开始，今天刚好七月半，更完第二部分对urllib及request使用部分的博文，就开启了第三部分数据解析的新内容学习。第三部分主要是数据解析的内容，也就是建立在爬取数据后进行处理。数据解析三个工具-Xpath|BeautifulSoup4|正则表达式1-xpath简介以及工具安装xpath（XML Path Language） ...

针对数据解析 lxml和xpath的结合-实践部分主要是对网页上格式信息的解析，通过xpath语法定位到具体标签及内容，本篇为实践过程中做的笔记及遇到的问题。

项目需要所以尽力解决这个需求，这里主要记载及梳理解决思路，及过程中遇到的问题。网上目前有很多这样的帖子，能实现的也不少，具体跑出来结果还是需要结合多方的调试。这里先把需求梳理一下，需要用python爬取XX省XX市XX区/县级的中小学经纬度，结果csv或者json、数据库格式都暂时不计较，主要是有源数据对比，初始爬取结果应当全面，更好去筛选。目前主要的一个爬取思路是“通过百度地图API获取...

经历了一个星期的实习和半个星期的休假，回复到正常的云胡实验室生活来。每日学习才是正常的作息，前面每天下班回家后还是有练习代码，虽然博文更新的慢，而且没有开新的帖子，有每天坚持在GitHub上更新练习情况。之前卡在数据解析部分，前十个，从跟随式，到自己思考，爬取老师示范讲解的不同部分的内容，再到拿到先自己分析，在思考方式上有比较大的进步。花费的时间也有些长了，好在，回归实验室生活后。解析老师的任务，...

数据说好的996！少一天都不行，赶完杂活儿，就来更第五部分了。1-多线程概念和threading模块介绍老师先介绍了多线程爬虫，通过资源使用效率提高系统效率。类比火车车厢，进程为火车，离开车厢的火车无法跑动。threading模块： python中用作 多线程编程的模块 常用类-Thread具体使用方法见代码范例：#encoding:utf-8#from ruby ...

项目需要，所以学习一下，自然语言处理，主要是【知识库构建】、【自动摘要生成】、【个性推荐算法】、【聊天机器人|问答系统】这几个部分的应用。有哪些部分在我们学习NLP过程中提的比较多的呢？这是老师在讲课开始提的一个问题，紧跟着回答了，中文分词 依存文法分析 篇章分析自动摘要 实体提取 文本相似度计算知识库构建 聊天机器人 问答系统等中文分词链接自取：结巴、ik...

学习起因是有时间，并且一直感兴趣。只是零零散散的接触，通过百度科普，没有过一遍，那就过一遍吧。有时间海绵里的水什么的，就挤出来把这个清单里的都过一遍吧！以下是笔记Linux的作用：大部分的商业服务器 开源软件的支持 大数据分析、机器学习首选Linux 常见设备是以Linux系统为基 例如路由、手机等课程安排如下：研发需要用到的服务器Linux知识Linux 用作：...