三劫散仙

下面是一个常见的conda.yaml的依赖的描述文件-pip-pip:那么问题来了dependencies依赖和pip的依赖区别是啥，它们的使用场景是什么。

用最新的 transformers 跑出错，恢复到那个时候的版本后修复，顺便也把 pyspark 版本固定下来，都是坑哦。

使用 selenium 模拟浏览器渲染数据，需要依赖各浏览器的驱动才能完成，因此需要单独安装chrome driver。

在跑调度任务时候，有时候子任务需要依赖前置任务的输出，但类似读取 Parquet 或者 Orc 文件时，如果不判断目录是否为空，在输出为空时会报错，所以需要 check 一下，此外Hadoop通常在写入数据时会在目录中生成一个名为_SUCCESS的文件来表示写入操作已成功完成，我们在检测时要排除这个文件。

上面的这个结构，我们看到由于要在双引号中，继续使用双引号所以使用转义字符，但其实只需要一个转义字符就可以了，上面输入了两个，多了一个转义字符在解析时候会导致报错。

前2篇文章，散仙写了关于Django的入门安装，以及简单模拟数据库的MVC使用，那么本篇就来稍微深入下，来看看如何使用Django来实现一个增删改查的小例子：[b][color=green][size=large][table]|序号|名称|备注|1|Win7|操作系统|2|开发工具|Pychram|3|Python3.4|python版本|4|Django1.7|Dj...

[b][color=green][size=large]继上篇散仙写的Django入门，这次我们来看看如何在Django中，动态定义HTML模板，我们都知道，在其他的编程语言里有JSP,ASP,PHP等动态语言，可以直接在这种类似HTML的结构里编写HTML页面，最后在前端渲染展示，其他的编程语言散仙就不多说了，在这里说下JSP吧，在JAVA的世界里，最早的页面也是由Servlet动态生成的，所有...

使用python来运维linux是非常简单轻松的一件事情，但是仅仅是一些交互式比较强的，比shell更灵活的一些工作时，可以使用python，如果是一些简单的查找，排序，等什么的，可以还用shell来完成，下面来看下在python3.4中，如何与Linux交互的。在python里面可以操作linux的命令有1,os.system("cmd")2,os.open("cmd")...

Django是python里面开源的一个Web框架，下面借用百科的几段内容，给不太了解Django的朋友们普及下概念。[b][color=olive][size=large]Django是一个开放源代码的Web应用框架，由Python写成。采用了MVC的软件设计模式，即模型M，视图V和控制器C。它最初是被开发来用于管理劳伦斯出版集团旗下的一些以新闻内容为主的网站的，即是CMS（内容管理...

使用python将网页抓取下来之后，下一步我们就应该解析网页，提取我们所需要的内容了，在python里提供了一个简单的解析模块HTMLParser类，使用起来也是比较简单的，解析语法没有用到XPath类似的简洁模式，但新手用起来还是比较容易的，看下面的例子：现在一个模拟的html文件：[code="html"] 我是标题我是内容 [/code]需求是，提取出标题...

[b][color=green][size=large]使用Python抓取网页的时候，有时候我们会解析出现异常，这时候，就会导致整个网页解析不成功，究其原因，仅仅是因为编码里某个小小的地方编码出错了，才导致解析失败，那么我们应该如何比较好的避免这种情况出现呢？看下面的例子：[/size][/color][/b][code="python"]import urllib.reques...

Django是非常轻量级的Web框架，今天散仙来看下如何在Django中配置静态的资源访问路径，一个中等规模的网站，可能就会有很多静态的资源需要访问，无论是html，txt，还是压缩包，有时候访问这些资源我们并不需要过多的限制，所以任由用户访问，这时我们就没必要在加一个request请求，转发或重定向访问，我们可以直接使用Django的静态资源访问策略。默认在django里是不支持...

Pexpect 是 Don Libes 的 Expect 语言的一个 Python 实现，是一个用来启动子程序，并使用正则表达式对程序输出做出特定响应，以此实现与其自动交互的 Python 模块。 Pexpect 的使用范围很广，可以用来实现与 ssh、ftp 、telnet 等程序的自动交互；可以用来自动复制软件安装包并在不同机器自动安装；还可以用来实现软件测试中与命令行交互的自动化。...

Ajax的出现让Web展现了更新的活力，基本所有的语言，都动态支持Ajax与起服务端进行通信，并在页面实现无刷新动态交互。下面是散仙使用Django+Jquery+Ajax的方式来模拟实现了一个验证用户注册时，用户名存在不存在的一个小应用。注意，验证存在不存在使用的是Ajax的方式，不用让用户点击按钮验证是否存在。截图如下：[img]http://dl2.iteye.c...

[b][color=olive][size=large]最近用python（3.2的版本）写了根据特定规则，处理数据的一个小程序，用到了一些python常用的基础知识，在此总结一下：1，python读文件2，python写文件3，python的流程控制4，python的for循环5，python的集合，或字符串里判断是否存在某个元素6，python的逻辑或，逻辑与...

[b][color=green][size=large]我们都知道在JAVA里，我们可以使用POI来操作Excel文件，在POI的API里有HSSFWorkbook支持03版的excel的读写，有XSSFWorkbook是针对07以后的excel文件的读写，那么在python3.x（散仙使用的版本是python3.4）里，我们应该如何操作excel。首先在python3.4里，我们可以使用...

[url]https://blog.youkuaiyun.com/u010454030/article/details/80138431[/url]

[b][url]https://blog.youkuaiyun.com/u010454030/article/details/80486136[/url][/b][b][color=green][size=large] 有什么问题可以扫码关注微信公众号：我是攻城师(woshigcs)，在后台留言咨询。 技术债不能欠，健康债更不能欠， 求道之路，与君同行。 [/size][/color][/b]...

这两天在优化公司一个python的项目，顺便研究了一下如何将python日志转成json格式，原来在Java的项目中搞过类似的事情，知道日志转成json之后有很多便利的之处，最常见的就是可以直接对接各种日志分析系统，如开源的ELK，将数据导入之后就能快速的进行查询和分析，方便做各种统计，监控或报警等。python里面的logging组件，其实已经是组件化了，有Logger组件，Handler组...

有时候我们的抓取项目时需要登陆到某个网站上，才能看见某些内容的，所以模拟登陆功能就必不可少了，散仙这次写的文章，主要有2个例子，一个是普通写法写的，另外一个是基于面向对象写的。模拟登陆的重点，在于找到表单真实的提交地址，然后携带cookie，post数据即可，只要登陆成功，我们就可以访问其他任意网页，从而获取网页内容。方式一：[code="python"]import url...

[color=green][size=large][b]每到月末，桌面上基本都会爆满，散仙的习惯一个月整理一次桌面，上面放了各种文件，word，excel，txt，jar，压缩包等等，如果每天整理一次，感觉比较麻烦，一个月整理一次，又发现到时候整理的东西，实在太多了，少说也得花了5,6分钟，而且还得，分年分月分类拷贝进去和剪切，所以，就用python写了个整理桌面的小程序，其实不一定是桌面，任何一...

[b][color=green][size=large]在python的代码里我们经常会看到这样两个片段，__name__和__main__那么代表什么意思呢？在这之前，我们先来了解下python文件的调用方法，主要有两种1,直接在cmd或shell终端调用xxx.py文件2,导入别的python文件里做为一个工具类调用懂了上面这两个方式后，我们在理解这两个属性的作用就好理...

[color=olive][size=large]Python里面有许多成熟方便的库，本文是散仙的一个简单翻译官方文档的一个目录列表，方便查阅python里面得各种服务，由于水平有限，如果有什么不对的地方，大家可以指正出来，共同学习 :D Python3.4内置类型1,真值测试2，bool操作符and，or，not3，比较符=,==,!-,is,is not4, 数值类型...

[color=green][size=large]Python的类库直到现在已经非常丰富，提供了各个不同服务使用的接口，具体介绍如下：1. Python类库包含了非常多的组件，数据类型部分构成了python语言核心的一部分，例如数字和列表(List),对于这些类型，python语言在语义的层面上定义了这些字面形式，但并不是完全的定义，这些核心包也包含了一些内置函数和异常部分，对象可以使...

[b][color=green][size=large]python3发布以来，获取了广大程序员们的差评，说不稳定，又是不兼容什么的，不过差评归差评，python3既然已经发布，肯定是个趋势，但在python3.4里面，使用原来python2.7的mysqldb已经不能连接mysql数据库了，比较令人纠结，不过我们可以使用pymysql，来完成连接mysql的重任，步骤如下：[table]...

[b][color=olive][size=large]在使用Python多年以后，我偶然发现了一些我们过去不知道的功能和特性。一些可以说是非常有用，但却没有充分利用。考虑到这一点，我编辑了一些的你应该了解的Pyghon功能特色。带任意数量参数的函数你可能已经知道了Python允许你定义可选参数。但还有一个方法，可以定义函数任意数量的参数。首先，看下面是一个只定义可选参数的...

[b][color=green][size=x-large]python是一门不错的动态语言,面向对象、直译式计算机程序设计语言，由Guido van Rossum于1989年底发明，第一个公开发行版发行于1991年。Python语法简洁而清晰，具有丰富和强大的类库。它常被昵称为胶水语言，它能够很轻松的把用其他语言制作的各种模块（尤其是C/C++）轻松地联结在一起。常见的一种应用情形是，使用pyt...

前言Tesseract是一个开源的ocr引擎，可以开箱即用，项目最初由惠普实验室支持，1996年被移植到Windows上，1998年进行了C++化。在2005年Tesseract由惠普公司宣布开源。2006年到现在，都由Google公司开发。官网宣传目前支持100多种语言的识别，根据我的测试，目前感觉其对机器打印的比较规整的英语，或者阿拉伯数字的识别准确率还是挺高的，但是对手写的任何东西，效果都非...

NumPy介绍NumPy的全名为Numeric Python，是一个开源的Python科学计算库，它包括：（1）一个强大的N维数组对象ndrray；（2）比较成熟的（广播）函数库；（3）用于整合C/C++和Fortran代码的工具包；（4）实用的线性代数、傅里叶变换和随机数生成函数主要优点：1.NumPy数组在数值运算方面的效率优于Python提供的list容器。2.使用NumPy可以在代码中省去...

[b][color=green][size=large]散仙，在年前，已经在Eclipse下成功安装过Python的Python Dev插件，具体步骤，可以在散仙的上一篇博客里找到，今天再次装的时候，发现出了一些问题，竟然没有安装成功，散仙特此总结了一下，以免以后再犯类似的错误。问题症状：在线安装完后，发现在Eclipse的Preferences下，总是找不到安装后的插件，然后去ecl...

[b][color=olive][size=large]Python用来处理文本，是非常简洁方便的，散仙对Python也是处于入门阶段，今天写了个简单的小脚本来，读取文件，并打印，结果报异常了，总结如下：第一个异常信息[/size][/color][/b][code="python"]"SyntaxError: (unicode error) 'unicodeescape' c...

编程语言对文件系统的操作是一项必不可少的功能，各种编程语言基本上都有对文件系统的操作，最简洁的莫过于linux里面shell的操作了，其次，则是python，ruby等动态语言的操作，那么，今天散仙来看下，在python里面如何使用一些常用的操作文件功能。主要包括：1，创建一个文件2，删除一个文件3，创建一个目录4，删除一个目录5，拷贝，重命名，查看文件大小6，列出...

linux系统（散仙的是centos6.5）自带的python的版本是2.6的，如果我们想使用新的python3.x怎么办，我们不需要卸载原来的python，在py的脚本文件里指定加载的python的路径即可。默认的系统自带的python脚本如下所示：[code="java"][root@Slave2 ~]# pypydoc python ...

[b][color=green][size=large]散仙使用python3.4模拟实现的一个生产者与消费者的例子，用到的知识有线程，队列，循环等，源码如下：[/size][/color][/b][code="python"]import queueimport timeimport threadingimport randomq=queue....

比较成熟的编程语言，基本上都有对线程的支持，而python也不例外，下面散仙来看下python里面对几个线程比较的类或方法： python多线程编程，一般使用thread和threading模块。thread模块想对较底层，threading模块对thread模块进行了封装，更便于使用。所有，通常多线程编程使用threading模块。（一）threading模块Thr...

总结一下在python里面，最常用的几种集合容器，list，set和dict分别对应java的List，Set，Map，掌握里面一些基本的方法，和一些作用就行.[code="python"]#初始化list值a = list()a.append("a")a.append("b")a.append("1")a.append("-51")a.append("c&q

接触python有一段时间了，今天综合的写了一个小例子，凑合着可以使用，如果有时间的话可以更好的把程序按MVC的方式设计一下，这样以来通用性会更好，或者做成GUI的方式+数据库，这样更人性化.项目介绍：一个基于python控制台，完成的增删改查一个小例子，提供的方式都比较简单，适合新手学习一下，可以和Java做个对比。用到的知识：1，python的面向对象类和方法，构造...

[b][color=green][size=large]在一些应用中，我们通常都离不开一些定时任务的辅助，比如说定时收集日志，定时重建索引，定时发布项目等等，通常情况下我们可以在编程语言内部，定时调度某个任务，当然这种和我们的内部调用比较紧密。除了在我们的编程语言内部，起一个服务，定时干某些事情外，我们也可以使用Linux下的Crond模块，来完成这件事。 下面先看下Cornd的简介：[/si...

[b][color=green][size=large]接上篇pyhon文章，散仙在读取完的数据，写入另一个新的文件时，发现每写入一行文件时，都会多输出一行空格，这样以来，相当于写了好多没用的空行，经查资料，总结概述如下：可以使用strip函数来删除空行，等一些不可见的序列字符.函数原型声明：s为字符串，rm为要删除的字符序列s.strip(rm) 删除s...

Anaconda介绍Anaconda是python加强的一个全家桶套件，是目前最简单的方式来使用python进行机器学习和数据分析，它包含了250多个最流行的python科学计算包，并支持多种系统如windows，linux，mac，此外Anaconda最棒的一个特性就是使用conda来致力于简化包的管理和部署与pip命令的功能类似但更加强大。Anaconda下载Anaconda截止到目前最新的版...