
python
文章平均质量分 67
shiter
优快云博客专家,人工智能与大数据领域优秀创作者,累计近500W人次访问。 熟悉自然语言处理(NLP)、大数据(Spark 、Elasticsearch)、数据分析(Scala,Python),计算机视觉(OpenCV、立体匹配)等领域的研发工作。世界500强,高级算法工程师, 曾参与并负责国家级大数据项目,负责大健康平台相关开发与管理工作,负责金融行业AI与大数据平台产品设计、开发与落地。编程不仅仅是技术,还是艺术!talk is cheap,show me the code!
展开
-
基于python 的轻量级线程安全、持久化本地消息队列:persist-queue
基于python 的轻量级线程安全、持久化本地消息队列:persist-queue。原创 2023-06-20 20:25:05 · 1297 阅读 · 0 评论 -
python 实现复合字段排序,如 :身高一样比体重,如何实现呢?
文章大纲纯算法思路面向对象思路参考文献假设有一个题目:现在学校排队按照身高升序排列,身高相同按照体重降序(升序)排列,身高体重都相同,按照原有先后顺序排列样例输入:shengao = [150,150,160,160,170]tizhong = [100,100,100,105,100]输出:(体重升序)index = [1,2,3,4,5]纯算法思路if __name__ == '__main__': index = range(0,len(shengao))原创 2022-04-04 16:33:51 · 751 阅读 · 0 评论 -
python日志动态收集
简介项目进行时遇到了一个问题,需要将生成的日志按照项目类别输出到不同的目录下,具体解决方案如下:1. 日志各式日志的格式选择标准字典,default的级别设置为DEBUG,warn为WARN,error为ERROR。写文件的handler类为’class’: ‘logging.handlers.RotatingFileHandler’。2. 继承类写一个继承logging.logger的类,实例化时输入需要创建的目录名称即可。解决方案配置如下class MyLogger(logging.L原创 2021-03-27 18:54:22 · 331 阅读 · 1 评论 -
使用python fake module批量制造测试数据
日常测试工作中有很多需要造假数据的需求,自己乱造的数据看上去总是那么的不顺眼,因此我们需要一个帮助我们专职造假的数据包,那就是fake。安装pip install faker使用方法from faker import Fakerfaker = Faker()print("name",faker.name())print("address",faker.name())print("text",faker.name())结果name: Stephen Martinaddress: .原创 2021-03-27 18:48:38 · 363 阅读 · 0 评论 -
如何快速部署静态页面?
文章大纲静态页面静态页面的几种方式1. linux 主机的 httpd 服务2. Nginx 反向代理自动化部署的几种方式朋友圈大神胡老师说过,都2020年了,写代码实现不是实现的唯一方式,天下武功唯快不破。如何快速构建,持续交付才是王道。比如经常有这样的场景,静态页面静态页面的几种方式gitlab github 都支持 项目文件展示为静态页面甚至,jupyter 也可以 作为静态页面直接分享出去1. linux 主机的 httpd 服务2. Nginx 反向代理自动化部署的几种方式ci原创 2020-06-07 18:20:13 · 2877 阅读 · 1 评论 -
基于python3-sklearn,Flask 的回归预测系统
看到一副图片挺有意思,放在片头 序“傍晚小街路面上沁出微雨后的湿润,和煦的西风吹来,抬头看看天边的晚霞,嗯明天又是一个好天气。走到水果摊旁,挑了个根蒂蜷缩、敲起来声音浊响的青绿西瓜,一边满心期待着皮薄肉厚瓤甜的爽落感,一边愉快地想着,这学期狠下了工夫,基础概念弄得很清楚,算法作业也是信手拈来,这门课成绩一定差不了!”上面的经验是靠我们人类自身完成的,计算机能帮忙么?机器学习正是这样一门学科,它致力原创 2017-09-27 23:03:37 · 2690 阅读 · 0 评论 -
windows下python3 使用cx_Oracle,xlrd插件进行excel数据清洗录入
我们在做数据分析,清洗的过程中,很多时候会面对各种各样的数据源,要针对不同的数据源进行清洗,入库的工作。当然python这个语言,我比较喜欢,开发效率高,基本上怎么写都能运行,而且安装配置简单,基本上有网的环境pip install全部都搞定,没网的话,把wheel包考过来一行命令也就解决了。本篇博客就针对,在windows平台下使用python3(python2社区将要停止支持,使用3是大势所趋)原创 2017-04-16 00:23:09 · 5012 阅读 · 3 评论 -
leetcode 10 Regular Expression Matching(简单正则表达式匹配)
最近代码写的少了,而leetcode一直想做一个python,c/c++解题报告的专题,c/c++一直是我非常喜欢的,c语言编程练习的重要性体现在linux内核编程以及一些大公司算法上机的要求,python主要为了后序转型数据分析和机器学习,所以今天来做一个难度为hard 的简单正则表达式匹配。做了很多leetcode题目,我们来总结一下套路: 首先一般是检查输入参数是否正确,然后是处理算法的特殊原创 2017-02-21 01:19:33 · 7750 阅读 · 1 评论 -
windows10,redhat6.5下python3.5.2使用cx_Oracle链接oracle
0.序言项目主要使用oracle但是我不太喜欢其他编程语言,加上可能需要用python部署算法包,从oracle表中读出数据,处理完成后在放回oracle中去,所以在windows上就想到先用python试一下,自然搜到了cx_oracle(一个按照Python DB API的oracle的实现,如MySQL、PostgreSQL等,只需要安装相应的软件包即可,流程及操作接口都与cx_Oracle基原创 2016-12-18 23:52:35 · 3486 阅读 · 0 评论 -
短文本分析----基于python的TF-IDF特征词标签自动化提取
绪论最近做课题,需要分析短文本的标签,在短时间内学习了自然语言处理,社会标签推荐等非常时髦的技术。我们的需求非常类似于从大量短文本中获取关键词(融合社会标签和时间属性)进行用户画像。这一切的基础就是特征词提取技术了,本文主要围绕关键词提取这个主题进行介绍(英文)。不同版本python混用(官方用法)Python2 和python3 是一个神一般的存在,如何让他们共存呢,直到我用了pycharm我才知原创 2016-11-23 22:29:26 · 14484 阅读 · 0 评论 -
leetcode 14 Longest Common Prefix
Write a function to find the longest common prefix string amongst an array of strings. 分析】公共前缀指的是所有字符串的前缀都相同。显然,这个最长公共前缀的长度不会超过所有字符串中最短的那个。我们先求得最短串长minLen,然后遍历所有字符串中的前minLen是否相等。 我的解决...原创 2015-06-29 22:53:06 · 2989 阅读 · 0 评论 -
python3.X 使用pip 离线安装whl包
断网的环境下配置python开发环境非常讨厌,本文旨在优雅暴力的解决这一问题。原创 2017-01-07 23:44:59 · 34413 阅读 · 5 评论 -
利用OpenCV的人脸检测给头像带上圣诞帽
原图: 效果: 原理很简单:有一个圣诞帽的png图像, 利用png图像背景是透明的,贴在背景图片上就是戴帽子的效果了。人脸检测的目的主要是为了确定贴帽子的位置,类似ps中自由变换的功能,检测到人脸中间的位置,resize圣诞帽子和人脸大小匹配,确定位置,贴上去,ok! 代码:// getheader.cpp : 定义控转载 2015-12-24 21:47:00 · 9080 阅读 · 3 评论 -
python实现地理位置类数据爬取与geohash应用初探
最近想做一个简单的地理位置分析,比如获取一些城市公交站点对应的geohash,geohash其实是将平时常见的经纬度进行了降维,这样可以进行类似附近的餐馆等内容的分析。1. 正逆地理编码http://lbsyun.baidu.com/index.php?title=webapi/guide/webservice-geocoding正/逆地理编码服务(又名Geocoding AP原创 2018-01-04 15:52:03 · 28118 阅读 · 6 评论 -
leetcode Sum 系列----寻找和为定值的多个数
july 大神有个程序员编程艺术系列,第五章《寻找和为定值的多个数》,现在我们站在大牛的肩膀上,对leetcode上n个数求和的系列问题做个阶段性总结。1.leetcode No.1 2sumGiven an array of integers, return indices of the two numbers such that they add up to a specifi...原创 2018-02-17 01:10:19 · 8351 阅读 · 0 评论 -
大数据ETL实践探索(4)---- 搜索神器Elastic search
3.本地文件导入aws elastic search修改访问策略,设置本地电脑的公网ip,这个经常会变化,每次使用时候需要设置一下安装anancotahttps://www.anaconda.com/download/初始化环境,win10下打开Anaconda Prompt 的命令行conda create -n elasticsearch python=3.6source a...原创 2018-12-09 01:33:06 · 2909 阅读 · 0 评论 -
flask 完成简单查询请求处理,及跨域
flask 简介http://docs.jinkan.org/docs/flask/quickstart.html#a-minimal-application主题代码逻辑#!/usr/bin/env python# -*- encoding: utf-8 -*-#--------------------------------------------------------------...原创 2019-05-04 23:44:20 · 1123 阅读 · 0 评论 -
基于soap 的 python web services 服务开发指南
序言web services 已经不再流行,但是,由于这一章的在接口技术中有着非常重要的地位。其实 Web Serive 是一项不太容易讲清楚技术。我花很多的时间来查阅相关的资料,由于涉及的概念很过多,不同资料的解释也有一些出入。我想我的理解也并非全面。不过,我仍然想试图通过自己的理解,用简单的描述将它讲明白。相关概念SOAService Oriented Ambiguity 中文...原创 2019-07-11 23:41:45 · 2528 阅读 · 0 评论 -
python+OpenCV 特征点检测
1.Harris角点检测Harris角点检测算法是一个极为简单的角点检测算法,该算法在1988年就被发明了,算法的主要思想是如果像素周围显示存在多于一个方向的边,我们认为该点为兴趣点。基本原理是根据公式: 化简为求解矩阵,最后根据矩阵的特征值判断是否为角点 实现效果: 代码(不用OpenCV):# -*- coding: utf-8 -*-from pylab import原创 2016-06-11 23:39:16 · 16388 阅读 · 5 评论 -
利用图灵机器人为公众号添加智能问答,知识库功能
1.绪论订阅号很早就有了,我最近闲了无事就像探索探索可以怎么玩。首先联想到就是微软小冰智能问答系统,还有很早时候有一个公众号提供了,根据c、c++函数名返回API具体用法的功能。那么这两个类似的功能如何实现呢。 2.接入智能问答系统首先个人需要申请一个公众号,接着在图灵机器人的官网:http://www.tuling123.com/ 注册一个号,选择添加微信公众号,直接扫码关联,ok,智能问答系原创 2016-07-25 00:18:04 · 8509 阅读 · 6 评论 -
python实现博客自动刷点击脚本
#A Auto-Visit Web Site Toolimport urllibimport timeimport randomprint "Auto Click the WebPage for Click-Num..."for i in range(30): fs = urllib.urlopen(r'http://blog.youkuaiyun.com/wangyaninglm/arti原创 2014-11-25 22:08:32 · 6947 阅读 · 0 评论 -
Python3.4 + Django1.7.7 搭建简单的表单并提交
后面还有一个问题,是我把txt生成了,但是网页没有返回我还不知道,现在怎么直接返回txt首先有一个问题django1.7之前,这样用:HttpResponse(simplejson.dumps({“status”: ‘200’, “message”:u’登录成功’}), mimetype=’application/json’)没问题,但是django1,7之原创 2015-04-17 17:33:52 · 3908 阅读 · 0 评论 -
python +Django 搭建web开发环境初步,显示当前时间
1.python 的安装网上很多关于django跟python 开发的资料,这块我正在实习准备用这个两个合起来搞一个基于web 的东西出来现在开始学习,写点东西记录一下心得。开发环境是windows的,所以我们到python官网下载64位的windows操作系统的安装包:https://www.python.org/ftp/python/3.4.3/python-3.4.3.amd64原创 2015-04-15 14:41:48 · 5400 阅读 · 0 评论 -
python3.4 + Django1.7.7 表单的一些问题
上面是没有调用cleaned_data的提交结果,可见模版直接把form里面的整个标签都接收过来了下面是调用cleaned_data 的结果django 的表单,提交上来之后是这样的:#coding: gb2312from django import formsclass ContactForm(forms.Form原创 2015-04-21 16:54:40 · 2242 阅读 · 0 评论 -
OpenCL异构计算资料收集
Easy OpenCL with Python 原文 http://www.drdobbs.com/open-source/easy-opencl-with-python/240162614 OpenCL与python联合工作:与CUDA的前景分析http://www.opengpu.org/forum.php?mod=viewthread&tid=16571原创 2015-06-03 20:45:31 · 2617 阅读 · 0 评论 -
leetcode 8 String to Integer (atoi)
String to Integer (atoi)Total Accepted:52232 Total Submissions:401038 My Submissions Question Solution Implement atoi to convert a string to an integer.Hint: Carefully conside原创 2015-06-24 00:03:23 · 2209 阅读 · 0 评论 -
leetcode 88 Merge Sorted Array
Given two sorted integer arrays nums1 and nums2, merge nums2 intonums1 as one sorted array.Note:You may assume that nums1 has enough space (size that is greater or equal tom + n) to hold addit原创 2015-06-24 22:47:51 · 3809 阅读 · 0 评论 -
leetcode 26 Remove Duplicates from Sorted Array
Remove Duplicates from Sorted ArrayTotal Accepted: 66627 Total Submissions: 212739 My Submissions Given a sorted array, remove the duplicates in place such that原创 2015-06-25 15:52:53 · 2562 阅读 · 0 评论 -
leetcode 27 Remove Element
Remove Element Total Accepted: 60351 Total Submissions: 187833 My Submissions Given an array and a value, remove all instances of that value in place and ret原创 2015-06-24 15:56:47 · 3227 阅读 · 0 评论 -
leetcode 9 Palindrome Number 回文数
Determine whether an integer is a palindrome. Do this without extra space.click to show spoilers.Some hints: Could negative integers be palindromes? (ie, -1)If you are thinking of converting the inte原创 2015-06-28 20:21:36 · 2520 阅读 · 1 评论 -
leetcode 101 Symmetric Tree
Symmetric Tree Total Accepted: 61440 Total Submissions: 194643 My Submissions Given a binary tree, check whether it is a mirror of itself (ie, symmetric ar翻译 2015-07-09 22:45:15 · 1772 阅读 · 0 评论 -
leetcode 67 Add Binary
Add Binary Total Accepted: 46815 Total Submissions: 189215 My Submissions Given two binary strings, return their sum (also a binary string). For example,a =原创 2015-07-05 21:49:19 · 4521 阅读 · 0 评论 -
python面向对象小练习
class Animal(object): def __init__(self,name,weight): self.name = name self.weight = weight def eat(self): self.weight +=1 def speak(self): print ("i am a animal") def walk(self): print原创 2015-04-24 14:34:38 · 4055 阅读 · 0 评论 -
leetcode 226 Invert Binary Tree 翻转二叉树
大牛没有能做出来的题,我们要好好做一做 Invert a binary tree. 4 / \ 2 7 / \ / \1 3 6 9to 4 / \ 7 2 / \ / \9 6 3 1Trivia:This problem was inspired翻译 2015-06-23 23:53:58 · 4064 阅读 · 2 评论 -
推荐一个计算机视觉图书:python计算机视觉编程
编辑部的主页:好像没啥用http://shop.oreilly.com/product/0636920022923.do每章的代码,github上面的:中文版https://github.com/willard-yuan/pcv-book-codegithub上面,英文版:https://github.com/jesolem/PCV项目主页:原创 2015-06-29 21:19:07 · 12094 阅读 · 3 评论 -
阿里电话面试问题----100万个URL如何找到出现频率最高的前100个?
这个题是阿里的一个电话面试题,我想的头一个解决方案,有点限制,后面再写优化的实验数据,python从百度抓得:# -*- coding: utf-8 -*-"""Spyder EditorThis is a temporary script file."""import urllib2 import re import os#connect to a URL原创 2015-07-25 01:04:06 · 6916 阅读 · 5 评论 -
OpenCV+python 人脸识别
首先给大家推荐一本书:机器学习算法原理与编程实践 本文内容全部转载于书中,相当于一个读书笔记了吧绪论1992年麻省理工学院通过实验对比了基于结构特征的方法与基于模版匹配的方法,发现模版匹配的方法要优于基于特征的方法。以支持向量机为代表的统计学习理论在随后被应用到了人脸识别与确认中去。但是由于算法运行效率问题,很快被一种新的算法替代了。这就是2001年康柏研究院提出的基于简单矩形特征和AdaBo转载 2016-06-23 17:51:55 · 22941 阅读 · 12 评论 -
给大家推荐一个python的学习网站 http://www.codecademy.com
注册之后,可以跟着知道,自己编码学习,比较方面:原创 2014-10-07 21:36:31 · 4406 阅读 · 0 评论