python
文章平均质量分 72
今辰念
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
多线程、多进程、协程、并行、并发
1. 谈谈你对多进程,多线程,以及协程的理解,项目是否用?这个问题被问的概率相当之大,其实多线程,多进程,在实际开发中用到的很少,除非是那些对项目性能要求特别高的,有的开发工作几年了,也确实没用过,你可以这么回答,给他扯扯什么是进程,线程(cpython 中是伪多线程)的概念就行,实在不行你就说你之前写过下载文件时,用过多线程技术,或者业余时间用过多线程写爬虫,提升效率。进程:一个运行的程...原创 2018-08-20 16:41:35 · 1469 阅读 · 0 评论 -
spark-逻辑回归
导入需要的包:from pyspark.sql import Row,functionsfrom pyspark.ml.linalg import Vector,Vectorsfrom pyspark.ml.evaluation import MulticlassClassificationEvaluatorfrom pyspark.ml import Pipelinefrom py...原创 2018-09-30 17:17:38 · 1265 阅读 · 0 评论 -
spark实现随机森林
# 1. 导入需要的包:import pysparkfrom pyspark.sql import SQLContextfrom pyspark import SparkContextfrom pyspark.sql import Row,functionsfrom pyspark.mllib.linalg import Vector,Vectorsfrom pyspark.ml.ev...原创 2018-10-12 11:31:52 · 1253 阅读 · 2 评论 -
集群linux下安装Anaconda和jupyter,设置远程访问
首先是要 安装 Anaconda 。默认情况下,安装好 Anaconda 后打开 jupyter notebook, 访问本地localhost:8888 即可。但是如果要访问另一台机器,比如远端服务器上的 notebook, 即默认是不支持 172.104.105.119:8888 这样的访问,需要额外配置。设置 jupyter notebook 可远程访问的官方指南在这里,在远端服务器上...原创 2018-09-27 13:45:47 · 2936 阅读 · 0 评论 -
spark实现决策树
我们以iris数据集(iris)为例进行分析。iris以鸢尾花的特征作为数据来源,数据集包含150个数据集,分为3类,每类50个数据,每个数据包含4个属性,是在数据挖掘、数据分类中非常常用的测试集、训练集。决策树可以用于分类和回归,接下来我们将在代码中分别进行介绍。导入需要的包:from pyspark.ml.linalg import Vector,Vectorsfrom pyspar...原创 2018-10-11 09:35:16 · 1899 阅读 · 0 评论 -
游程编码
游程编码是一种无损数据压缩编码。通过记录字母连续重复次数的方式,节约存储空间。举例‘BBCCCCABDDD’,可编码为‘2B4CAB3D’(如果某个字符进出现一次则要省略前面的数字1) 输入:一个仅包含字母的字符串输出:一个编码后的字符串def encode(s): f = s[0] count=1 tmp='' for i in range(1,len...原创 2018-08-24 16:09:43 · 3472 阅读 · 0 评论 -
python中的GC机制
GC作为现代编程语言的自动内存管理机制,专注于两件事:1. 找到内存中无用的垃圾资源 2. 清除这些垃圾并把内存让出来给其他对象使用。GC彻底把程序员从资源管理的重担中解放出来,让他们有更多的时间放在业务逻辑上。但这并不意味着码农就可以不去了解GC,毕竟多了解GC知识还是有利于我们写出更健壮的代码。引用计数 Python语言默认采用的垃圾收集机制是『引用计数法 Reference Count...原创 2018-08-28 20:00:56 · 1939 阅读 · 0 评论 -
Python 嵌套列表展开
问题1:对于列表形如 list_1 = [[1, 2], [3, 4, 5], [6, 7], [8], [9]] 转化成列表 list_2 = [1, 2, 3, 4, 5, 6, 7, 8, 9] 的问题。Python实现:# 普通方法list_1 = [[1, 2], [3, 4, 5], [6, 7], [8], [9]]list_2 = []for _ in list_...原创 2018-08-24 15:37:12 · 13952 阅读 · 3 评论 -
单例模式
单例模式是一种常用的软件设计模式。在它的核心结构中只包含一个被称为单例类的特殊类。通过单例模式可以保证系统中一个类只有一个实例而且该实例易于外界访问,从而方便对实例个数的控制并节约系统资源。如果希望在系统中某个类的对象只能存在一个,单例模式是最好的解决方案。显然单例模式的要点有三个:一是某个类只能有一个实例;二是它必须自行创建这个实例;三是它必须自行向整个系统提供这个实例。从具体实...原创 2018-08-20 19:38:46 · 153 阅读 · 0 评论 -
tcp三次握手和四次挥手
请简单说一下三次握手和四次挥手?三次握手过程: 1 首先客户端向服务端发送一个带有 SYN 标志,以及随机生成的序号 100(0 字节)的报文 2 服务端收到报文后返回一个报文(SYN200(0 字节),ACk1001(字节+1))给客户端 3 客户端再次发送带有 ACk 标志 201(字节+)序号的报文给服务端 至此三次握手过程结束,客户端开始向服务端发送数据。 1 客户端向服务...原创 2018-08-20 17:35:04 · 161 阅读 · 0 评论 -
python操作S3(aws)
import boto3boto3_session = boto3.Session(aws_access_key_id=xxx, aws_secret_access_key=xxx, region_name='cn-north-1')# print(boto3_sessio...原创 2019-07-18 15:09:32 · 1835 阅读 · 0 评论
分享