
Python&Scala
以python为主,包括numpy、scala等源码。
lty_sky
这个作者很懒,什么都没留下…
展开
-
Python:Xpath
https://www.cnblogs.com/zhangxinqi/p/9210211.html原创 2020-04-01 21:43:28 · 158 阅读 · 0 评论 -
Python:pip从安装到升级
1.如果没有pip,使用ensurepip安装PIP CMD执行命令:python -m ensurepip ensurepip包支持将pip安装程序引导到现有的Python安装或虚拟环境中。这种引导方法反映了这样一个事实:pip是一个独立的项目,有自己的发布周期,最新的可用稳定版本与CPython引用解释器的维护和特性版本捆绑在一起。 在大多数情况下,P...原创 2020-04-01 17:24:41 · 700 阅读 · 0 评论 -
scala中“=>”的4种使用场景
一直以来都对scala中“=>”的使用比较迷茫,也不知道他表示什么意思。今天就它的使用场景列举如下,希望可以共同探讨。 表示函数的返回类型(Function Type) scala> def double(x: Int): Int = x*2 double: (x: Int)Int //定义一个函数变量: scala> var x : (Int) =>...转载 2020-02-24 20:58:25 · 310 阅读 · 0 评论 -
PyCharm:引入自定义包报错及解决办法
目录1.Dictionary 目录及Package包区别2.Pycharm目录下的包不能被引用解决办法3.Pycharm 第三方包的引用1.Dictionary 目录及Package包区别Dictionary:在pycharm中就是一个文件夹,放置资源文件,对应于在进行JavaWeb开发时用于放置css/js文件的目录,或者说在进行物体识别时,用来存储背景图像的文件夹。该文件夹...原创 2020-03-17 23:32:17 · 6764 阅读 · 2 评论 -
Pycharm中Debug的使用
原创 2020-03-16 15:02:20 · 595 阅读 · 0 评论 -
SparkSession及SparkContext
SparkSession是Spark一个全新切入点:SparkSession是Spark 2.0引如的新概念。SparkSession为用户提供了统一的切入点,来让用户学习spark的各项功能。 在spark的早期版本中,SparkContext是spark的主要切入点,由于RDD是主要的API,我们通过sparkcontext来创建和操作RDD。对于每个其他的API,我们需要使用不...原创 2020-02-22 00:36:06 · 503 阅读 · 0 评论 -
Anaconda创建虚拟环境
Anaconda是一个用于科学计算的Python发行版,提供了包管理与环境管理的功能,可以很方便地解决多版本python并存、切换以及各种第三方包安装问题。1.Anaconda与conda区别conda可以理解为一个工具,也是一个可执行命令,其核心功能是包管理与环境管理。包管理与pip的使用类似,环境管理则允许用户方便地安装不同版本的python并可以快速切换。conda的设计理念——co...转载 2020-03-20 22:23:45 · 185 阅读 · 0 评论 -
详解TensorFlow数据读取机制(tf.train.string_input_producer)
在学习TensorFlow的过程中,有很多小伙伴反映读取数据这一块很难理解。确实这一块官方的教程比较简略,网上也找不到什么合适的学习材料。今天这篇文章就以图片的形式,用最简单的语言,为大家详细解释一下TensorFlow的数据读取机制,文章的最后还会给出实战代码以供参考。TensorFlow读取机制图解首先需要思考的一个问题是,什么是数据读取?以图像数据为例,读取数据的过程可以用下图来表示...转载 2020-03-17 16:39:29 · 2714 阅读 · 0 评论 -
Python:深拷贝和浅拷贝的区别
通俗理解:==============================都是引入copy包:import copy1.深拷贝 copy.deepcopy() 原来的对象怎么改都不会影响当前对象,包括原对象及原对象内的子对象。2.浅拷贝copy.copy() ,原对象的子对象list元素改变的话会改变当前对象,如果当前对象中list元素改变了,也同样会影响原对象。深入理解:===...原创 2020-03-16 15:29:05 · 198 阅读 · 0 评论 -
Python writerow/writerows 添加数据
通常将网络上爬取的数据存储于本地.csv文件,本贴提供两种方法将数据存储于.csv文件方法1:单行写入with open('xxxx.csv','w',newlines='') as f: writer = csv.writer(f) #创建初始化写入对象 writer.writerow(['color','red']) # 一行一行写入 ['color','red'...转载 2020-03-09 13:54:47 · 11596 阅读 · 1 评论 -
python模块之codecs
codecs专门用作编码转换,当我们要做编码转换的时候可以借助codecs很简单的进行编码转换codecs模块提供一个open方法,三个参数encoding, errors, buffering,这三个参数都是可选参数,但是对于应用来说,需要明确指定encoding的值,而errors和buffering使用默认值即 可。使用方法如下:import codecs# 从文件读取数据da...转载 2020-03-08 10:18:09 · 150 阅读 · 0 评论 -
详解TensorFlow数据读取机制(附代码)
在学习TensorFlow的过程中,有很多小伙伴反映读取数据这一块很难理解。确实这一块官方的教程比较简略,网上也找不到什么合适的学习材料。今天这篇文章就以图片的形式,用最简单的语言,为大家详细解释一下TensorFlow的数据读取机制,文章的最后还会给出实战代码以供参考。TensorFlow读取机制图解首先需要思考的一个问题是,什么是数据读取?以图像数据为例,读取数据的过程可以用下图来表示...转载 2020-03-07 22:27:39 · 260 阅读 · 0 评论 -
tf.nn.softmax_cross_entropy_with_logits
import tensorflow as tflogits = tf.constant([[1.0, 2.0, 3.0], [1.0, 2.0, 3.0], [1.0, 2.0, 3.0]])y_ = tf.constant([[0.0, 0.5, 1.0], [0.0, 0.0, 1.0], [0.0, 0.0, 1.0]])def soft_cross(): y = tf...转载 2020-03-06 17:42:04 · 243 阅读 · 0 评论 -
TensorFlow从入门到精通
简单线性回归 import tensorflow as tf import numpy # 创造数据 x_data = numpy.random.rand(100).astype(numpy.float32) y_data = x_data*0.1 + 0.3 print(x_data,y_data) Weights = tf.Variable(tf.random_...转载 2020-03-03 22:30:13 · 260 阅读 · 0 评论 -
Tensorflow中的tf.name_scope()应用
1. tf.name_scope()命名空间的实际作用(1)在某个tf.name_scope()指定的区域中定义的所有对象及各种操作,他们的“name”属性上会增加该命名区的区域名,用以区别对象属于哪个区域;(2)将不同的对象及操作放在由tf.name_scope()指定的区域中,便于在tensorboard中展示清晰的逻辑关系图,这点在复杂关系图中特别重要。见下例:import t...转载 2020-03-03 22:15:50 · 357 阅读 · 0 评论 -
TensorFlow模型文件及模型的保存和恢复
1.保存将训练好的模型参数保存起来,以便以后进行验证或测试。tf里面提供模型保存的是tf.train.Saver()模块。模型保存,先要创建一个Saver对象:如saver=tf.train.Saver()在创建这个Saver对象的时候,有一个参数经常会用到,max_to_keep 参数,这个是用来设置保存模型的个数,默认为5,即max_to_keep=5,保存最近的5个模型。...转载 2020-03-03 19:46:28 · 507 阅读 · 0 评论 -
sklearn.externals import joblib模块保存和下载使用模型的用法实例
#加载模块from sklearn import datasetsfrom sklearn.externals import joblibfrom sklearn.linear_model import LinearRegressionfrom sklearn.cross_validation import train_test_split#分割数据集data_x,data_y = d...原创 2020-03-03 16:44:28 · 878 阅读 · 0 评论 -
Sklearn.datasets
作为Python中经典的机器学习模块,sklearn围绕着机器学习提供了很多可直接调用的机器学习算法以及很多经典的数据集,本文就对sklearn中专门用来得到已有或自定义数据集的datasets模块进行详细介绍;datasets中的数据集分为很多种,本文介绍几类常用的数据集生成方法,本文总结的所有内容你都可以在sklearn的官网:http://scikit-learn.org/stabl...转载 2020-02-29 17:06:58 · 2386 阅读 · 0 评论 -
sklearn的train_test_split
train_test_split函数用于将矩阵随机划分为训练子集和测试子集,并返回划分好的训练集测试集样本和训练集测试集标签。格式:X_train,X_test, y_train, y_test =cross_validation.train_test_split(train_data,train_target,test_size=0.3, random_state=0)参...原创 2020-02-16 21:40:16 · 139 阅读 · 0 评论 -
Python 基本操作- 数据选取loc、iloc、ix函数
loc中的数据是列名,是字符串,所以前后都要取;iloc中数据是int整型,所以是Python默认的前闭后开一、loc函数构建数据集dfimport pandas as pd df = pd.DataFrame([ ['green', 'M', 10.1, 'class1'], ['red', 'L', 13.5, ...转载 2020-02-14 00:00:20 · 1735 阅读 · 0 评论 -
pandas的.columns和.index
可以通过.columns和.index着两个属性返回数据集的列索引和行索引设data是pandas的一个DataFram类型的数据集。则data.index返回一个index类型的行索引列表,data.index.values返回的是行索引组成的ndarray类型。则data.columns返回一个index类型的列索引列表,data.columns.values返回的是列索引组成的n...原创 2020-02-13 23:47:26 · 923 阅读 · 0 评论 -
Scipy常用模块对应作用
Scipy是一个用于数学、科学、工程领域的常用软件包,可以处理插值、积分、优化、图像处理、常微分方程数值解的求解、信号处理等问题。它用于有效计算Numpy矩阵,使Numpy和Scipy协同工作,高效解决问题。 Scipy是由针对特定任务的子模块组成:模块名 应用领域 scipy.cluster 向量计算/Kmeans scipy.constants 物理和数学常量...原创 2020-02-12 17:06:14 · 719 阅读 · 0 评论 -
Logistic逻辑回归预测员工离职问题
前言员工离职,似乎已经成为每一家企业都要面对的问题,特别是优秀人才离职的问题会让领导特别头疼。今天我们就通过kaggle上某一家企业员工离职的真实数据来对离职率进行分析建模,并对预测结果显示要离职的员工提出挽留建议。目录1.数据来源及背景2.明确分析目的3.数据探索分析4.数据预处理5.可视化分析6.特征工程7.逻辑回归模型8.朴素贝叶斯模型...转载 2020-02-11 16:42:36 · 5486 阅读 · 0 评论 -
python中的operator.itemgetter函数
operator模块提供了一套与Python的内置运算符对应的高效率函数。例如,operator.add(x,y)与表达式x+y相同。 许多函数名与特殊方法名相同,只是没有双下划线。为了向后兼容性,也保留了许多包含双下划线的函数。为了表述清楚,建议使用没有双下划线的函数。函数包含的种类有:对象的比较运算、逻辑运算、数学运算以及序列运算。operator.itemgetter...原创 2020-02-08 16:47:29 · 192 阅读 · 0 评论