AcceptedLin的博客

最近想着做一个微信机器人，主要想要实现能够每天定时推送天气预报或励志语录，励志语录要每天有自动更新，定时或当有好友回复时，能够随机推送不同的内容。于是开始了分析思路。

利用python和GUI实现照片或证件照迅速更换背景底色，还可以自定义背景底色

python拆分PDF文件

PDF文件合并

本文重点：学会抓取文章评论学会文本分词、制作词云目录🍑 一、抓取全部评论🍞 1、找到评论接口🍏 2、Python 获取评论🏈 二、文本分词、词云制作🍋 1、文本分析🍐 2、生成词云🏆 3、初步效果-模糊不清⚽️ 4、最终效果-高清无马一、抓取全部评论评论情况： {'android': 545 次, 'ios': 110 次, 'pc': 44 次, 'uniapp': 1 次}一个小细节：给我评论的设备中，安卓苹果比是 5:1。Building.

1. 前言春联是中国传统文化中最具内涵的元素之一，它以对仗工整、简洁精巧的文字描绘美好形象，抒发美好愿望，是中国特有的文学形式，是华人们过年的重要习俗。每逢春节期间，无论城市还是农村，家家户户都要精选一副大红春联贴于门上，辞旧迎新，以增加节日的喜庆气氛。据考证，这一习俗起于宋代，盛于明代。有据可查的最早的春联是“三阳始布，四序初开”，始见于莫高窟藏经洞出土的文物中，撰联人为唐人刘丘子，作于开元十一年（公元723年）。我们这个时代的程序员，大多只是粗通文墨，毛笔字也基本不怎么会写。然而，对于美好生活的

本文仅仅梳理最基本的绘图方法。一、初始化假设已经安装了matplotlib工具包。利用matplotlib.figure.Figure创建一个图框： 1 2 3 4 importmatplotlib.pyplot as plt frommpl_toolkits.mplot3dimportAxes3D fig=plt.figure() ax=fig.add_subplot(111, projection...

1、pip下载安装配置1.1 python安装及环境变量设置pip是依赖python的，首先检查下windows机器上有没有安装python,或者有没有添加到环境变量中，如果都没有需要安装或者加入环境变量，详细步骤请看：https://blog.youkuaiyun.com/m0_37774696/article/details/843105561.2 安装pip将pip的tar包下载到本地并解压，这个tar.gz格式的是windows和linux通用的包，在Windows下用常规的解压工具即可解压.

要将多个图片jpg 、png 合并起来，使用python进行完成这个任务。基本环境配置版本：Python3系统：Windowsimg2pdf · PyPIpip3 install img2pdf完整代码：# coding: utf-8import img2pdfimport osdef convert2pdf(input_folder):# convert functions with open("result.pdf","wb") as f: jpg_l.

最近在学习图像处理，需要安装pdf2image，安装没有报错，运行之后报错：pdf2image.exceptions.PDFInfoNotInstalledError: Unable to get page count. Is poppler installed and in PATH?一开始是想直接安装PDFInfo，或者poppler，但是都安装失败。按照网友提示安装python-poppler也因为ndk版本不对失败。最终解决办法：1、首先通过poppler-windows下载地址下载压

talib 安装与使用I 安装最简单的安装方式：$ pip install TA-Lib有可能遇到的问题：　func.c:256:28: fatal error: ta-lib/ta_libc.h: No such file or directorycompilation terminated.这个问题的意思是找不到基础的TALIB库，所以我们不能用上面的简便方式安装。Mac下安装方式：$ brew install ta-libWindows下安装方式：.

Spark环境下Scala和Python两种语言的对比Apache Spark作为类Hadoop MapReduce的通用并行框架，一款专为大规模数据处理而设计的分布式计算引擎，以其优越的性能，较为完善的生态，受到了大数据从业人员的青睐。Spark的框架使用Scala编写（注：Scala是一种运行在Java虚拟机上，实现和Java类库互联互通的面向对象及函数式编程语言），而Spark的开发目前主要使用三种语言：Scala、Python、Java。相比于Java，Spark中用Scala开发.

Matplotlib使用findfont: Font family [u'sans-serif'] not found环境Ubuntu16.04python3.5matplotlib解决问题过程Warning 信息我利用matplotlib编写了一个十分简单的画图脚本，但是遇到了这个报错UserWarning: findfont: Font family [u'sans-serif'] not found. Falling back to DejaVu Sans (prop

Stock Price Predict相关1、https://blog.youkuaiyun.com/jerry81333/article/details/538327462、https://blog.youkuaiyun.com/buptgshengod/article/details/78880941...

Python 程序打包成 exe 可执行文件Python 是一个脚本语言，被解释器解释执行。它的发布方式：.py 文件：对于开源项目或者源码没那么重要的，直接提供源码，需要使用者自行安装 Python 并且安装依赖的各种库。（Python 官方的各种安装包就是这样做的）。.pyc 文件：有些公司或个人因为机密或者各种原因，不愿意源码被运行者看到，可以使用 pyc 文件发布，pyc 文件是 Python 解释器可以识别的二进制码，故发布后也是跨平台的，需要使用者安装相应...

深度学习的局部响应归一化LRN(Local Response Normalization)这个技术主要是深度学习训练时的一种提高准确度的技术方法。其中caffe、tensorflow等里面是很常见的方法，其跟激活函数是有区别的，LRN一般是在激活、池化后进行的一中处理方法。 AlexNet将LeNet的思想发扬光大，把CNN的基本原理应用到了很深很宽的网络中。AlexNet主要使用到的新技术点如下。（1）成功使用ReLU作为CNN的激活函数，并验证其效果在较深的网络超过了Sigmoid...

Tensorflow之负采样函数Sampled softmax loss谷歌16年出的论文《Deep Neural Networks for Youtube Recommendation》中提到文章采用了负采样的思想来进行extreme multiclass分类任务我的tensorflow实现已上传优快云资源https://download.youkuaiyun.com/download/weixin_41864878/11107472Tensorflow提供了两种负采样，分别是NCE l...

样本缺失值处理在构建模型训练时，需要对数据进行清洗，最常见的一种操作：缺失值处理。当我们拿到一批数据的时候，往往都是“不干净”的，而缺失值是最常见也是最容易发现的。不同的缺失值处理方式对接下来的特征提取，建模等都有巨大影响。那么缺失值的处理是有一套流程的，我在这里总结总结：发现缺失值统计每个特征在所有个体中缺失的个数 / 缺失率，这一点是查找缺失的特征，pandas 中 count() 函数为不...

XGBOOST 之稀疏数据的处理当数据及其稀疏的时候，不应该转换为numpy等形式，尤其是点击数据。商品成千上万，用户点击商品的种类只是其中的某一些类型，但是以此建立起来的点击矩阵的纬度却是庞大而冗余。解决方式1：将数据转化为libsvm存储的形式， 数据的第一列是label, 第二列之后的是特征label key1:value1 key2:value2 key3:value3XGBoost可以加载libsvm格式...

XGBoost之数据准备文章目录一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结由于其速度和性能，XGBoost是一种流行的梯度增强实现。在内部，XGBoost模型将所有问题表示为仅以数值作为输入的回归预测建模问题。如果您的数据是另一种形式的，则必须将其准备成预期的格式。读完这篇文章你就会知道:如何为分类编码字符串输出变量。如何使用onehot准备...

用python实现对图像的卷积(滤波)之前在看卷积神经网络，很好奇卷积到底是什么，最后看到了这篇文章http://blog.youkuaiyun.com/zouxy09/article/details/49080029，讲得很清楚，这篇文章中提到了对图像的滤波处理就是对图像应用一个小小的卷积核，并给出了以下例子：对图像的卷积，opencv已经有实现的函数filter2D，注意，卷积核需要是奇数行，奇数列，这样才能有一个中心点。opencv卷积...

Python中append和extend的区别list.append(object) 向列表中添加一个对象objectlist.extend(sequence) 把一个序列seq的内容添加到列表中music_media = ['compact disc', '8-track tape', 'long playing record']new_media = ['DVD Audio disc', 'Super Audio CD']music_media...

Python 源代码代码打包成 whl 文件1.检查pythonsetup.pycheck2.打包python setup.py sdist bdist_wheel || true

pyspark API使用方法说明参考：https://blog.youkuaiyun.com/weixin_41734700/article/details/80542017https://blog.youkuaiyun.com/zwahut/article/details/90638252?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLear...

Python代码实现打包成库供别的模块调用1.创建python项目bricewulib2.新建test_package包并创建info1类以及print_hello方法3.为了让包的结构再复杂点，我们再在test_package下面新建一个test_package2包并创建Info2类以及print_hello2方法（注意：这里是Info2，不是上面的Info1）4.此时整个test_package编写完成，目录结构（t...

制作python包，封装成可用模块首先编写py程序:printtest.py#coding: utf-8def test(): print('print test')if __name__ == '__main__': test()将以上.py文件做成python模块，需要在相同目录下创建setup.py文件，setup.py中输入配置信息:#coding: utf-8from setuptools import s...

Pythonpass 语句Python pass 是空语句，是为了保持程序结构的完整性。pass不做任何事情，一般用做占位语句。pass 便是占据一个位置，因为如果定义一个空函数程序会报错，当你没有想好函数的内容是可以用 pass 填充，使程序可以正运行。Python 语言 pass 语句语法格式如下：pass测试实例：#!/usr/bin/python# -*- coding: UTF-...

tf.nn.embedding_lookup_sparse函数tf.nn.embedding_lookup_sparse函数定义：tf.nn.embedding_lookup_sparse( params, sp_ids, sp_weights, partition_strategy='mod', name=None, combiner=None, max_norm=None)计算给定 id 和 w...

embedding lookup函数1.embeddingembedding现在在推荐系统、ctr预估系统中的使用无处不在。简单来理解就是，对于各种高维稀疏的特征，工作将单个特征映射成为一个低维稠密向量，将高维稀疏特征由"精确匹配"变成一个在embedding向量上的"模糊匹配"，从而提高了算法的性能，将高维稀疏特征的可用性大大提高。2.lookupembedding lookup本质上是用矩阵的乘法来实现的，可以将其看成一个特殊...

pySpark之RDD转dict在日常的数据处理过程，有时需要生成一个dict。大数据来源主要有有：HIVE表、HDFS上的文件。1. 从HIVE表读数据并转成dictfrom pyspark import SparkContextfrom pyspark.sql import HiveContext,SparkSessionsc = SparkContext()sql_context = HiveContext(s...

pyspark之dataframe当前行与上一行值求差from pyspark import SparkContextfrom pyspark.sql import SQLContextfrom pyspark.sql import functions as Ffrom pyspark.sql.window import Windowsc = SparkContext(appName="PrevRowDiffApp")sqlc = SQLContext...

pandas的DataFrame与dict之间的相互转换一、dict生成DataFrame1、如果只有一个dict，即一行dataframe数据# 注：dict的形式必须是如下2种，不然会报错# 1、dict外面加一层list【】dict_a = [{'a': 0, 'b': 1, 'c': 2}] # 2、dict内部的数据至少有1个或多个是list形式# 注：此时dict外面如果加上list，即[{}]形式，生成的df，有[]的数据是l...

python中的yield和return的区别return返回的是一个list列表，而yield每次调用只返回一个数值，毫无疑问，使用return空间开销比较大，尤其是操作巨量数据的时候，操作一个大列表时间开销也会得不偿失yield 生成器相比 return一次返回所有结果的优势：（1）反应更迅速（2）更节省空间（3）使用更灵活到这里你可能就明白yield和return的关系和区别了，带yield的函数是一个生成器，而不是一个函数了，...

pysparksql_标记异常值_提取异常值_approxQuantilesparksql_标记异常值_提取异常值用 .approxQuantile(…) 方法计算四分位数df_outliers = spark.createDataFrame([(1,143.5,5.3,28), (2,154.2,5.5,45), (3,...

什么是EE问题？又叫exploit－explore问题。exploit就是：对用户比较确定的兴趣，当然要利用开采迎合，好比说已经挣到的钱，当然要花；explore就是：光对着用户已知的兴趣使用，用户很快会腻，所以要不断探索用户新的兴趣才行，这就好比虽然有一点钱可以花了，但是还得继续搬砖挣钱，不然花完了就得喝西北风。

Explode in PySpark有时要将dataframe中的一列变成多列：df = sqlContext.createDataFrame( [('cat \n\n elephant rat \n rat cat', )], ['word'])df.select(explode(split(col("word"), "\s+")).alias("word")).show()结果：## +--...

Shebang LineShebang Line 是什么：也被叫做 Hashbang Line，只要是一个由，井号和叹号#!开头，并构成的字符序列#! xx/xx/x，就叫做 Shebang Line。在开头字符之后，可以有一个或数个空白字符。这个字符串，通常只出现在 Script 文件的第一行。Shebang 的来源：首先，这个术语，来自于 Unix 操作系统。作用是，在程序运行的时候...

pyspark dataframe生成一列常量数组>>> from pyspark.sql.types import *>>> from pyspark.sql.functions import array>>> tag=array(lit("oracle"),lit("java")>>> df2.withColumn("tags",tag).show()结果：|gende...

Convert Pyspark dataframe to dictionaryinput:Col0, Col1-----------A153534,BDBM40705R440060,BDBM31728P440245,BDBM50445050output:{'A153534': 'BDBM40705'}, {'R440060': 'BDBM31728'}, {'P440245': 'BDBM50445050'}Method1:df...

python实现汉字转拼音的2种方法在浏览博客时，偶然看到了用python将汉字转为拼音的第三方包，但是在实现的过程中发现一些参数已经更新，现在将两种方法记录一下。xpinyin在一些博客中看到，如果要转化成带音节的拼音，需要传递参数，‘show_tone_marks=True'，但我在实际使用时发现，已经没有这个参数了，变成了tone_marks，其它的参数和使用方法，一看就明白了，写的很清楚。看下源码：class Pinyin...