- 博客(73)
- 资源 (24)
- 收藏
- 关注
RSS订阅原创 python虚拟环境打包
先说遇到的坑，在windows环境下用virtualenv创建的虚拟环境在打包时总会报错sites.py下的一个函数找不到。隐式引入问题，使用 auto-py-to-exe 打包工具的高级中把一个个报错的模块都加进去就可以成功打包了。解决方法就是删除该虚拟环境，用python -m venv重新创建虚拟环境，可以解决该问题。
2023-05-12 09:29:20
374
原创 code server 安装 golang 环境
vim ~/.profile 添加环境变量在最后添加如下export GOROOT=/usr/local/go # Golong 安装目录 export GOPATH=/home/coder/project/goproject # 将来的工作目录 export PATH=$PATH:$GOROOT/bin:$GOPATH/bin # 将 $GOROOT 和 $GOPATH 加入到 PATH中，方便使用 export GO111MODULE=on export GOPROXY=https://gopro.
2021-05-15 21:46:25
1025
1
原创 树莓派docker安装MySQL
树莓派docker安装MySQL镜像下载镜像启动创建远程连接用户进入容器root 身份登录创建远程登录用户和权限设置镜像下载docker pull --platform=arm64 mysql/mysql-server镜像启动docker run -p 3306:3306 --name mysql01 \-v /home/xxx/work/mysql_home/conf:/etc/mysql \-v /home/xxx/work/mysql_home/logs:/var/log/mysql \
2021-04-17 17:08:00
1104
转载 django 中实现GROUP_CONCAT方法，分组聚合
from django.db.models import Aggregate, CharFieldclass GroupConcat(Aggregate): function = 'GROUP_CONCAT' template = '%(function)s(%(distinct)s%(expressions)s%(ordering)s%(separator)s)' def __init__(self, expression, distinct=False, order...
2020-11-05 23:13:53
813
原创 安卓手机做jupyter notebook服务器，iPad上可访问
1、安卓手机安装termux，主要参考教程：termux安装jupyterapt install clang python python-dev fftw libzmq libzmq-dev freetype freetype-dev libpng libpng-dev pkg-configpip install jupyterjupyter notebook --ip=0.0.0....
2019-05-14 23:32:05
5031
2
原创 Centos7安装RabbitMQ的方法并激活远程管理界面
一、下载最新版RabbitMQ的RPM包下载地址二、修改yum源，用于安装Erlang新版本参考博客在修改完成后，可以直接通过yum install 安装下载好的rabbitmq的RPM包并参考博客中进行相关配置和管理员添加。三、激活rabbitmq的网页版管理界面命令：rabbitmq-plugins enable rabbitmq_management这样可以就可以通过http...
2018-11-28 21:49:45
710
原创 RabbitMQ使用简要说明
1、队列（Queues）是你的消息（messages）的终点，可以理解成装消息的容器。队列是由消费者（Consumer）通过程序建立的2、交换机（Exchange）可以理解成具有路由表的路由程序。3、绑定（Binding）就是一个类似这样的规则：将交换机“desert（沙漠）”当中具有路由键“阿里巴巴”的消息送到队列“hideout（山洞）”里面去。绑定是一个基于路由键将交换机和队列连接起来...
2018-11-26 13:23:35
416
原创 理解交叉熵和最大似然估计的关系
理解交叉熵作为神经网络的损失函数的意义：交叉熵刻画的是实际输出（概率）与期望输出（概率）的距离，也就是交叉熵的值越小，两个概率分布就越接近，即拟合的更好。cross entropy= H§+DKL(p||q)当p分布是已知，则熵是常量；于是交叉熵和KL散度则是等价的。最小化KL散度和模型采用最大似然估计进行参数估计又是一致的。（可以从公式推导上证明）这也是很多模型又采用最大似然估计作为损...
2018-11-08 07:23:54
8442
原创 pip3升级失败，pip3自动被卸载后如何恢复
To install pip, securely download get-pip.py. [1]:curl https://bootstrap.pypa.io/get-pip.py -o get-pip.pyThen run the following:python3 get-pip.py
2018-10-30 14:42:29
2724
1
原创 基于Sklearn原生Kmeans算法的自动化聚类
from sklearn.cluster import KMeansimport numpy as npimport matplotlib.pyplot as pltfrom pandas import Seriesimport randomfrom sklearn.metrics import silhouette_samples, silhouette_scoreimport ti...
2018-10-29 21:56:17
940
原创 socketserver实现多线程算法请求服务器
需要实现客户端发来的算法执行请求，写了一个多线程的响应框架，能够实现响应多个IP的请求，并且不受客户端断开的影响。服务器端import socketserverimport jsonclass Algrithom(object): def __init__(self,name): self.name = name def calc_sub(self,*ar...
2018-09-28 21:24:58
265
原创 sqlalchemy默认的字符集是latin-1，转成utf-8
尝试了创建engine时设置charset=utf8，这样起作用的前提是在创建database时需要CHARSET=UTF8步骤1CREATE DATABASE test CHARSET=UTF8;步骤2engine = create_engine(“mysql+pymysql://root:abc@192.168.1.3/test?charset=utf8”,encoding=‘utf-...
2018-09-25 06:59:21
6420
原创 ORM外键关联查询1对多（一个用户有两个地址）
本程序主要是参考金角大王博客做了一个ORM可增可查的外键关联查询实验#-*- coding:utf-8 -*-from sqlalchemy import Integer, ForeignKey, String, Columnfrom sqlalchemy.ext.declarative import declarative_basefrom sqlalchemy.orm import ...
2018-09-24 22:36:59
1090
原创 Spark_rdd_and_map_reduce基本操作
from __future__ import print_function, divisionfrom pyspark import SparkConf, SparkContextfrom pyspark.sql import SparkSessionspark = SparkSession.builder.master("local") \ .appName("test") \ ...
2018-08-21 21:07:15
982
原创 windows连接本地centos虚拟机的Pyspark的Jupyter开发环境
1首先安装Scala和spark，参考教程： https://blog.youkuaiyun.com/pucao_cug/article/details/72377219 2安装Python3和Jupyter，参考教程： https://blog.youkuaiyun.com/max_cola/article/details/78902597 3 centos下使Jupyter同时支持Python2和3 htt...
2018-08-20 15:22:59
596
原创 Spark集群安装与启动
整个安装过程参考博文： https://blog.youkuaiyun.com/JavaMoo/article/details/77175579 遇到的问题JAVA_HOME is not set ，参考博文： https://blog.youkuaiyun.com/u014052851/article/details/76549451（一）启动Hadoop hadoop启动：只需要再hserver1(nam...
2018-08-19 08:51:41
365
原创 centos7安装Hadoop集群成功
安装centos7 最小安装后通过将网络/etc/sysconfig/network-scripts/ifcfg-ens33中的随机启动改为yes，获取网络后开始yum install一系列包后，主要按照博文 https://blog.youkuaiyun.com/pucao_cug/article/details/71698903 成功安装了Hadoop集群 ...
2018-08-18 22:36:30
292
原创 使用scipy.interpolate将非等间距采集的值插值成等间距的值
import numpy as npimport pandas as pdimport matplotlib.pyplot as pltfrom scipy import interpolate#读数据df=pd.read_excel("D:/Data/data_grundfox_r.xlsx" )#绘制原始数据曲线plt.figure(figsize=(10,5), dpi=...
2018-08-16 23:03:57
4803
原创 装饰器使用案例
import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport mathimport datetimefrom pandas import DataFrame,Seriesfrom copy import deepcopyimport seaborndef timer(func): """...
2018-08-01 17:00:58
239
原创 秒懂Python装饰器（一个装饰器，实现不同的装饰功能）
#-*- coding；utf-8 -*-user,passwd = 'alex','abc123'def auth(auth_type): print("auth func:",auth_type) def outer_wrapper(func): def wrapper(*args, **kwargs): print("wrapper...
2018-07-24 21:54:32
364
原创 秒懂装饰器（带传参和返回值）
#-*- coding:utf-8 -*-import time'''传入的参数为func，即函数名（函数的地址），不是func(),若是func()即把函数的运行结果传入了timer'''def timer(func): #将函数名传递给另一个函数作为参数，称之为高阶函数 def deco(*args,**kargs):#在函数内定义一个函数，称之为函数的嵌套 ...
2018-07-24 21:42:36
1161
原创 秒懂Python装饰器
装饰器：本质是函数，主要用于装饰其他函数（就是为其他函数添加附加功能） 原则1：不能修改被装饰函数的源代码 原则2：不能修改被装饰函数的调用方式 实现方式：高阶函数+函数嵌套->装饰器，其中高阶函数用到了Python中函数也是变量的性质#-*- coding:utf-8 -*-import time'''传入的参数为func，即函数名（函数的地址），不是func(),若...
2018-07-22 13:53:59
251
原创 APEnt_test
近似熵主要的是从衡量时间序列复杂性的角度来度量信号中产生新模式的概率大小，产生新模式的概率越大，序列的复杂性越大，相应的近似熵也越大。本篇设计了两个需要预测的时间序列，test_data1为信噪比较高的信号，test_data2为噪声较大的信号，通过计算发现test_data1的近似熵较为真实的反应了新模式的产生，而test_data2的近似熵则无法反应新模式的产生。对test_data2通过小波...
2018-06-30 22:47:40
453
原创 做项目遇到需要将5分钟采样间隔的数据变为1分钟采样间隔的数据，通过numpy的interp实现
def Resample(input_signal,src_fs,tar_fs):”’ :param input_signal:输入信号 :param src_fs:输入信号采样率 :param tar_fs:输出信号采样率 :return:输出信号 ”’dtype = input_signal.dtypeaudio_len = len(...
2018-06-20 11:34:58
2529
原创 利用git做版本控制
一、使用分支版本 1、创建分支dev，并且切换到dev git branch dev git checkout dev 2、git branch命令查看当前分支 git branch 3、切换回master分支 git checkout master 4、把dev分支的工作成果合并到master分支上 git...
2018-06-18 19:32:30
209
原创 Git最基本的7个功能使用方法
1、在project的文件夹下创建版本库 git init 2、例如将编写好的readme.txt添加到本地git仓库 git add readme.txt git commit -m “here is the content that you want to describe this add edtion” 3、git status命令可以让我们时刻掌握仓库当前是否被修改过 git...
2018-06-17 22:03:05
1076
原创 使用随机森林进行特征选择的具体方法
import numpy as npimport pandas as pdfrom sklearn import svm#from sklearn.linear_model import LogisticRegression#——————————————————导入训练数据——————————————————————data0 = pd.read_csv('Data22.csv...
2018-06-14 17:47:10
7309
原创 Python小波分析库Pywavelets的一点使用心得
# -*- coding: utf-8 -*- import numpy as npimport mathimport matplotlib.pyplot as pltimport pandas as pdimport datetime from scipy import interpolatefrom pandas import DataFrame,Seriesimport ...
2018-06-14 08:33:31
37957
22
原创 windows10下ipython notebook同时支持Python2和Python3
Python2.7是anaconda，所以自带支持了ipython notebook，Python3为官网下载的64位安装包，将Python文件夹和Python\Scripts都添加进环境变量，并将Python.exe和Pythonw.exe改为Python3.exe和Pythonw3.exe 命令行下运行 python3 -m pip install ipython notebook py...
2018-06-11 07:03:12
702
转载 Pythong常用库大全
环境管理管理 Python 版本和环境的工具p – 非常简单的交互式 python 版本管理工具。 pyenv – 简单的 Python 版本管理工具。 Vex – 可以在虚拟环境中执行命令。 virtualenv – 创建独立 Python 环境的工具。 virtualenvwrapper- virtualenv 的一组扩展。 包管理管理包和依赖的工具。pip...
2018-06-10 22:30:37
1909
原创 Python2.7实现CNN手写数字识别
import tensorflow as tf/root/.local/lib/python2.7/site-packages/h5py/__init__.py:36: FutureWarning: Conversion of the second argument of issubdtype from `float` to `np.floating` is deprecated. In fu...
2018-06-10 18:21:07
1030
原创 Linear Regression by tensorflow
# -*- coding: utf-8 -*-"""Spyder EditorThis is a temporary script file."""import tensorflow as tfimport numpy as npx_data=np.random.rand(100).astype(np.float32)y_data=x_data*0.1+0.3we...
2018-06-10 16:00:26
110
原创 使用scipy.interpolate对数据进行插值，但是在缺失点出现在极值附近时效果并不好
import numpy as npimport mathimport matplotlib.pyplot as pltimport pandas as pdimport datetime from scipy import interpolatefrom pandas import DataFrame,Series#num_pi为要产生几个π的sin数据，num_ex为异常...
2018-06-09 21:57:49
8211
1
原创 为测试数据清洗工作的有效性写了一个产生测试数据的函数
import numpy as npimport mathimport matplotlib.pyplot as pltimport pandas as pdimport datetime from scipy import interpolatefrom pandas import DataFrame,Series#num_pi为要产生几个π的sin数据，num_ex为异常...
2018-06-08 21:41:46
951
原创 MySQLdb方式操作数据库
from sqlalchemy import create_engineimport tushare as tsdf=ts.get_k_data('600000',start='2017-05-31',end='2018-05-31')engine = create_engine('mysql://root:123456@127.0.0.1/stock_data')df....
2018-06-05 20:15:09
634
原创 ORM方式操作数据库
from sqlalchemy import Column, String, create_enginefrom sqlalchemy.orm import sessionmakerfrom sqlalchemy.ext.declarative import declarative_base# 创建对象的基类:Base = declarative_base()class Us...
2018-06-04 21:58:03
2088
原创 Hive学习笔记1
HIVE结构Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reduce...
2018-05-31 22:03:54
262
原创 CentOS7安装TensorFlow遇到的坑
虚拟机选择最新的VMware 14，安装完CentOS7，检查Python版本为2.7，安装完成pip，以为就可以开始安装TensorFlow了，没想到遇到一堆坑，首先是没有VPN，老是遇到下载包终端，后来选择了清华镜像 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy 改善了问题，接着遇到了一个不能够uninstall...
2018-05-25 22:21:06
1940
原创 进度条显示功能tqdm_test
from tqdm import tqdmfrom time import sleepfor i in tqdm(range(1000)): sleep(0.01)100%|██████████████████████████████████████| 1000/1000 [00:10<00:00, 95.60it/s]可以用在需要显示执行进度的时候...
2018-05-09 09:36:27
507
原创 Python做量化交易的一些工具，做个标记
开源框架Pandas - 数据分析包 Zipline - 一个Python的回测框架 vnpy - 基于python的开源交易平台开发框架 tushare - 财经数据接口包 easytrader - 进行自动的程序化股票交易 pyalgotrade - 一个Python的事件驱动回测框架 pyalgotrade-cn - Pyalgotrade-cn在原版pyalgo...
2018-05-08 11:39:58
2432
linux内核设计与实现
2011-11-23
信号检测与估计(第二版)段凤增
2010-10-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人