- 博客(55)
- 收藏
- 关注
RSS订阅原创 golang 中的锁
锁的作用 - 解决并行运算中，共享数据读写的安全性问题。 - 并行执行中，在锁的位置，同时只能有一个程序获得锁，其他程序不能获得锁。 - 锁的出现，使得并行执行的程序在锁的位置串行化执行。 - 多核、分布式运算、并发执行，才会需要锁。 ---------------------------------------------------------------------------- 1. 同一个协程不能连续多次调用Lock,否则发生死锁 2. 锁资源时尽量缩小资源的范围，以免引起其它协程超长时间等待
2021-03-10 00:08:24
1057
2
原创 go 闭包与python 闭包 对比
""" python 中的闭包 1.一个外部函数(outter)内部嵌套一个内部函数(inner) 2.内部函数中对外部函数内的变量(b)进行引用(非全局变量) 3.外部函数返回值为内部函数(inner) """ def outter(a): b=10010 def inner(): c=a+b return c return inner /* go 中的闭包 1.定义一个函数(outter)的返回值为一个函数(inner) 2.返回的函数(in
2021-03-07 23:47:23
375
原创 windows 系统 vscode中 go 插件安装失败的解决方法 2021/3/6
1.运行 go env -w GO111MODULE=on //开启mod 运行 go env -w GOPROXY=https://goproxy.cn,direct //设置代理 2.进入GOPATH目录,创建src/golang.org/x/目录,进入src/golang.org/x/目录 git clone https://github.com/golang/tools.git git clone https://github.
2021-03-06 17:46:11
1364
9
原创 将dataframe 对象写入数据库中,并指定数据类型
在数据分析并存储到数据库时，Python的Pandas包提供了to_sql 方法使存储的过程更为便捷，但如果在使用to_sql方法前不在数据库建好相对应的表，to_sql则会默认为你创建一个新表，这时新表的列类型可能并不是你期望的。例如我们通过下段代码往数据库中插入一部分数据： import pandas as pd from datetime import datetime df = p...
2019-05-31 14:26:18
4110
1
转载 pyecharts画图
有时我们会很希望把数据展示在地图上，来做数据可视化，使数据更加清晰明了，可谓一图胜百文。先说说我用地图做什么了：微信好友全国分布，显示票房省份数据，全国评分显示等等，我这个语言能力很是头疼啊，进入正题吧! 在使用地图前需要安装一下适合自己的地图包： 要记得安装对应的地图拓展： 选择自己需要的安装 $ pip install echarts-countries-pypkg $ pip i...
2019-04-25 11:21:52
921
原创 python manage.py makemigrations 执行报错 解决办法
报错原因:已经在settings.py文件中注册过app仍旧提示没有安装，并且使用makegirations命令时会抛出如下异常 ValueError: The field admin.LogEntry.user was declared with a lazy reference to 'xxx.userinfo', but app 'xxxxxx' isn't installed.' 解决...
2019-04-18 16:44:06
9510
原创 python库--pandas--Series.str--字符串处理
S: Series I: Index 方法 返回值 参数 说明 .capitalize() S/I 将Series/Index中的字符串大写 .cat() S/I/str 使用给定分隔符连接字符串 other=None None: 使用sep连接给定的Series返回一个str List_like: 与Series对...
2019-04-14 16:23:38
704
1
原创 python--利用datetime模块计算时间差
python中通过datetime模块可以很方便的计算两个时间的差,datetime的时间差单位可以是天、小时、秒,甚至是微秒,下面我们就来详细看下datetime的强大功能: from datetime import datetime a=datetime.now() b=datetime.now() >>>a >>>datetime.dateti...
2019-04-12 17:49:43
12014
原创 本地mysql快速迁移到服务器数据库中
我们可以使用linux的scp命令(scp无法在windows使用),加上mysql自带的mysqldump,能很快的完成数据库的迁移 将本地的数据库(music_db)导出为sql文件(music_db.sql) mysqldump -uroot -p music_db > music_db.sql 用scp命令将sql文件发送到服务器 scp music_db.sql ...
2019-04-10 14:54:28
302
原创 python利用joblib保存训练模型
在机器学习中我们训练模型后，需要把模型保存到本地，这里我们采用joblib来保存 from sklearn.externals import joblib #保存训练模型 def Save_Model(self, model, filepath): joblib.dump(model, filename=filepath) def Decision_Tree_classifie...
2019-04-09 21:11:45
1070
原创 Python数据分析之pandas学习
Python中的pandas模块进行数据分析。 接下来pandas介绍中将学习到如下8块内容： 1、数据结构简介：DataFrame和Series 2、数据索引index 3、利用pandas查询数据 4、利用pandas的DataFrames进行统计分析 5、利用pandas实现SQL操作 6、利用pandas进行缺失值的处理 7、利用pandas实现Excel的数据透视表功能 8、多层索引的...
2019-04-07 22:58:56
354
转载 聚类算法——python实现SOM算法
算法简介 SOM网络是一种竞争学习型的无监督神经网络，将高维空间中相似的样本点映射到网络输出层中的邻近神经元。 训练过程简述：在接收到训练样本后，每个输出层神经元会计算该样本与自身携带的权向量之间的距离，距离最近的神经元成为竞争获胜者，称为最佳匹配单元。然后最佳匹配单元及其邻近的神经元的权向量将被调整，以使得这些权向量与当前输入样本的距离缩小。这个过程不断迭代，直至收敛。 网络结构：输入层和...
2019-04-07 16:00:42
9675
2
转载 基于人工智能的5G无线网规划和优化
摘要:自组织网络(SON)在即将到来的5G系统中的功能是人工智能(AI)机制的一个很有前途的领域。在这方面，本文分析了如何在AI概念的基础上构建未来5G系统中无线接入网规划和优化的自组织网络。提出了一个框架，通过基于学习的分类、预测和聚类模型，对来自多个来源的输入数据进行处理，提取相关知识，以驱动5G自组织网络的决策。不同的基于人工智能的知识发现候选工具和相关的可以提取的知识模型一起被识别出来。在...
2019-04-07 15:01:00
1511
转载 用KNN解决非线性回归问题
最近有一批数据，通过4个特征来预测1个值，原来用线性回归和神经网络尝试过，准确率只能到40%左右。用KNN结合网格搜索和交叉验证，正确率达到了79%，没错，KNN解决回归问题也很赞。 什么是KNN KNN就是K近邻算法（k-NearestNeighbor），百度百科是这么写的：K最近邻(kNN，k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是...
2019-04-06 23:37:13
1687
2
转载 机器学习项目流程及模型评估验证
机器学习项目流程思维导图.JPG numpy简单的统计分析整理 import numpy as np a = np.array([1,2,3,4,5]) # 最小值 minimum_a = np.min(a) # 最大值 maximum_a = np.max(a) # 平均值 mean_a = np.mean(a) # 中位数 median_a = np.median(a) # 标...
2019-04-06 23:36:04
720
转载 30分钟学会用scikit-learn的基本回归方法（线性、决策树、SVM、KNN）和集成方法（随机森林，Adaboost和GBRT）
本文主要参考了scikit-learn的官方网站 前言：本教程主要使用了numpy的最最基本的功能，用于生成数据，matplotlib用于绘图，scikit-learn用于调用机器学习方法。如果你不熟悉他们（我也不熟悉）,没关系，看看numpy和matplotlib最简单的教程就够了。我们这个教程的程序不超过50行 1. 数据准备 为了实验用，我自己写了一个二元函数，y=0.5*np.si...
2019-04-06 23:26:43
469
原创 pandas 使用方法总结
数据的导入 import pandas as pd pd.read_csv(filename) # 导入csv格式文件中的数据 pd.read_table(filename) # 导入有分隔符的文本 (如TSV) 中的数据 pd.read_excel(filename) # 导入Excel格式文件中的数据 pd.read_sql(query, connection_object) # 导入SQ...
2019-03-28 16:03:19
943
原创 scrapy框架简介和基础应用
一.什么是Scrapy？ Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很强通用性的项目模板。对于框架的学习，重点是要学习其框架的特性、各个功能的用法即可。 二.安装 Linux： pip3 install scrapy Wi...
2019-03-24 14:49:00
158
原创 Python网络爬虫之验证码处理
引入 相关的门户网站在进行登录的时候，如果用户连续登录的次数超过3次或者5次的时候，就会在登录页中动态生成验证码。通过验证码达到分流和反爬的效果。 今日内容 云打码平台处理验证码的实现流程： 云打码平台处理验证码的实现流程： - 1.对携带验证码的页面数据进行抓取 - 2.可以将页面数据中验证码进行解析，验证码图片下载到本地 - 3.可以将验证码图片提交给三方平台进行识别，返回...
2019-03-23 21:39:37
288
原创 Python网络爬虫之爬取get请求的页面数据
一.urllib库 urllib是Python自带的一个用于爬虫的库，其主要作用就是可以通过代码模拟浏览器发送请求。其常被用到的子模块在Python3中的为urllib.request和urllib.parse，在Python2中是urllib和urllib2。 二.由易到难的爬虫程序： 1.爬取百度首页面所有数据值 1 #!/usr/bin/env python 2 # -...
2019-03-23 21:33:13
448
原创 Python网络爬虫之requests模块（2）
今日内容 session处理cookie proxies参数设置请求代理ip 基于线程池的数据爬取 引入 有些时候，我们在使用爬虫程序去爬取一些用户相关信息的数据（爬取张三“人人网”个人主页数据）时，如果使用之前requests模块常规操作时，往往达不到我们想要的目的，例如： #!/usr/bin/env python # -*- coding:utf-8 -*- import ...
2019-03-23 20:58:57
817
原创 Python网络pachong之requests模块（1）
今日概要 基于requests的get请求 基于requests模块的post请求 基于requests模块ajax的get请求 基于requests模块ajax的post请求 综合项目练习：爬取国家药品监督管理总局中基于中华人民共和国化妆品生产许可证相关数据 今日详情 - 基于如下5点展开requests模块的学习 什么是requests模块 requests模块是python中...
2019-03-23 20:52:38
334
转载 Python网络爬虫之三种数据解析方式
requests实现数据爬取的流程 指定url 基于requests模块发起请求 获取响应对象中的数据 进行持久化存储 其实，在上述流程中还需要较为重要的一步，就是在持久化存储之前需要进行指定数据解析。因为大多数情况下的需求，我们都会指定去使用聚焦爬虫，也就是爬取页面中指定部分的数据值，而不是整个页面的数据。因此，本次课程中会给大家详细介绍讲解三种聚焦爬虫中的数据解析方式。至此，我们的数据...
2019-03-22 18:31:51
346
转载 mui 中的webview
mui的webview的解读： 使用mui开发的app，其实是在做web前端开发，打开的webview是网页，用js+html+css替代了原来的xml+java activity的传统android开发模式，h5最终性能相对原生一定是降低了很多（主要原因不在webkit的解析速度，而是最终所有的ui和业务逻辑还是会转化为android sdk交由java去实现，google可没有直接提供and...
2019-03-12 17:15:29
1362
原创 HBuilder mui 页面间传值的几种方式
HBuilder mui页面间传值的几种方式 一、页面预加载时传值 mui.init({ preloadPages:[{ url:prelaod-page-url, id:preload-page-id, styles:{}, extras:{ name:'zqm' },//在这里添加要传递的参数 ...
2019-03-08 20:44:35
402
原创 mui.ajax和mui.post,mui.get的区别
mui ajax mui框架基于htm5plus的XMLHttpRequest，封装了常用的Ajax函数，支持GET、POST请求方式，支持返回json、xml、html、text、script数据类型； 本着极简的设计原则，mui提供了mui.ajax方法，并在mui.ajax方法基础上，进一步简化出最常用的mui.get()、mui.getJSON()、mui.post()三个方法。 &...
2019-03-08 20:03:04
3904
原创 JSON.parse()与JSON.stringify()的区别
JSON.parse()【从一个字符串中解析出json对象】 例子： //定义一个字符串 var data='{"name":"来了,老弟"}' //解析对象 JSON.parse(data) 结果是： name:"来了,老弟" JSON.stringify()【从一个对象中解析出字符串】 var data={name:'来了,老弟'} JSON.stringify(da...
2019-03-08 19:43:32
1140
原创 flask总结之session，websocket，上下文管理
1.关于session flask是带有session的，它加密后存储在用户浏览器的cookie中，可以通过app.seesion_interface源码查看 from flask import Flask,session app = Flask(__name__) app.secret_key = 'aptx4869' # 必须要指定这个参数 @app.route('/login...
2019-03-04 22:17:42
520
原创 DBUtils连接池，websocket
1.mysql数据库连接池 概念：数据库连接池（Connection pooling）是程序启动时建立足够的数据库连接，并将这些连接组成一个连接池，由程序动态地对池中的连接进行申请，使用，释放。 这样集中管理，供程序使用可以保证较快的数据读写速度，而且不用来回创建数据库连接，节省了时间，也更加的安全可靠。 1.1 背景 所有线程都只用一个mysql连接，如果这个连接断掉，程序也会...
2019-03-04 22:15:20
757
原创 Python-DBUtils 使用mysql数据库连接池提升效率
随着全网扫描项目的开发，越来越细致的问题暴露出来，从能用到用的好，还有很长的路要走。 这个问题前段时间就发现了，程序一般跑个一天会越来越慢，直到某个时候程序彻底崩了，而且最后的报错也一般是mysql的报错： pymysql.err.OperationalError: (2013, 'Lost connection to MySQL server during query ([Errno 10...
2019-03-04 22:10:40
696
原创 flask-wtforms
简介 WTForms是一个支持多个web框架的form组件，主要用于对用户请求数据进行验证。 安装： pip3 install wtforms 用户登录注册示例 1.用户登录 当用户登录时候，需要对用户提交的用户名和密码进行多种格式校验。如： 用户不能为空；用户长度必须大于6； 密码不能为空；密码长度必须大于12；密码必须包含 字母、数字、特殊字符等（自定义正则）； a...
2019-03-03 22:27:42
536
原创 Flask快速入门及知识整理
一、Flask介绍（轻量级的框架，非常快速的就能把程序搭建起来） Flask是一个基于Python开发并且依赖jinja2模板和Werkzeug WSGI服务的一个微型框架，对于Werkzeug本质是Socket服务端，其用于接收http请求并对请求进行预处理，然后触发Flask框架，开发人员基于Flask框架提供的功能对请求进行相应的处理，并返回给用户，如果要返回给用户复杂的内容时，需要...
2019-03-03 22:19:43
641
原创 Flask-配置与调试
目录 配置管理 总结 调试模式 配置管理 复杂的项目需要配置各种环境。如果设置项很少，可以直接硬编码进来，比如下面的方式: app = Flask(__name__) app.config['DEBUG'] = True app.config是flask.config.Config类的实例，继承自Python内置数据结构dict,所以可以使用update方法： app...
2019-02-28 21:36:30
184
转载 django中的ORM方法
1. 数据库的配置 Django可以配置使用sqlite3,mysql,oracle,postgresql等数据库 在一个Django项目中，默认使用的是sqlite3数据库 DATABASES = { 'default': { 'ENGINE': 'django.db.backends.sqlite3',#默认使用的数据库引擎是sqlite3，项目自动创建 ...
2018-12-16 18:12:54
1367
原创 django的模板系统
django的模板系统 模板的官方定义: 模板只是一个文本文件。它可以生成任何基于文本的格式（HTML，XML，CSV等）。 模板包含变量，这些变量在评估模板时将替换为值，而变量则包含控制模板逻辑的标记。 变量:用两个大括号括起来的文字（例如 {{ person_name }} ） 变量作用:当模板引擎遇到变量时，它会计算该变量并将其替换为结果。 模板标签:被大括号和百分号包围的文本(例如 {%...
2018-12-15 18:33:34
163
原创 django安装与项目创建
django安装与项目创建 一.django下载 1.命令行下载django 打开命令行，cd 到一个你想放置你代码的目录，然后运行以下命令： cd e: #切换至存档代码的目录 pip install django==1.11.16 #下载django,1.11.16为django版本号 2.pycharm中下载django 二.创建项目 1.命令行创建 命令行 djang...
2018-12-15 16:42:37
325
原创 django 静态文件相关
再django项目中,我们习惯把静态文件放到static文件夹里,下图演示通过获取静态文件的一种方式. 第一种方法 直接将别名将文件路径拼接 第二种方法 使用 {%loadstatic%} 获取别名后,通过{% static "文件路径" %} 或者"{% get_static_prefix %}文件路径" 这两种方式将路径拼接到一起, 使用 {%loadstatic%} 好处是,别...
2018-12-13 23:23:13
339
转载 django 中的中间件
中间件 什么是中间件 官方的说法是：中间件是一个用来处理Django的请求和相应的框架级别的钩子。他是以个轻量、低级别的插件系统，用于在全局范围内改变Django和输入和输出。每个中间件组件都负责做一些特定的功能。 但是由于其影响的是全局，所以要谨慎使用，使用不当会影响性能。 说的直白一些中间件就是帮助我们在视图函数执行之前和执行之后都可以做一些额外的操作，它本质上就是一个自定义类，类中定...
2018-12-10 18:34:32
186
转载 django 执行查询
执行查询 只要创建好 数据模型, Django 会自动为生成一套数据库抽象的API， 可以让你创建、检索、更新和删除对象。这篇文档阐述如何使用这些API。 关于模型查询所有选项的完整细节，请见 数据模型参考 。 在整个文档（以及参考）中，都将引用下面的模型，它是一个博客应用： from django.db import models class Blog(models.Model): name =...
2018-12-06 19:42:04
283
原创 网络编程知识汇总
通信流程 客户端\服务端架构 a.硬件C\S架构：打印机。 b.软件C\S架构：QQ、微信、优酷、暴风影音、浏览器(IE、火狐，360浏览器等)。 B\S架构 :浏览器和各个网站服务端进行的通讯方式又常被成为B\S架构 网络通信的整个流程(硬件\名词) 集线器:将咱们所有的插上集线器的电脑连通起来 交换机: 升级版集线器 网卡: 接收电信号,网络插口:插网线 m...
2018-12-05 19:23:37
706
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人