
学习记录
请叫我徐先生
研究方向:数据挖掘,流量识别,大数据技术,NLP, CV
展开
-
python310_d.lib导致无法解析的外部符号的异常
无法解析的外部符号 __imp__Py_NegativeRefcount,函数 _Py_DECREF 中引用了该符号。原创 2023-12-14 09:17:44 · 923 阅读 · 1 评论 -
golang交叉编译
window平台下的golang交叉编译命令原创 2023-10-17 16:36:52 · 186 阅读 · 0 评论 -
Docker一键安装和基本配置
Docker一键安装和基本赋权配置原创 2023-09-19 15:08:31 · 773 阅读 · 0 评论 -
X96 Max+刷armbian后禁用红外遥控器开关功能
家里有个x96 max+还有个hk1 box,我把x96刷成armbian作为家用低功耗服务器和hk1都放在电视下面,结果遥控器对着hk1关电视盒子把我服务器也顺带关了。。。原创 2023-02-13 15:18:52 · 1310 阅读 · 0 评论 -
虚拟机下ubuntu server扩容方案
总的来说,虚拟机下的ubuntu扩容分为三步:1、虚拟机扩容2、进入系统对多出来的容量新建分区3、将新分区挂在到指定目录并完成固化虚拟机扩容这点没什么好说,VMware的虚拟机扩容得先删掉所有快照,不然没法扩容只能加磁盘新建分区1、将多出来的内存新建分区# 新建目录用于挂载新分出来的分区mkdir /data# 进如root模式,不进也行,每个命令前加上sudo就行su root# 进入fdisk交互式命令行fdisk /dev/sda# 输入 m 可以查看命令说明Com原创 2022-05-07 17:34:13 · 2335 阅读 · 0 评论 -
java中的编码转换(以utf8和gbk为例)
在正常javaweb开发中经常会发现字符转换的需求,会存在中文字符转换乱码的现象,如何解决以及其转换原理我至今懵懵懂懂,于是专门写了个测试代码进行尝试,总算理清了编码,先上结论,总结如下:utf8中存放有各种语言编码,当前主流开发中会使用utf8进行编码解码,该方式不会产生乱码,产生乱码有以下几种情况1、gbk(中文)、iso-8859-1(无中文)等其他方式进行编码,则只能用其对应方式进行解码,否则为乱码2、使用utf8进行编码用其他方式解码则会导致乱码,需进行一次转换3、使用无对应字符(中文)原创 2021-10-21 12:27:22 · 22843 阅读 · 5 评论 -
Kafka+Zookeeper安装
本文安装配置环境为多个ubuntu20.04 集群,安装包皆来自apache官网,分别为kafka2.4.1 + zookeeper3.6.3 + jdk1.8,在文章末尾附上自用的zookeeper、kafka群起脚本注: 本文不包含jdk安装,详情见我的上一篇jdk1.8+hadoop3.2+scala2.12+spark3.1.2配置记录Zookeeper3.6.3安装配置(已完成解压,目录为/home/hadoop/Zookeeper)复制配置文件并重命名cp ~/Zookeeper/c原创 2021-09-26 15:47:59 · 1013 阅读 · 0 评论 -
jdk1.8+hadoop3.2+scala2.12+spark3.1.2配置记录
记录下我在ubuntu20.04-用户hadoop环境下搭建jdk+hadoop+scala+spark环境的过程(不安装到root相关目录下)注: 该配置实际为单机模式,若需要分布式要根据具体需要修改相关文件,不同版本的搭配请参考官方文档,本文记录的版本搭配为jdk1.8+hadoop3.2+scala2.12+spark3.1.2我将按照JDK、Hadoop、Scala、Spark的顺序进行记录JDK配置官网下载jdk1.8即可,也可直接down我分享的链接解压到相应目录mkdir ~/ja原创 2021-09-16 16:52:34 · 2686 阅读 · 6 评论 -
tensorflow下深度学习报错显存不够的应对措施
简单粗暴# tensorflow 内存不够的情况 适用于tensorflow 2.ximport tensorflow as tfos.environ["CUDA_VISIBLE_DEVICES"] = "0" # 指定显卡config = tf.compat.v1.ConfigProto(allow_soft_placement=True) # 开启软放置,OP放到CPU上了,为啥源码默认值是7?config.gpu_options.per_process_gpu_memory_fract原创 2021-09-13 16:13:28 · 2483 阅读 · 1 评论 -
hadoop集群搭建踩坑
问题1:第一次启动集群前需要将master进行hdfs格式化hdfs namenode -format注:若以后想要再次格式化需关闭所有namenode、datanode,并删除hadoop目录下data、logs文件夹问题2:启动报错“Attempting to operate on hdfs namenode as root”可在/etc/profile.d中添加一个sh脚本注入环境变量,脚本内容如下export HDFS_NAMENODE_USER=rootexport HD.原创 2021-08-20 11:40:44 · 442 阅读 · 0 评论 -
pytorch实现LeNet模型MNIST手写识别
文章目录#模块导入,常量参数设定import torchimport torch.nn as nnimport torch.nn.functional as Fimport torch.optim as optimfrom torchvision import datasets, transformsfrom torchsummary import summaryBATCH_SIZE = 512EPOCH = 20DEIVCE = torch.device('cuda:0' if to原创 2021-08-09 09:15:51 · 309 阅读 · 0 评论 -
Python 控制台输出时刷新当前行内容
今日小技巧GETPython 控制台输出时刷新当前行内容为了跑代码时不至于对了白屏发呆,提高用户(自己)体验,经过几次尝试,正确代码如下:import timefor i in range(100): time.sleep(0.1) print("\rReading image {}/{}".format(1+i,100),end='')...原创 2021-06-18 15:07:08 · 1200 阅读 · 0 评论 -
Cannot convert a symbolic Keras input/output to a numpy array
环境: Tensorflow2.4.1报错: Cannot convert a symbolic Keras input/output to a numpy array. This error may indicate that you're trying to pass a symbolic value to a NumPy call, which is not supported. Or, you may be trying to pass Keras symbolic inputs/outputs原创 2021-06-11 15:12:28 · 7990 阅读 · 5 评论 -
屏蔽tensorflow的日志打印
tensorflow运行时会输出一大串的日志信息眼花缭乱,用以下方法可以去除警告和错误之外的日志信息import osos.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'import tensorflow as tf切记:日志等级设置代码要放在导入tensorflow之前!...原创 2021-06-10 14:24:38 · 1697 阅读 · 0 评论 -
tensorflow-gpu、CUDA、cuDNN版本对应
版本 Python 版本 编译器 构建工具 cuDNN CUDA tensorflow_gpu-2.4.0 3.6-3.8 MSVC 2019 Bazel 3.1.0 8.0 11.0 tensorflow_gpu-2.3.0 3.5-3.8 MSVC 2019 Bazel 3.1.0 7.6 10.1 tensorflow_gpu-2.2.0 3.5-3.8 MSVC 2019 Ba...原创 2021-06-10 10:55:34 · 1013 阅读 · 0 评论 -
ubuntu换源笔记
1.ctrl+alt+t打开终端,备份源sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak2.用gedit打开源文件,ctrl+a全选删除,并粘贴更换源(任选一个,我用的阿里)sudo gedit /etc/apt/sources.list阿里源deb http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiversedeb htt..原创 2020-12-27 09:58:45 · 214 阅读 · 0 评论 -
ListNode链表问题
LeetCode链表问题:输入:(2 -> 4 -> 3) + (5 -> 6 -> 4) 两个已知链表对象ListNode l1, ListNode l2输出:7 -> 0 -> 8原因:342 + 465 = 807一开始是真没看懂题目。。。后来发现是反向存储的链表结构,又发现不知道ListNode这个类,,万事开头难,看着大家的方案题解,也琢磨了一份,并给出了详细的注释,算是留个笔记吧,继续努力!/** * Definition for sin.原创 2020-09-24 20:13:48 · 874 阅读 · 0 评论 -
线性回归的推导与简单的一元线性回归代码实现
直入正题,一元线性回归就是一次函数,即y=kx+b在线性函数中,x就是自变量,即模型需要输入的数据,y就是因变量,即我们需要预测的值我们如何拟合一条符合数据变化趋势的曲线呢?这就要涉及误差值了,因为拟合出来的曲线能否代表数据特征,我们需要一个评判标准曲线绝对无法完全拟合到每一个数据点上,但是我们能在这种拟合中寻找最优的那条曲线,评判依据就是误差值,什么是这里的误差值呢?在这里...原创 2019-12-16 22:36:50 · 735 阅读 · 0 评论 -
配置PLSQL远程连接虚拟机中的Oracle数据库
前提:1、虚拟机中已成功安装Oracle数据库2、配置了监听器3、下载安装PLSQL好了,直接进入正题第一步:安装instantclient安装甲骨文提供的instantclient作为本地电脑的配置客户端这里也提供一个官网的传送门下载页面,可以根据需要下载如果是用的11.2版本也可以使用我提供的资源传送门该客户端解压即可用第二步:配置insta...原创 2018-10-25 12:14:11 · 5826 阅读 · 3 评论 -
[转载]centos6搭建gitlab
点击打开地址链接转载 2018-08-02 13:16:28 · 495 阅读 · 0 评论 -
在VMware+centos6.5的基础上安装Oracle(二)
上一节已经应该熟悉了终端的基本操作,这一节将执行更多的命令。接着上一节,首先完成用户组和用户的添加,以root账号登陆系统,打开终端,输入以下命令groupadd oinstallgroupadd dbauseradd -g oinstall -g dba -m oraclepasswd oracle #该命令会让你两次确认密码然后创建相关目录,并给用户赋予访问修改权限mkdir -p /...原创 2018-07-12 18:29:03 · 1432 阅读 · 0 评论 -
在VMware+centos6.5的基础上安装Oracle(一)
百般折腾后(我会说我装了不下5遍的系统吗0.0),终于成功在CentOS 6.5上成功搭建了Oracle11g数据库,感动到自己想哭,在此记录下搭建和安装过程,在此首先感谢,各个论坛大佬的博客。好了进入正题。1.安装一个VMware虚拟机,安装过程网上一大把。2.在虚拟机上安装CentOS6.5,系统映像我是去官网下载的。这里我也给出6.5链接:点击打开链接下载bt,用下载工具下载就行了,下载下来...原创 2018-07-12 18:28:28 · 3245 阅读 · 0 评论