涛哥带你学编程-优快云博客

原创 leanote搭建以及数据迁移

背景：现有的蚂蚁笔记部署在机器xx.x.xxx.135上，之后这台机器不使用了，需要将蚂蚁笔记以及相关数据都迁移到另一台机器xx.x.xxx.55上思路：重新部署搭建新的leanote 从原机器上备份全部的数据，并在新机器上恢复数据步骤：1.安装数据库MongoDB蚂蚁笔记使用的数据库就是MongoDB（1）添加yum源vi /etc/yum.repos.d/mongodb-org-4.0.repo添加以下内容：[mongodb-org-4.0]name = M

2021-01-27 14:33:44 3418

原创重新封装优化React组件并打包发布到npm私服

- 背景在前端开发时，一些常见的组件（如select）往往不能满足现实开发需求，需要对组件进行重新的封装和优化重新封装优化的组件往往会用在不同的几个项目，这个时候如果要在另外一个项目中使用这个组件，就只能把组件代码重新copy一份，这样存在很多弊端，第一点就是代码冗余；第二点是如果要对这个组件进行升级修改，这个时候得去每个项目下修改一遍，想想就头大为了解决这个问题，做了以下探索，特此记录...

2020-01-17 17:25:09 4046

原创 HIVE建表、HBASE建表、HIVE表与HBASE表关联以及数据导入

- 背景后端查询数据库时，要用到hive表和MySQL表当前的做法是：先查询MySQL数据表，得到的结果通过参数的形式传递给hive表进行查询弊端：当传递的参数太多时，SQL查询有长度限制，当往关键字in中传递时，有长度和效率的限制为了解决这个问题，做以下探索：在hive下创建一张与MySQL表相同的表，后端SQL查询采用join的方式在HBASE下创建表并映射到hive下，后端S...

2020-01-15 18:07:01 1419

原创 JAVA动态代理实现简单的AOP框架

- 背景作业：使用Java动态代理实现一个简单的AOP框架定义两个注解 @Transaction ，@Log定义一个接口Aspect，它有两个接口方法：before(); after();实现连个Apect实现类：TransactionAspect，LogAspect；TransactionAspect：before()：输出事务开始，after():输出事务结束Lo...

2019-08-06 12:14:53 673 1

原创 PacVim：一个学习vim命令的游戏

前言我们都知道Vim是Linux下一种文本编辑器，可以用来看代码、改代码。但是Vim是无图形界面的编辑器，一切操作全靠指令，指令繁多且复杂，对于新手而言，学习起来很费劲。偶然的机会，发现一款有趣的命令行游戏PacVim，通过这款游戏可以提高Vim操作技能。出于好奇，下载并安装了这款游戏，亲身体验了几次，还是挺有意思的。PacVim介绍PacVim这款游戏...

2019-05-21 16:42:31 3064

原创 Flume对文件夹进行监控，实时收集新增文件到HDFS

- 背景由于项目要求，需要实时将指定文件夹中新增的文件上传到HDFS中，本文中使用flume采集数据并保存到HDFS中，一方面可以减轻本地的存储压力，另一方面数据集中保存到HDFS也为后续数据分析工作打下基础。- 实现流程flume中的source组件选用spooling directory类型，此类型能对文件目录进行监控并实时收集目录中新增的文件。本文中采用此种类型对本地存储相关数据的目...

2019-03-31 20:24:57 3320 2

原创 Flume报错：java.lang.NumberFormatException: For input string: "0　"

- 背景Flume启动时报错：由日志提示可知：配置文件错误导致Sink k1失效查看配置文件vim spool-hdfs.conf配置a1.sinks.k1.hdfs.rollCount = 0时，在0后面多加了一个空格，导致系统将数值型识别为字符串。...

2019-03-19 11:55:59 1234

原创 HDFS学习笔记

- HDFS简介

2019-03-12 16:47:37 470

原创 Mac系统下，Hadoop集群的搭建

- 环境主节点操作系统：macOS High Sierra 10.13.3虚拟机软件：Parallels Desktop从节点操作系统：Centos7Centos7 jdk版本：1.8.0_144Mac jdk版本：1.8.0_171Hadoop版本：Hadoop 2.8.1本文是在Mac上创建两个虚拟机，两个虚拟机和Mac主机组成三个节点，主节点为Mac，两个从节点为cento...

2019-03-12 11:38:02 5687 1

原创 Kafka入门：简介及集群搭建

- kafka简介Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统。每条发布到kafka的消息是根据Topic进行归类，每个Topic包含一个或多个Partition，发布消息到Kafka broker的是Producer（生产者），向Kafka broker读取消息的客户端成为Consumer。Kafka...

2019-02-24 16:58:18 431

原创 Linux/Unix shell中2>&1的解释

- 背景在Flume实践学习中，看到了如下操作flume-ng agent --conf conf --conf-file flume_inc_hdfs.conf --name a1 - Dflume.root.logger=INFO,console &gt;&gt; flume.log 2&gt;&amp;1 &amp;...

2019-02-21 14:49:03 532

原创 Flume入门：简介、安装以及实践

- Flume简介Apache Flume是一个分布式、可信任的弹性系统，用于高效收集、汇聚和移动大规模日志信息从多种不同的数据源到一个集中的数据存储中心(HDFS、 HBase)支持各种接入资源数据的类型以及接出数据类型支持多路径流量，多管道接入流量，多管道接出流量，上下文路由等...

2019-02-20 15:42:40 573

原创错误: 找不到或无法加载主类 org.apache.flume.tools.GetJavaProperty

- 背景Flume安装配置完成后，在查看Flume版本时出现下图错误- 解决方案在网络上查到两种解决方案，特此记录第一种：原因：1、jdk 冲突2、安装了 hbase 就会报着个错解决：1、卸载 openjdk2、安装 jdk7.3、将 hbase 的 hbase.env.sh 的一行配置注释掉#Extra Java CLASSPATH elements. Option...

2019-02-20 12:13:10 13426 11

原创推荐系统实战中LR模型训练（二）

背景：上一篇推荐系统实战中LR模型训练（一）中完成了LR模型训练的代码部分。本文中将详细讲解数据准备部分，即将文本数据数值化为稀疏矩阵的形式。文本数据：稀疏矩阵：实现过程：文本数据格式如下：用户ID / 物品ID / 收听时长 / 收听的时间点 / 性别 / 年龄段 / 收入 / 籍贯 / 物品名称 / 物品总时长 / 物品标签LR模型在此处的目的是用户对某个物品（音乐）...

2019-02-18 16:43:01 2445

原创 vim下输入^A

背景：今天在处理文本分割的时候，碰到了分隔符^A，一时半会不知道在键盘上如何输入，特此做一个记录，方便下次忘了及时查询。方法：control+V+A...

2019-02-18 11:41:32 9117 1

原创推荐系统实战中LR模型训练（一）

背景：在“批量导入数据到Redis” 中已经介绍了将得到的itema item1:score1,item2:score2…批量导入到Redis数据库中。本文的工作是运用机器学习LR技术，抽取相应的特征，进行点击率的估计。点击率（Click-Through-Rate, CTR）预估点击率 (predict CTR, pCTR) 是指对某个系统将要在某个情形下展现前, 系统预估其可能的点击概率...

2019-02-17 20:02:30 6766

原创解决ImportError: No module named redis

背景python查询Redis数据库中的数据，显示没有redis模块解决方法1.使用pip工具安装redis模块pip install redis2.下载redis的python接口redis-py下载地址点这里git clone https://github.com/andymccurdy/redis-pycd redis-py/python setup.py install...

2019-01-23 14:46:39 31995 3

原创批量导入数据到Redis

背景：推荐系统实战过程中，需要将生成的item-item:score数据导入到redis数据库中，便于之后的在线查询方法：Redis2.6之后，redis-cli支持pipe模式进行批量插入数据我们只需要将数据格式化为：SET key value（空格隔开）之后在命令行使用管道的方式导入即可：cat insert_file | redis-cli --pipe具体操作如下：1....

2019-01-23 11:06:33 8808 2

原创【LeetCode】丑数系列

一.判断一个数是否为丑数丑数就是只包含质因数 2, 3, 5 的正整数。示例1:输入: 6输出: true解释: 6 = 2 × 3示例2:输入: 14输出: false 解释: 14 不是丑数，因为它包含了另外一个质因数 7。说明：1 是丑数。输入不会超过 32 位有符号整数的范围: [−231, 231 − 1]。Java代码如下：class Soluti...

2019-01-03 14:33:29 242

原创【LeetCode】151.翻转字符串中的单词

题目描述：给定一个字符串，逐个翻转字符串中的每个单词。示例:输入: "the sky is blue",输出: "blue is sky the".说明：无空格字符构成一个单词。输入字符串可以在前面或者后面包含多余的空格，但是反转后的字符不能包括。如果两个单词间有多余的空格，将反转后单词间的空格减少到只含一个。注意：字符串首位都可包含多个空格，但是翻转后不能有，所以第一...

2019-01-02 13:43:30 1173

原创 PHP服务端开发APP接口

一、APP接口简介什么是app接口？app接口就是用服务端程序如php写好的脚本，以供app客户端请求而获得数据的一个东西。比如一个商铺app的首页，肯定有一些商品列表，那么当你打开这个app时，这个封装在app里的这个首页其实会去请求一个远程php文件如：http://www.example.com/index.php 去获得需要展示在首页的商品列表数据。前端工程师拿到这些数据，就会按照特定...

2018-04-01 23:07:10 2985

原创 canvas绘制心电图（js读取csv心电数据文件）

一、目的浏览器网页中绘制心电图并展示；js读取解析心电数据文件；此文涉及到js从文件中读取心电数据环节（为什么一定是js读文件呢？因为心电图的绘制用到了HTML5中的canvas属性，而canvas属性只是提供一处绘制的区域、画布的大小等，真正的绘制过程还得在js中完成，而此文中的数据是保存在服务器中，所以需要js远程读取文件中的数据），之前对js不是很熟悉，在网上查了很多资料，感觉零零碎...

2018-03-28 20:35:06 14805 4

原创警告：Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 FMA

问题：安装TensorFlow（CPU版本），使用pip install tensorflow安装，安装一切顺利，但是在跑一个简单的程序时，遇到如下情况：大概意思是：你的CPU支持AVX扩展，但是你安装的TensorFlow版本无法编译使用。原因：除了通常的算术和逻辑，现代CPU提供了许多低级指令，称为扩展，例如， SSE2，SSE4，AVX等来自维基百科：高级矢量扩...

2018-03-26 11:45:59 180010 30

原创 python3错误：使用python3执行.py文件遇到：*ImportError: /lib64/libstdc++.so.6: version `CXXABI_1.3.9' not found

使用python3执行.py文件遇到：ImportError: /lib64/libstdc++.so.6: version `CXXABI_1.3.9’ not found(required by /home/hongqiang/anaconda3/lib/python3.6/site-packages/matplotlib/_path.cpython-36m-x86_64-linux-gnu....

2018-03-25 19:49:39 10250 2

原创 Ubuntu下忘记root密码的解决方案

启动系统，出现GRUB选择菜单（如果没有出现，则在启动的时候长按Ctrl键）选择Ubuntu 高级选项，按下[Enter]进入选择recovery mode，不要按下回车键按’e’键进入编辑启动项到 linux /boot/vmlinuz-……. ro recovery nomodeset 所在行，将“ro recovery nomodeset”替换为“quiet splash rw init

2017-04-04 22:52:44 594

原创多台Linux主机无需密码直接连接的SSH配置

两台主机：ubuntu系统主机名：hadoop001 hadoop002 IP地址：172.19.4.57 172.19.4.134一.在hadoop002主机上操作安装SSH 切换到管理员用户：su - 在命令行中输入：apt-get install ssh安装成功后，生成SSH密钥对在命令行中输入：ssh-keygen -t rs

2017-04-04 22:28:17 1425

原创灰度处理，二值化，卷积滤镜等基本算法汇总

最近有门《数字图像处理编程实现》的课程。要求写一个对图像处理的小程序，包括对图像的灰度处理，二值化处理等等。于是花了三天时间，看了写书也在网上找了些资料，基本完成了作业要求。现将我做的小程序记录下来，一方面做个备份，另一方面拿出来给大家分享，也请大家指正。一.程序的主窗口package person.hongqiang.ImageProcessing;import javax.imageio.Ima

2017-04-03 17:10:14 4022 1

原创 MySQL字符集分析与设置

一、字符集及字符序的概念字符（character）是人类语言最小的表义符号，例如‘A’，‘B’等。给定一系列字符，并对每一个字符予以数值，用数值代表对应的字符，这个数值就是字符的编码（character encoding）。所有这些“字符和编码对”组成的集合就是字符集（character set）。MySQL提供多种字符集，如latin1、utf8、gbk、big5等。字符序（coll

2017-03-28 16:41:01 1149

原创技术陷阱之二：字符串是引用类型，不是值类型

java中的字符串是String类型，该类型直接继承Object对象。但String类型的某些特性会让人产生它属于值类型的错觉：public class test1 { public static void main(String[] args) { // TODO Auto-generated method stub String str1 = "这是第一个字

2017-03-25 20:41:57 2021 1

原创技术陷阱之一：浮点数相减

技术陷阱之一：差值损失—浮点数相减造成的损失对于浮点数相减，有时候结果正确，有时候不正确。对于一些精密仪器的计算、导弹运行轨迹的运算等，一定要保证结果的正确性，否则灰造成巨大的损失。解决方法一般为：先将浮点数相减转化为整数相减，然后再将运算结果转化为浮点数。编程准则：尽量将浮点数相减转化为整数相减

2017-03-25 12:44:31 3237

原创一个简单的PHP分页类

PHP分页类代码：<?php/** * Created by PhpStorm. * User: hongqiang * Date: 2017/1/5 * Time: 9:38 * * 1. 总数 * 2. 每页显示多少条 * * *///分页类class Page{ private $total; //总记录数 private $nums;

2017-03-23 13:45:48 444

原创 PHP中文件上传功能的实现

合理配置php.ini如何配置PHP.ini实现PHP文件上传功能。其中涉及到PHP.ini配置文化中的upload_tmp_dir、upload_max_filesize、post_max_size等file_upload=on 是否允许HTTP文件上传。默认值为on允许HTTP文件上传，此选项不能设置为offupload_tmp_dir= 文件上传的临时存放目录。如果没指定则PHP会使用系统默认的

2017-03-23 12:56:58 2013

原创欢迎使用优快云-markdown编辑器

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl

2017-03-23 12:31:08 235