- 博客(43)
- 收藏
- 关注
RSS订阅转载 springboot+mybatis-plus实现多数据源(从数据库加载多数据源)
springboot+mybatis-plus配置多数据源的方式网上有很多，但是都是把数据源配置在yml或者properties中，由于本人所在项目需要从数据库加载数据源，所以本文介绍本人实现的方法是从数据库加载数据源。1.实现原理如果数据源是配置文件配置的，在项目启动时就会自动加载所以所有数据源并且实例化成相应的bean。但是数据库配置时，需要先加载一个主数据源，读取数据库表，把表里面配置数据库源再加载为bean。2.实现步骤1.由于在MyBatisPlusConfig中配置的地方需要配置一个Da
2022-02-14 17:16:06
3135
原创 Hadoop集群 SSH不同端口问题
在云服务器上搭建Hadoop集群的过程中一般ssh默认端口22不会开发这个时候.如果集群之间通过ssh链接的过程中，就会出现22端口拒绝的问题，但是如果直接修改，配置打开22端口号会被恶意扫描到。所以只能修改本地的ssh默认端口遇到了非默认端口的配置在/root/.ssh/下面做一个配置文件config将服务器信息和端口都加入其中，实现了非默认端口的免密登录#服务器1Host xm-bigdata01Hostname 192.168.0.5Port 23User rootIdenti
2021-06-03 19:00:14
1067
原创 docker 安装 nacos
拉镜像，版本查看：https://github.com/nacos-group/nacos-dockerdocker pull nacos/nacos-server:1.1.4 //稳定版，无权限 docker pullnacos/nacos-server:1.3.1 //稳定版，有权限创建数据目录mkdir -p /home/dockerdata/nacos/logs mkdir -p/home/dockerdata/nacos1.3.1/logs运行镜像 默认账号密码：naco
2021-05-13 15:18:00
233
原创 制作用户标签是你要做的第一步
用户标签，是一个非常基础的，估计人人都听过的，但是却经常弄混淆的概念。它是用户画像、精准营销、个性推荐、智能投放等等各种系统的砖石。本文对此进行了系统分析，与大家分享。如果有用户标签，就能快速、方便地细分用户群体，锁定更有需求的人，实现更精准的营销/服务。（如下图所示）不打标签，每次都基于原始数据分析，运营会很纠结的：到底是选买过3次的还是4次的才加活动呢？消费分段选3000,3200,还是3300呢？理论上，每次都这么纠结也是可行的。但是这样做效率太低，并且能思考的维度太少，很有可...
2020-10-09 13:11:52
430
原创 修炼数据产品经理
好的数据仓库的建立能够适应业务的多变，并且能够为企业提供坚实的数据基础以辅助业务决策。随着企业业务的发展，企业自身的业务系统及其中所存储的数据会变的越来越多，同时业务及运营人员对于日常的指标及数据分析需求也会越来越明显。这时为了企业能够拥有更好的数据基础来支撑常规的BI系统以便辅助业务决策，一些企业会选择建立企业级的数据仓储系统对公司全部或部分的数据进行统一存储及管理。一、数据仓库系统与操作型系统的区别传统操作性系统更注重对实际业务的处理（如电商交易系统），一般采用传统关系型数据库对数据.
2020-10-07 14:17:49
245
原创 Cents7 MySQL5.7 安装与配置（YUM）
安装环境：CentOS7 64位，MySQL5.71、配置YUM源在MySQL官网中下载YUM源rpm安装包：http://dev.mysql.com/downloads/repo/yum/# 下载mysql源安装包shell> wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm# 安装mysql源shell> yum localinstall mysql57-community-r
2020-09-19 18:45:38
984
原创 Win10自动更新怎么永久关闭
之前小编为大家分享过一些Win10彻底关闭Windows Update自动更新的方法，主要是通过一些如设置流量计费或借助一些专门的小工具来实现，但往往会发现，Win10自动更新就像打不死的小强，不管怎么关闭，之后还是会自动更新，让不少小伙伴颇为不爽。今天小编带来了这篇改进型教程，通过全方位设置，彻底关闭Win10自动更新，感兴趣的小伙伴不妨试试吧。服务中关闭Win10自动更新1、首先使用 Win + R 组合快捷键，打开运行对话框，然后输入命令 services.msc ，点击下方的“确定”打开
2020-07-28 23:06:25
876
原创 python 爬虫 ----- 反爬虫，取消浏览器对自动化监测
加入以下带吗，解决浏览器对python脚本的自动化监测driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", { "source": """ Object.defineProperty(navigator, 'webdriver', { get: () => undefined }) """})关闭浏览器正在使用自动化脚本chrome_options = webdrive
2020-07-20 11:58:20
675
原创 从企业架构视角看生鲜电商
一、生鲜电商额外的关注点前几天，易观数据，对生鲜电商2020的内外部环境、行业环境、发展趋势等做了分析。拉出来很多的数据，无论数据真实与否，实属行业市场分析的经典，毕竟国内很多行业的研究分析报告，可取之处和不可取之处基本上对开。不过易观毕竟有它的数据分析和咨询能力，其实已经将生鲜电商分析的有点透彻了，但是有两点还是没详细说明，就是生鲜加工和生鲜采购环节，易观的报告在PEST分析和波特五力模型分析后（有取舍和创新），只注重供应链+物流+运营+数据，以及前仓后店的模式仓（仓还是供应链范畴）。报告名字叫《2
2020-05-28 16:09:40
353
原创 做产品，懂流程很重要
仔细观察会发现：我们生活中任何一件看上去井井有条的事情，都是有规范的流程的，不管怎么变化，都在流程内。往大了说，比如：出生-读书-毕业-工作-结婚生子（当然极少数人不走寻常路）。往小了说起床-吃饭-上班-下班-休息，这几乎是每个人一生大部分时间都在重复的流程。正是这些规范的流程，让整个社会井然有序的在不断进行着，前进着。这些流程，在我看来，和我们产品人常说的版本迭代是一样的。一、梳理流程，是理清业务的第一步当然是梳理业务逻辑。而梳理业务逻辑的时候，就涉及到业务走向、流程。流程设计的是否合理，
2020-05-22 09:22:18
202
原创 用户为啥不按照你想的去做?
作为新人产品，经常会遇到这样一个困境，就是我的产品这么好，为啥就是没人用，明明我们设计的产品解决方案很ok，在自我视角里面简直近乎完美，可以吊打一众竞品，用户只要按照我们预想的去使用保准能解决问题。但问题就是用户总是不按照套路出牌，并不按照我们设想的去使用产品并且也没有对我们的产品和服务感到满意。所以今天来讨论一下，为啥用户不按照我想的去做。这个题分为两个部分，第一个部分是核心问题，即用户为...
2020-04-28 15:09:07
226
原创 Shell文件编辑密码实行远程登录
下载expectyum install expect -y编辑脚本#!/usr/bin/expectset timeout 5 spawn ssh root@ip "ls /opt" expect "password:"send "密码\r"interact
2020-04-26 15:33:35
152
原创 用户画像无头绪？手把手教你RFM模型建立
在一些营销场景下，对不同客户给予相同的对待或策略有时不太合适，所以我们根据用户数据，分析用户行为和消费倾向，并打上相应的标签应用于不同厂家。用有限的公司资源优先服务于公司最重要的客户，客户与我们的粘性将会更高，并与双方建立忠诚的合作关系。用户画像：在第一阶段，我们基于RFM模型做用户消费分析，并定义一些指标。最近一次消费（Recency） 消费频率（Frequency） 消...
2020-04-24 09:20:07
731
原创 私域用户运营
为什么提到抵御风险的护城河？其实和当下这个背景有关。虽然现在很多企业都已经复工了，但是在疫情期间，无论是线下还是线上，用户习惯都在发生变化。这些变化对于企业来说，风险也是蛮大的，因为有一些业务会因此受到影响。那我接下来的分享，就是从这个视角去看看在当下、甚至在一段时间之内，企业遇到风险的时候，应该怎样去抵御风险。一、变革：疫情“敲开”企业数据运营的大门疫情期间受影响比较大的是传统行...
2020-04-20 09:19:05
1986
原创 产品知识的元概念：用户、需求和产品
如果把产品经理所需要具备的知识体系称作一门学科， 况且叫做“产品学”，那么用户、需求，产品这三个概念则是构建整个学科的元概念。所谓元概念，就是整个学科知识体系中最基本的概念，整个学科的知识体系都建立在若干个元概念之上，就好像“自然数”之于数学，“元素”之于化学，“力”之于经典物理学等。元概念如此重要，那么对于整个产品知识体系而言用户、需求，产品这三个概念是怎么定义的呢?如图1-1所示，在用户—...
2020-04-14 17:20:45
312
原创 电商网站用户转化率分析
案例是某一电商网站的多维数据表，这类数据来自网站的服务器日志，CRM系统，用户调研报告或者网站数据报告中。在这个简单的数据表里包含七个字段：月收入、星座、婚姻状况、学历、来源、品类和是否购买。其中月收入、星座、婚姻状况、学历是用户特征，来源代表流量来源，品类表示用户访问过的页面所属的商品类别，是否购买表示用户最终是否付款。在本案例通过贝叶斯算法对网站中已经完成转化的历史用户数据进行分析，发现购...
2020-03-31 09:38:40
1088
原创 产品经理如何理解用户？
产品经理要将用户需求了解透彻应用到产品中，创造出用户与商业二合一的产品，这样的产品才会获得价值与利益，所以了解用户将是产品经理的一部分。互联网让所有产品与用户的距离更加接近，这就使得了解用户需求的公司可以快速发展，相反与用户脱节的公司将会淘汰。产品经理就是将用户需求了解透彻应用到产品中，创造出用户与商业二合一的产品，这样的产品才会获得价值与利益，所以了解用户将是产品经理的一部分。在受到很...
2020-03-30 19:03:01
197
原创 详解设计埋点过程中的
一、想清楚为什么埋1. 想验证什么？《如何用数据驱动产品迭代》中，我们明确了要验证的指标（北极星指标、方向指标、负面指标和行为指标），方向指标和负面指标是我们的项目中的关键指标（没理解的话可以先看上一篇文章），通过埋点验证这两个项目指标，这就是我们的需求。2. 确定分析思路一个页面那么多行为，也不能都埋点啊，我的埋点原则是：没有需求就别加，既能解决问题，又不浪费资源是最好的平衡点。...
2020-03-23 15:22:49
649
原创 CDH5.16.1配置Lzo压缩
Lzo是目前Hadoop平台使用很广泛的压缩格式，但需要另外安装，在这里记录一下。使用的版本是Centos7.3，CDH5.16.1。官方安装文档官方配置文档查看Hadoop支持的压缩格式 hadoop checknativeLzoCodec和LzopCodec区别两种压缩编码LzoCodec和LzopCodec区别：1. LzoCodec比LzopCodec...
2020-01-03 09:31:01
453
原创 JAVA算法-排序算法
排序算法的介绍排序也称排序算法(Sort Algorithm)，排序是将一组数据，依指定的顺序进行排列的过程。排序的分类：1) 内部排序: 指将需要处理的所有数据都加载到内部存储器(内存)中进行排序。2) 外部排序法： 数据量过大，无法全部加载到内存中，需要借助外部存储(文件等)进行排序。3) 常见的排序算法分类(见右图):算法的时间复杂度1) 事后统计的方法 这种方法可行, 但是...
2019-11-19 14:15:30
527
原创 JAVA算法-栈
栈的一个实际需求请输入一个表达式计算式:[722-5+1-5+3-3] 点击计算【如下图】请问: 计算机底层是如何运算得到结果的？ 注意不是简单的把算式列出运算,因为我们看这个算式 7 * 2 * 2 - 5, 但是计算机怎么理解这个算式的(对计算机而言，它接收到的就是一个字符串)，我们讨论的是这个问题->栈栈的介绍1) 栈的英文为(stack) 。2) 栈是一个先入后出(FI...
2019-11-19 11:15:18
392
原创 JAVA算法-链表
链表(Linked List)介绍小结上图:1) 链表是以节点的方式来存储,是链式存储2) 每个节点包含 data 域， next 域：指向下一个节点.3) 如图：发现链表的各个节点不一定是连续存储.4) 链表分带头节点的链表和没有头节点的链表，根据实际的需求来确定单链表(带头结点) 逻辑结构示意图如下标题单链表的应用实例使用带 head 头的单向链表实现 –水浒英雄排行榜管理...
2019-11-02 01:20:27
347
原创 JAVA算法-队列
队列的一个使用场景银行排队的案例:队列介绍队列是一个有序列表，可以用数组或是链表来实现。遵循先入先出的原则。即：先存入队列的数据，要先取出。后存入的要后取出示意图：(使用数组模拟队列示意图)- 数组模拟队列思路队列本身是有序列表，若使用数组的结构来存储队列的数据，则队列数组的声明如下图, 其中 maxSize 是该队 列的最大容量。因为队列的输出、输入是分别从前后...
2019-11-02 00:36:25
508
原创 JAVA算法-稀疏数组(sparse array)
稀疏数组(sparse array): 实际需求： 编写的五子棋程序中，有存盘退出和续上盘的功能。 分析问题: 因为该二维数组的很多值是默认值0，因此记录了很多没有意义的数据 --> 稀疏数组。基本介绍:当一个数组中大部分元素为0，或者为同一个值的数组时，可以使用稀疏数组来保存该数组。稀疏数组的处理方法是： 记录数...
2019-10-01 18:02:38
614
1
原创 CDH5.1.2 数据仓库搭建
创建CM用的数据库在MySQL中依次创建监控数据库、Hive数据库、Oozie数据库、Hue数据库1）启动数据库[root@hadoop102 ~]# mysql -uroot -p0000002）集群监控数据库mysql> create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;3）Hive数据库 ...
2019-08-24 12:04:03
1024
原创 CDH5.1.2 数仓搭建基本环境准备
环境准备机器节点192.168.17.150hadoop102192.168.17.151hadoop103192.168.17.152hadoop104修改网卡信息vi /etc/sysconfig/network-scripts/ifcfg-eth0修改网卡设备文件vi /etc/udev/rules.d/70-persistent-n...
2019-08-17 20:18:05
495
原创 CDH 之 Hive onTez
编译Tez框架环境准备Replace x.y.z with the tez release number that you are using. E.g. 0.5.0. For Tez versions 0.8.3 and higher, Tez needs Apache Hadoop to be of version 2.6.0 or higher. For Tez version 0.9...
2019-08-15 20:18:01
597
原创 Sqoop informix导入hive
Query语句查询#!/bin/bashsql=“select * from tablename”/opt/cloudera/parcels/CDH-5.16.1-1.cdh5.16.1.p0.3/lib/sqoop/bin/sqoop import –connect “jdbc:informix-sqli://IP:PORT/databaseName:INFORMIXSERVER=p55...
2019-08-15 20:06:52
472
原创 java.lang.OutOfMemoryError: Unable to acquire 65536 bytes of memory, got 0
java.lang.OutOfMemoryError: Unable to acquire 65536 bytes of memory, got 0 at org.apache.spark.memory.MemoryConsumer.allocateArray(MemoryConsumer.java:98) at org.apache.spark.util.collection.unsafe....
2019-07-11 16:13:29
4062
1
原创 java.lang.NoClassDefFoundError: parquet/hadoop/ParquetOutputCommitter
CDH 5.7.0 Spark - Shell 启动错误java.lang.NoClassDefFoundError: parquet/hadoop/ParquetOutputCommitter at org.apache.spark.sql.SQLConf$.<init>(SQLConf.scala:319) at org.apache.spark.sql.SQLConf$...
2019-07-04 13:39:37
1673
原创 Centos 6.6 ---- Docker安装
1.yum 包更新到最新sudo yum update2.安装需要的软件包， yum-util 提供yum-config-manager功能，另外两个是devicemapper驱动依赖的sudo yum install -y yum-utils device-mapper-persistent-data lvm23.设置yum源为阿里云 （目的：下载快）sudo yum-config...
2019-07-01 10:29:24
1746
原创 Python3.X 读取CSV文件的方式
数据,TV,radio,newspaper,sales1,230.1,37.8,69.2,22.12,44.5,39.3,45.1,10.43,17.2,45.9,69.3,9.34,151.5,41.3,58.5,18.55,180.8,10.8,58.4,12.96,8.7,48.9,75,7.27,57.5,32.8,23.5,11.88,120.2,19.6,11.6,1...
2019-06-26 14:23:36
560
原创 Kafka原理及实战01
消息系统分类Peer-to-Perr一般基于Pull或者Polling接收消息发送到队列中的消息被一个而且仅仅一个接受者所接收，即使有多个接受者在同一个队列中侦听同一消息即支持异步"即发即弃"的消息传送方式，也支持同步请求/应答传送方式发布/订阅发布到一个主题的消息，可被多个订阅所接收发布/订阅即可基于Push消费数据，也可基于Pull或者Polling消费数据解...
2019-06-21 16:29:41
273
原创 Hadoop3.x安装（2）
Slaves文件在etc/hadoop/workers文件中，列出所有的worker的hostname或则IP地址。一行一个。辅助脚本将会使用etc/hadoop/workers文件在多台机器上一起运行命令。它不用任何基于Java的hadoop配置。必须为用于运行Hadoop的帐户建立ssh信任（通过无密码ssh或其他方式，如Kerberos）。【注释：这里前面版本不同的是修改文件名称，由sl...
2019-06-11 11:41:54
1835
翻译 Hadoop3.x安装配置
目的本文档介绍如何安装和配置Hadoop集群，从少数节点到数千个节点的超大型集群。 要使用Hadoop，您可以首先将其安装在一台机器上（请参阅单节点安装http://hadoop.apache.org/docs/r3.0.0/hadoop-project-dist/hadoop-common/SingleCluster.html）。本文档不包括安全性或高可用性等高级主题。准备安装Java下载ha...
2019-06-11 11:30:36
881
原创 单列模式(Singleton) - 隐藏问题
懒汉模式 public class LazySingleton { private static LazySingleton lazySingleton = null; private LazySingleton(){} public static synchronized LazySingleton getLazySingleton(){ ...
2019-06-11 11:02:44
276
原创 你的高考过去了这么久还在怀念？不如来做份程序猿考试试卷！
1、一个假期在外游玩不会游泳的程序猿看到河边有如下警告后结果如何？A、默默走开B、程序猿哪有假期C、不关心Warning，溺水身亡2、如果一程序猿正在相亲，告诉女方职业后被无情拉黑，请问该程序猿最可能从事以下那种职业？A、PythonB、JavaC、PHP3、请问下图红圈内应该填入的职业是？A、公务员B、隔壁老王C、程序猿4、某监狱让囚犯“积极学习”编程技能，该项目负责...
2019-06-09 10:18:24
1135
原创 MySQL优化技巧-性能排查
1、EXPLAIN做MySQL优化，我们要善用EXPLAIN查看SQL执行计划。下面来个简单的示例，标注（1、2、3、4、5）我们要重点关注的数据： type列，连接类型。一个好的SQL语句至少要达到range级别。杜绝出现all级别。 key列，使用到的索引名。如果没有选择索引，值是NULL。可以采取强制索引方式。 key_len列，...
2019-05-25 10:28:21
262
原创 不要在MySQL使用UTF-8
最近我遇到了一个bug，我试着通过Rails在以“utf8”编码的MariaDB中保存一个UTF-8字符串，然后出现了一个离奇的错误：Incorrectstringvalue:‘\xF0\x9F\x98\x83<…’forcolumn ‘summary’ at row1我用的是UTF-8编码的客户端，服务器也是UTF-8编码的，数据库也是，就连要保存的这个字符...
2019-05-16 15:40:52
238
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人