- 博客(19)
- 收藏
- 关注
RSS订阅原创 Flink1.7.2（1.9）环境搭建
1前言1.1模式本文适用于flink1.7.2版本的环境搭建，搭建模式包括Local（本地模式）、standalone模式以及On yarn模式。1.2前提环境 已有环境 版本 服务器 test-1,test-2,test-3 JDK 1.8.x Ha...
2020-07-28 18:51:05
406
原创 Navicat连接购买的阿里云轻量级应用服务器mysql
前言：在开通了轻量级应用服务器后，服务器自带Mysql，我们为了协同开发，需要远程连接服务器中的mysql，这样就可以随时随地得进行协同开发。1.开通防火墙端口数据库服务默认的端口在防火墙上是没有开通的，需要手工开通.MySQL对应的默认端口是3306，因此我们需要打开防火墙的3306端口。2.开通MySQL服务对外访问服务器端默认安装的MySQL服务不允许外连，需要将权限放开...
2019-12-12 10:24:59
342
原创 Java线程池的5种创建方式
1. Single Thread Executor:只有一个线程的线程池，因此所有提交的任务是顺序执行。代码：Executors.newSingleThreadExecutor()2. Cached Thread Pool:线程池里有很多线程需要同时执行，老的可用线程将被新的任务触发重新执行，如果线程超过60秒内没执行，那么将被终止并从池中删除。代码：Executors.newCach...
2019-12-12 10:23:21
321
原创 分布式共享锁逻辑流程是什么样的
有时根据需求，几台服务器需要从一个WEB接口或者数据库获得同样的资源，因为不能同时获取，就涉及到了资源调度算法一种资源调度逻辑是：1.程序节点启动时到zookeeper上注册一个“临时+序号”的znode，并监听父节点。2.获取父节点下所有的程序子节点，比较序号的大小。3.序号最小的获取到“锁”，去访问资源，访问完后，删除自己的节点，相当于释放锁，并且重新注册一个新的子节点。4...
2019-12-12 10:22:29
181
原创 Spark/Hadoop/Mahout等推荐系统常用数据集
Book· 1. Book CrossingBookCrossing（BX）数据集由Cai-Nicolas花了的4周（2004年8月/ 9月）从Book-Crossing社区中爬取得到的。·下载链接：http://www2.informatik.uni-freiburg.de/~cziegler/BX电子商务· 2. Amazon该数据集包括自1996年5月至201...
2019-12-12 10:19:14
566
原创 AJAX动态生成Table以及动态标签拼接
$(function () { init("1"); }) function changeMonth(){ var month = $("#month").val(); init(month); } function init(month) { var DataList=[]; $....
2019-12-12 10:18:23
430
原创 大数据领域机器学习或推荐系统数据集大全
数据集汇总一、免费大数据存储库的网站1、深度学习数据集收集网站http://deeplearning.net/datasets/**收集大量的各深度学习相关的数据集，但并不是所有开源的数据集都能在上面找到相关信息。2、Tiny Images Datasethttp://horatio.cs.nyu.edu/mit/tiny/data/index.html包含8000万...
2019-12-12 10:16:16
2110
原创 Idea上搭建Springboot+mybatis+shiro
自引链接：https://mp.youkuaiyun.com/postedit?not_checkout=1一：新建Project，Idea是一款功能很强大的软件，有专门的生成springboot的插件有时候会遇到timeout连接超时，将Defult默认的路径改为自定义：http://start.spring.io点击nextnext测试：首先在appli...
2019-12-12 10:12:32
656
原创 Cannot download 'https://start.spring.io': connect timed out , response: 200 OK报错
IEAD默认使用https://start.spring.io把上面地址改成http://start.spring.io即可如果还是不行，就在settings ->HTTP Proxy ->Manual proxy configuration 中的HOstName 加上动态代理的路径，我的是本地127.0.0.1...
2019-12-12 10:05:23
3203
原创 关于IDEAmaven无法自动下载jar包pom报错
自引链接：https://mp.youkuaiyun.com/postedit?not_checkout=1首先我的错误是在IDEA和ECLIPSE上都无法创建springboot与maven项目，都是同样的maven依赖不能自动下载的原因，所以排除了软件的问题，以下是解决路程：一：我先了解了一下maven仓库的构成与核心配置文件settings.xml中每个字段都代表的是什么意思<set...
2019-12-12 10:03:13
784
原创 测试工程师面试问题
1.功能测试、性能测试、自动化测试区别1.功能测试：--又名：黑盒测试--依据；需求文档--执行：测试用例--方法：等价类划分，边界值分析，错误推测，因果图法，判定表驱动分析方法，正交实验设计方法，功能图分析方法--错误：功能错误或遗漏，界面错误，数据结构或外部数据库访问错误，性能错误，初始化和终止错误2.性能测试：...
2019-12-12 09:47:17
508
原创 测试工程师--案例篇
1.工作测试流程：(一).功能测试流程1.需求评审（重点，你发挥的作用是什么，需求可执行性，关联影响的功能模块，异常情况处理）2.评估测试时间（测试计划）3.测试用例设计（正交，边界值，等价类。。）4.用例review（领导，开发，产品）5.提测（确认开发进行过自测，功能主流程畅通，然后开始介入测试）（产品开发测试一块走流程）6.codediff（代码改动点，从根源发现...
2019-12-12 09:46:55
1386
原创 流利说大数据面经
1.项目里用到flume，flume的source、channel、sink分别用的什么类型的，flume事务。2.kafka producer的写入数据过程3.kafka为什么使用拉取消息的机制4.Spark工作流程5.Stage是如何划分的，task如何划分6.executor内存分配7.项目中用到前台向持久层拿数据，问从hive中拿不会慢吗，答使用sqoop传到mys...
2019-08-17 10:41:31
500
原创 大疆 8.06笔试第一题（DP 01背包问题）
题目：给定暑假时间X天(<=1000)，游戏数量N个(<=11)，接下来N行给定每种游戏需要花费的天数（Ai），以及通关该游戏带来的成就点数（Bi），求：在暑假X天里能够达成的最高成就点数。public class Main{ public static void main(String[] args){ Scanner sc = new Sca...
2019-08-08 21:25:10
265
原创 大数据面试总结-Spark
1.Spark原理spark可以很容易和yarn结合，直接调用HDFS、Hbase上面的数据，和hadoop结合。配置很容易。spark发展迅猛，框架比hadoop更加灵活实用。减少了延时处理，提高性能效率实用灵活性。也可以与hadoop切实相互结合。spark核心部分分为RDD。SparkSQL、SparkStreaming、MLlib、GraphX、SparkR等核心组件解决了...
2019-07-26 11:59:38
1135
原创 大数据面试总结-kafka
下一篇：Sparkhttps://blog.youkuaiyun.com/Mr_Fjl/article/details/973731931.什么是kafka？kafka是分布式发布-订阅消息系统，是一种分布式的消息队列工具kafka是一个分布式的，可分区的，可复制的消息系统kafka对消息保存的时候根据topic进行分类，发送消息者称为Producer，消息接受者称为consumer，此外k...
2019-07-26 10:22:29
253
原创 大数据面试总结-Hive
下一篇 Kafkahttps://blog.youkuaiyun.com/Mr_Fjl/article/details/97367929Hive是基于Hadoop的一个数据仓库处理工具，是一种数据库技术，用于查询和管理存储在分布式环境下的大数据集，可以定义数据库和表来分析结构化数据，适合处理相对静态的海量的数据集。可以将结构化的数据映射为一张数据库表，提供简单的SQL的查询功能，将SQL语句转化为Ma...
2019-07-25 20:18:33
426
原创 大数据面试总结-zookeeper
下一篇 Hivehttps://blog.youkuaiyun.com/Mr_Fjl/article/details/97293025转载至https://www.cnblogs.com/lanqiu5ge/p/9405601.html1. ZooKeeper是什么？ZooKeeper是一个开放源码的分布式协调服务，它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作...
2019-07-25 19:53:16
183
原创 大数据面试总结-hadoop
下一篇Zookeeperhttps://blog.youkuaiyun.com/Mr_Fjl/article/details/972923061.什么是 Hadoop？ Hadoop 是一个开源软件框架，用于存储大量数据，并发处理/查询在具有多个商用硬件（即低成本硬件）节点的集群上的那些数据。总之，Hadoop 包括以下内容： HDFS（Hadoop Distributed File Sys...
2019-07-25 19:47:37
224
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人