- 博客(25)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 自制证书nextcloud打开onlyoffice报错问题解决办法
首先，nextcloud和onlyoffice都需要改成https，这个可以参考我另一篇写的很粗糙的文章，主要遇到的问题就是其他用户终端无法打开office，只有管理员能打开，也就是调试机能打开。后来在没有打开的终端中访问了一下onlyoffice，再回来打开nextcloud中的office，居然成功了，也可以新建，后来才反应过来，是因为自建证书未受信的原因。两种办法，一种是将证书给客户让用户每台电脑都在浏览器添加onlyoffice证书，另一种就是让他们先访问一下onlyoffice主页即可。
2023-11-11 19:51:46
881
1
原创 Nextcloud docker 版安装部署 自制证书https访问 添加onlyoffice以及调优解决概览报错
Nextcloud docker 版安装部署自制证书https访问 添加onlyoffice以及调优解决概览报错
2023-11-09 20:32:34
3703
2
原创 联想ThinkPad x1carbon 7th，i5 8265安装win7踩过的坑
最近有人让我给这台电脑装win7，预装的是win10的系统，看了下配置，觉得应该没什么问题，可装的时候遇到了很多坑，首先，我们正常就是修改bios为uefi然后再把硬盘格式改成mbr，然后直接安装就可以了，开始显示没问题，但却一直卡在安装设备到45%不动了，以往的经验是SATA没有改成achi，但是这台电脑bios并没有，不管是升级还是降级都没有。最后是怎么解决的呢，废话不多说，开始主题，具体细节不多说懂得都懂准备工作，pe，win7镜像(带nvme和usb新的镜像)，还有就是去联想官网下载最新版本的b
2021-02-14 16:55:09
3545
2
原创 spark的一些重要知识点
Spark的一些重要的知识点1.spark的shuffle有几种方式shuffle过程中分为shuffle write和shuffle read，而且会在不同的stage中进行的在进行一个key对应的values的聚合时， 首先，上一个stage的每个map task就必须保证将自己处理的当前分区中的数据相同key写入一个分区文件中，可能会多个不同的分区文件，接着下一个stage的reduc...
2018-11-27 17:39:47
372
转载 kafka的一些问题总结笔记
kafka的一些问题总结笔记1.kafka在高并发的情况下，如何避免消息丢失和消息重复？kafka动态维护了一个同步状态的副本的集合（a set of In-Sync Replicas），简称ISR。在这个集合中的节点都是和leader保持高度一致的，任何一条消息只有被这个集合中的每个节点读取并追加到日志中，才会向外部通知说“这个消息已经被提交”。只有当消息被所有的副本加入到日志中时，才算...
2018-11-27 11:54:51
500
原创 Spark的笔记
#Spark中一些重要的知识点1、spark-on-yarn的应用场景 1.因为历史原因，方便运维部门维护，之前用的hadoop2.用yarn来运行各种任务，相比其他的资源调度系统更稳定，便于升级优化2、spark-on-yarn的执行流程 spark-on-yarn分为两种运行模式：client和clustercluster模式：1.由client向RM提交请求，并上传jar到...
2018-11-23 20:11:42
313
转载 flume中的一些重要的知识点
flume中的一些重要的知识点##1.flume的架构client:客户端,运行agent的地方source:数据源,负责接收数据channel:管道,负责接收source端的数据,然后将数据推送到sink端sink:接收channel端的数据并且持久化到目的系统ineterceptor:拦截器,作用于source和sink,flume允许使用拦截器拦截数据selector:选择器,...
2018-11-22 10:20:23
308
原创 hbase中的一些重要的知识点
hbase中的一些重要的知识点##1.应用场景1.需要对海量非结构化的数据进行存储2.需要随机近实时的读写管理数据##2.rowKey的设计长度原则: rowkey是一个二进制流,建议rowkey的长度不要超过16个字节原因如下：（1）数据的持久化文件HFile中是按照KeyValue存储的，如果Rowkey过长比如100个字节，1000万列数据光Rowkey就要占用100*10...
2018-11-22 10:19:50
315
原创 hive的一些重要的知识点
hive的一些重要的知识点（基于Hadoop的一个数据仓库工具）基本组成：用户接口：包括 CLI、JDBC/ODBC、WebGUI。元数据存储：通常是存储在关系数据库如 mysql , derby中。解释器、编译器、优化器、执行器。1.内部表，外部表，相同与区别相同：都是表区别：内部表数据由Hive自身管理，外部表数据由HDFS管理；内部表数据存储的位置是hive.metas...
2018-11-22 10:18:34
422
原创 hadoop中的一些重要知识点
hadoop之job和shuffle过程1、job提交流程1.客户端提交作业给resourcemanager2.resourcemanager返回给客户端jobid，存储路径（HDFS上的路径）信息3.客户端将job.jar、job.xml、job.split、job.splitinfo等信息上传到存储路径（HDFS上的路径/）4.客户端通知resourcemanager可以启动job...
2018-11-22 10:17:14
270
转载 zookeeper中的主要知识点
zookeeper中的一些主要的知识点##1.应用场景1.1 什么是zookeeperZookeeper是一个分布式协调服务；就是为用户的分布式应用程序提供协调服务zookeeper是为别的分布式程序服务的Zookeeper本身就是一个分布式程序（只要有半数以上节点存活，zk就能正常服务）Zookeeper集群的角色： Leader 和 follower （Observer）...
2018-11-22 10:16:14
202
原创 hdfs的一些重要知识点
HDFS的一些重要知识点hdfs将文件存放在哪里？datanode 用户的文件存放在datanode上，放在配置的目录dfs.datanode.data.dir下namenode 管理元数据（文件路径、副本数、文件的blockid，位置等信息）##1.读写流程一、读流程1、客户端向namenode请求读取文件（指定一个路径）2、namenode查询元数据信息，看文件是否存在，...
2018-11-22 10:15:09
414
转载 [Spark源码解析]DAGScheduler划分stage
#[Spark源码解析]DAGScheduler划分stage##注意：1，DAGScheduler将Job分解成具有前后依赖关系的多个stage2，DAGScheduler是根据ShuffleDependency（宽依赖）划分stage的,3，stage分为ShuffleMapStage和ResultStage；一个Job中包含一个ResultStage及多个ShuffleMapStag...
2018-11-19 10:27:24
337
原创 Spark任务提交执行全流程详解
**任务提交执行流程**Spark任务的本质是对我们编写的RDD的依赖关系切分成一个个Stage，将Stage按照分区分批次的生成TaskSet发送到Executor进行任务的执行Spark任务分两种：1、shuffleMapTask：shuffle之后的task2、resultTask：shuffle之前的taskSpark任务分配有两种方式：1，尽量打撒方式（系统默认）2，尽...
2018-11-15 17:57:52
1955
原创 Spark集群启动流程-Worker启动-源码分析
Spark集群启动流程-Worker启动-源码分析上篇文章介绍了Master启动（Master启动点击：https://blog.youkuaiyun.com/weixin_43637653/article/details/84073849），接下来，我们在源码里继续分析Worker的启动总结：(和Master几分相似) 1.创建ActorSystem对象，并将初始化参数传入2.创建了...
2018-11-15 09:55:32
511
原创 Spark集群启动流程-Master启动-源码分析
集群启动流程-Master启动-源码分析总结： 1.初始化一些用于启动Master的参数2.创建ActorSystem对象，并启动Actor3.调用工具类AkkaUtils工具类来创建actorSystem（用来创建Actor的对象）4.创建属于Master的actor，在创建actor的同时，会初始化Master5.生命周期方法（preStart）是在构造器之后，receiv...
2018-11-14 20:51:55
1021
原创 kafka中重要的知识点笔记
Kafka-消费模型High Level Consumer API不需要自己管理offset默认实现最少一次消息传递语义（At least once）comsumer数量 大于 partiton数量， 浪费。comsumer数量 小于 partiton数量， 一个comsumer对应多个partiton最好partiton数目是consumer数目的整数倍Low Level Cons...
2018-11-13 20:18:53
844
1
原创 Kafka中一些重要的组件的注意事项
Kafka中一些重要的组件的注意事项Producer（生产者） --生产者负责采集数据并把数据传输到kafka的某个topic中。比如：flum、java后台服务、shell脚本、logstash–生产者是由多个进程组成的（可以有多个生产者组成）。一个生产者可以作为一个独立的进程，可以独立的分发数据–多个生产者发送的数据时可以存储到同一个topic的同一个partition的–一个生产...
2018-11-12 09:31:18
479
原创 kafka api实现消费者
kafka api-实现消费者本次测试依赖：<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.11</artifactId> <version>...
2018-11-12 08:44:37
289
原创 kafka api-实现生产者
kafka api-实现生产者本次测试依赖：<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.11</artifactId> <version>...
2018-11-12 08:43:50
298
原创 kafka常见问题
#kafka常见问题 V21、如果想消费已经被消费过的数据consumer是底层采用的是一个阻塞队列，只要一有producer生产数据，那consumer就会将数据消费。当然这里会产生一个很严重的问题，如果你重启一消费者程序，那你连一条数据都抓不到，但是log文件中明明可以看到所有数据都好好的存在。换句话说，一旦你消费过这些数据，那你就无法再次用同一个groupid消费同一组数据了。原因...
2018-11-10 15:18:54
831
原创 kafka中的几个常见问题
#kafka中的几个常见问题 V1版1，每个topic的分区中有多个segment，一个分区会被分成相同大小数据数量不等的segment，数据的生命周期就是指的是segment的生命周期2，数据的存储机制：首先是Broker接受到数据，将数据放到操作系统的缓存里，（pagecache），pagecache会尽可能多的使用空闲内存，使用sendfile技术尽可能多的减少操作和应用程序之...
2018-11-10 15:09:58
240
原创 YARN的任务提交流程简述及图解
#YARN的任务提交流程简述及图解1，Client向ResourceManager发出请求,提交程序，（ResourceManager中有Scheduler调度器和ApplicationsManager应用程序管理器2，ResourceManager向Scheduler返回一个ApplicationID作为回应3，Client向RM回应Application Submission Conte...
2018-11-10 09:27:14
2998
原创 H-JavaAPI之过滤器
文章目录过滤器流程1、构造Table对象2、构造Scan对象3、构造比较器对象4、构造过滤器对象5、将比较器对象绑定到过滤器对象6、将过滤器对象绑定到Scan对象7、将Scan绑定到Table对象8、读取Table中的信息比较器类型RegexStringComparatorBinaryComparatorBinaryPrefixComparatorSubstringComparatorNullCo...
2018-11-08 09:27:15
703
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人