<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[JINGXI的博客]]></title><description><![CDATA[有信念、有梦想、有奋斗、有奉献]]></description><link>https://blog.youkuaiyun.com/qq_41922058</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; qq_41922058]]></copyright><item><title><![CDATA[服务器挖矿病毒查杀排查手册]]></title><link>https://blog.youkuaiyun.com/qq_41922058/article/details/137497468</link><guid>https://blog.youkuaiyun.com/qq_41922058/article/details/137497468</guid><author>qq_41922058</author><pubDate>Mon, 08 Apr 2024 10:12:27 +0800</pubDate><description><![CDATA[服务器挖矿病毒排查手册]]></description><category></category></item><item><title><![CDATA[linux/centos/ubuntu无法开机数据恢复完美解决]]></title><link>https://blog.youkuaiyun.com/qq_41922058/article/details/137497018</link><guid>https://blog.youkuaiyun.com/qq_41922058/article/details/137497018</guid><author>qq_41922058</author><pubDate>Mon, 08 Apr 2024 10:06:28 +0800</pubDate><description><![CDATA[linux数据恢复开机修复]]></description><category></category></item><item><title><![CDATA[CDH添加ELASTICSEARCH服务elasticsearch-cdh-parcels]]></title><link>https://blog.youkuaiyun.com/qq_41922058/article/details/108274092</link><guid>https://blog.youkuaiyun.com/qq_41922058/article/details/108274092</guid><author>qq_41922058</author><pubDate>Fri, 28 Aug 2020 10:07:12 +0800</pubDate><description><![CDATA[总览

从网上找CDH如何管理添加ES服务，教程千篇一律，而且es包版本相对较低，该教程介绍如何安装elasticsearch7.9(2020-08-20发布)新版本单机多实例部署。

角色分配

master/data/ingest/customer


该安装包支持单机多实例部署


分为四类节点[主节点,数据节点，协调节点，自定义节点]

安装parcels及csd
准备

从 https://github.com/JINGXI6/elasticsearch-cdh-parcels clone到cm节]]></description><category></category></item><item><title><![CDATA[9个offer，12家公司，35场面试，从微软到谷歌，应届计算机毕业生的2012求职之路]]></title><link>https://blog.youkuaiyun.com/qq_41922058/article/details/102970458</link><guid>https://blog.youkuaiyun.com/qq_41922058/article/details/102970458</guid><author>qq_41922058</author><pubDate>Fri, 08 Nov 2019 11:50:17 +0800</pubDate><description><![CDATA[1，简介
毕业答辩搞定，总算可以闲一段时间，把这段求职经历写出来，也作为之前三个半月的求职的回顾。
首先说说我拿到的offer情况：
微软，3面-&gt;终面，搞定
百度，3面-&gt;终面，口头offer
搜狗，2面，悲剧
腾讯，1面，悲剧
布丁移动，3面，搞定
涂鸦游戏，3面，搞定
友盟，3面-&gt;CEO面，搞定
雅虎，4面-&gt;终面，搞定
微策略，2面，悲剧
人民搜索，3面-&gt;...]]></description><category></category></item><item><title><![CDATA[HugeGraph图数据库入门]]></title><link>https://blog.youkuaiyun.com/qq_41922058/article/details/102743729</link><guid>https://blog.youkuaiyun.com/qq_41922058/article/details/102743729</guid><author>qq_41922058</author><pubDate>Fri, 25 Oct 2019 15:49:13 +0800</pubDate><description><![CDATA[一、Hg介绍

http://localhost:8080
8080端口为restful api接口
http://localhost:8088/
8088端口为hg的可视化组件端口

1、Hg中的图概念

图类似于普通数据库的数据库概念
每种标签类似于数据表
一个图包含了所有数据
所有具有相同关系相同scheam的数据可以放到一个图中
Hg中创建图不像普通数据库一样cerate databas...]]></description><category></category></item><item><title><![CDATA[HDFS standbyNameNode Java.io.IOException:Premature EOF from inputStream[运维必备]]]></title><link>https://blog.youkuaiyun.com/qq_41922058/article/details/102622411</link><guid>https://blog.youkuaiyun.com/qq_41922058/article/details/102622411</guid><author>qq_41922058</author><pubDate>Fri, 18 Oct 2019 11:34:26 +0800</pubDate><description><![CDATA[1、报错
Java.io.IOException:Premature EOF from inputStream



可以看到是重演编辑日志时候出错了

2、hadoop元数据目录


Edits_                 编辑日志
Fsimage_               通过编辑日志合并而来的
Edits_inprogress       正在往里写的编辑日志
Seen_txid ...]]></description><category></category></item><item><title><![CDATA[ES监控及解决方案探究]]></title><link>https://blog.youkuaiyun.com/qq_41922058/article/details/101364542</link><guid>https://blog.youkuaiyun.com/qq_41922058/article/details/101364542</guid><author>qq_41922058</author><pubDate>Wed, 25 Sep 2019 14:38:56 +0800</pubDate><description><![CDATA[1.概述

1.目前的ES支持查询集群健康的API，网上也有一堆关于Es的监控的插件以及非插件
2.大部分只能监控集群当前的状态，但是有时候业务上会遇到未分配的分片问题，我们无法通过未分配的分片定位到它们的位置，此时对于集群的修复是比较麻烦的。

2.值得探讨

不知道是不是闭着门造轮子，如果有知道过更好的监控方案的可以联系我，非常感谢!

3.解决方案

为了实现集群异常前的状态推送，并及时定位...]]></description><category></category></item><item><title><![CDATA[Spark实战经验]]></title><link>https://blog.youkuaiyun.com/qq_41922058/article/details/87984600</link><guid>https://blog.youkuaiyun.com/qq_41922058/article/details/87984600</guid><author>qq_41922058</author><pubDate>Wed, 27 Feb 2019 18:48:29 +0800</pubDate><description><![CDATA[一、背景
由于公司的老集群对于现有的开发工作者来说并不是特别的友好，数据模型也不是特别适用。所以为了让使用者更友好、数据更可靠，建立新集群、构建数仓，新集群搭建到使用，基于spark引擎自己构建ETL框架，在大量数据下，期间难免会遇到各种各样的问题。于是找几个踩过的比较经典的坑来说一下。
二、采坑过程
个人感觉单纯开发SparkStreaming的过程不叫经验，所以直接略过，来到测试环节，Spar...]]></description><category></category></item><item><title><![CDATA[集群磁盘扩容步骤]]></title><link>https://blog.youkuaiyun.com/qq_41922058/article/details/87984205</link><guid>https://blog.youkuaiyun.com/qq_41922058/article/details/87984205</guid><author>qq_41922058</author><pubDate>Wed, 27 Feb 2019 18:34:26 +0800</pubDate><description><![CDATA[一、磁盘安装配置
1、插入磁盘，重启
2、重新启动服务器，进入webbios设置页面（开发集群使用ctrl + H 进入webbios，不同服务器可能不一样）
3、界面左侧有配置阵列选项、下一步选择增加配置、手动配置、将左侧未配置的磁盘加入右侧驱动、选择raid0 模式，自动设置磁盘容量大小合并磁盘、进行磁盘初始化、保存重启
二、挂载磁盘
1、mkfs -t xfs /dev/sdc 对新磁盘进行...]]></description><category></category></item><item><title><![CDATA[SparkStreaming+Kafka0.9.0.0多主题多分区偏移量维护]]></title><link>https://blog.youkuaiyun.com/qq_41922058/article/details/86545270</link><guid>https://blog.youkuaiyun.com/qq_41922058/article/details/86545270</guid><author>qq_41922058</author><pubDate>Fri, 18 Jan 2019 19:23:24 +0800</pubDate><description><![CDATA[偏移量保存到数据库
一、版本介绍
具体使用方法，请看这两篇文章，下面只介绍需要修改的地方
Kafka1.0.x偏移量管理以及维护思路使用等的问题看这一篇文章
https://blog.youkuaiyun.com/qq_41922058/article/details/86478250
Kafka2.0.0偏移量管理以及维护思路使用等的问题看这一篇文章
https://blog.youkuaiyun.com/qq_419...]]></description><category></category></item><item><title><![CDATA[SparkStreaming+Kafka2.0.0多主题多分区偏移量维护]]></title><link>https://blog.youkuaiyun.com/qq_41922058/article/details/86545211</link><guid>https://blog.youkuaiyun.com/qq_41922058/article/details/86545211</guid><author>qq_41922058</author><pubDate>Fri, 18 Jan 2019 19:16:59 +0800</pubDate><description><![CDATA[偏移量保存到数据库
一、版本问题
由于kafka升级到2.0.0不得不向上兼容，之前kafka1.0.0的接口已经完全不适应上个工具，重写偏移量维护
Kafka1.0.x偏移量管理以及维护思路使用等的问题看上一篇文章
https://blog.youkuaiyun.com/qq_41922058/article/details/86478250
二、代码改动
比较kafka-1.0.x版本，需要改动获取偏移量...]]></description><category></category></item><item><title><![CDATA[SparkStreaming+Kafka1.0.x多主题多分区偏移量维护]]></title><link>https://blog.youkuaiyun.com/qq_41922058/article/details/86478250</link><guid>https://blog.youkuaiyun.com/qq_41922058/article/details/86478250</guid><author>qq_41922058</author><pubDate>Mon, 14 Jan 2019 15:32:07 +0800</pubDate><description><![CDATA[偏移量保存到数据库
一、版本区别
之前版本的kafka偏移量都是保存在kafka中的，而现在的kafka偏移量保存在了自己的一个特殊主题__consumer__offsets中
二、维护思路
根据传入的主题以及消费者组，先判断库中是否存在当前消费者组的消费记录，如果不存在，则证明为第一次消费，获取主题每分区当前的偏移量保存入库，如果存在，则读取库中各分区偏移量字段，封装为MAP，传入创建Dstre...]]></description><category></category></item><item><title><![CDATA[Django_Models快速上手]]></title><link>https://blog.youkuaiyun.com/qq_41922058/article/details/85342583</link><guid>https://blog.youkuaiyun.com/qq_41922058/article/details/85342583</guid><author>qq_41922058</author><pubDate>Sat, 29 Dec 2018 17:59:33 +0800</pubDate><description><![CDATA[Models创建表 -&amp;gt;  Models增删改查 -&amp;gt; 区别 -&amp;gt; 更多参数及字段
Models创建表
1.导入models模块from django.db import models，默认自动导入
2.所有的Model都继承自django.db.models.Model类，Model类的每一个属性都继承自django.db.models.Field，这个Field有几个作用：
...]]></description><category></category></item><item><title><![CDATA[Spark学习路线]]></title><link>https://blog.youkuaiyun.com/qq_41922058/article/details/85342420</link><guid>https://blog.youkuaiyun.com/qq_41922058/article/details/85342420</guid><author>qq_41922058</author><pubDate>Sat, 29 Dec 2018 17:48:18 +0800</pubDate><description><![CDATA[准备
编程语言介绍
scala、java、python、R都有spark对应的api，但如果想深入理解spark还是需要学习scala的。（scala中隐式转换特性可以很大程度提高spark开发效率）；
Scala（FP+OP面向对象和函数式编程混合语言）优势在于函数式编程；
scala是在java之外套了一层壳，编译之后还是.class，运行在jvm，所以java语言在学习大数据组建中也特别重要...]]></description><category></category></item><item><title><![CDATA[Flume模拟场景各组件详解]]></title><link>https://blog.youkuaiyun.com/qq_41922058/article/details/85342334</link><guid>https://blog.youkuaiyun.com/qq_41922058/article/details/85342334</guid><author>qq_41922058</author><pubDate>Sat, 29 Dec 2018 17:42:12 +0800</pubDate><description><![CDATA[由于工作原因，博客没进行更新，不过文章的确写了，就是太懒不想排版，code21.cn可能不会更新了，服务器费用的确太贵
场景模拟
kafka实时json格式数据解析写入hive
了解Flume
Flume中最重要的概念就是agent，数据流向基本依靠这三个组件

•Source：用来消费（收集）数据源到Channel组件中             数据源
•Channel：中转临时存储，保存所有S...]]></description><category></category></item><item><title><![CDATA[lnmp服务器搭建全过程]]></title><link>https://blog.youkuaiyun.com/qq_41922058/article/details/85341900</link><guid>https://blog.youkuaiyun.com/qq_41922058/article/details/85341900</guid><author>qq_41922058</author><pubDate>Sat, 29 Dec 2018 17:13:56 +0800</pubDate><description><![CDATA[一直想有一个自己的博客，就购买了虚拟主机，同时我也是一个喜欢折腾的人，不喜欢集成环境。又想追求速度，所以就安装了纯净版的centos7.4 x64。
lnmp：linux，Nginx、mysql，php
lamp：linux、Apache、mysql，php
两者的区别
nginx相对于apache的优点：
&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;轻量级，同样起we...]]></description><category></category></item><item><title><![CDATA[HA_配置]]></title><link>https://blog.youkuaiyun.com/qq_41922058/article/details/81740032</link><guid>https://blog.youkuaiyun.com/qq_41922058/article/details/81740032</guid><author>qq_41922058</author><pubDate>Thu, 16 Aug 2018 13:45:50 +0800</pubDate><description><![CDATA[规划





Ssh信任配置方式Ssh信任配置方式

Ssh-keygen -t rsa -P “12345678” 
Ssh-copy-id 



Copy zookeeper以及hadoop文件

创建zookeeper/datas/myid文件 
启动zookeeper 查看状态 
zkServer.sh status     //leader follower



配置hadoop
...]]></description><category></category></item><item><title><![CDATA[Git快速上手及常用命令详解]]></title><link>https://blog.youkuaiyun.com/qq_41922058/article/details/81369692</link><guid>https://blog.youkuaiyun.com/qq_41922058/article/details/81369692</guid><author>qq_41922058</author><pubDate>Thu, 02 Aug 2018 23:57:12 +0800</pubDate><description><![CDATA[1.Git、Github、Gitee

Git     是一种版本控制系统，是一个命令，是一种工具。 
Github   是一个基于git实现在线代码托管的仓库，向互联网开放，企业版要收钱。 
Gitee    即码云，是 oschina 免费给企业用的，不用自己搭建环境。



2.下载安装Git

https://github.com/git-for-windows/git/releases/...]]></description><category></category></item><item><title><![CDATA[zookerper单机部署及操作命令详解]]></title><link>https://blog.youkuaiyun.com/qq_41922058/article/details/81362056</link><guid>https://blog.youkuaiyun.com/qq_41922058/article/details/81362056</guid><author>qq_41922058</author><pubDate>Thu, 02 Aug 2018 16:12:24 +0800</pubDate><description><![CDATA[单机模式安装

准备环境，需要提前安装好jdk，准备好zookeeper安装包

上传到用户目录下

 
安装工具使用rz命令进行上传，也可以使用xftp等工具上传



安装rz  $sudo yum install -y lrzsz（此命令仅限桌面环境使用ssh工具）

Cd到zookeeper安装目录



使用命令解压



Tar -zxvf ~/zookeeper -C.

 
解压完...]]></description><category></category></item><item><title><![CDATA[伪分布式简单配置]]></title><link>https://blog.youkuaiyun.com/qq_41922058/article/details/81255591</link><guid>https://blog.youkuaiyun.com/qq_41922058/article/details/81255591</guid><author>qq_41922058</author><pubDate>Fri, 27 Jul 2018 23:17:07 +0800</pubDate><description><![CDATA[基本环境

Linux，jdk



开始配置hadoop



首先配置hadoop环境变量



sudo vim/etc/profile.d/hadoop.sh
export HADOOP_HOME=/yourhadoop/bin
Export PATH=$PATH:$HADOOP_HOME
Sudo source /etc/profile



伪分布式配置

Unpack the dow...]]></description><category></category></item></channel></rss>