- 博客(262)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 踏踏实实搞技术
2009年申请了优快云的帐号，一直没怎么用，文档类全部留在本地！2010年刚开始从事专职PHP+MySQL；2011年,今年公司扩张，今年薪资翻了3倍，主要是基础比较低；2012年,收获小公举一枚！2013年，技术膨胀的一年，蓉漂落地的一年(买房嘞)！2014年，平淡无奇的一年！2015年离开服务了5年的老东家！2015至今在某流弊大数据公司做高级运维、负责ha...
2013-12-01 04:10:22
1245
原创 切换centos到 CentOS Stream
这里写自定义目录标题参考链接操作步骤参考链接https://www.centos.org/centos-stream/操作步骤dnf install centos-release-streamdnf distro-synccat /etc/centos-release
2020-12-10 17:31:01
1022
原创 spark-thrift 访问延迟10秒的排查思路
环境介绍CDH6.2.1spark-thrift版本2.4.5异常描述使用dbeaver连接时延迟10秒左右主要日志为20/10/21 11:41:16 INFO ThriftCLIService: Client protocol version: HIVE_CLI_SERVICE_PROTOCOL_V120/10/21 11:41:16 DEBUG ThriftCLIService: Client's IP Address: 10.103.117.24320/10/21 11:41:16
2020-10-27 09:24:00
574
原创 数据仓库名字
ODS：(Operation Data Store)原始数据DWD (data warehouse detail)(数据清洗/DWI)数据明细详情，去除空值，脏数据，超过极限范围的明细解析具体表DWS (data warehouse service )(宽表-用户行为，轻度聚合) ----->有多少个宽表？多少个字段服务层–留存-转化-GMV-复购率-日活点赞、评论、收藏;轻度聚合对DWDADS (Application Data Store)(APP/DAL/DF)-出报表
2020-10-25 21:15:35
405
原创 The MariaDB server is running with the --skip-grant-tables option so it cannot execute this statemen
新初始化后修改部分账号权限遇到操作MariaDB:10.4.11具体报错如下处理办法：mysql>select user,host from user;根据查询结果修改执行内容，比如mysql>alter user ‘root’@‘XX.XX.XX.XX’ identified by ‘PASSWORD’;ERROR 1290 (HY000): The MariaDB server is running with the --skip-grant-tables option so
2020-07-03 21:57:42
10642
3
原创 ES删除匹配查询
ES删除查询方法：1.es-sql插件2.head插件3.DSL语句关键参数_delete_by_queryPOST age_info_v4/_delete_by_query{ "query": { "bool": { "must": [ { "range": { "invest": { ...
2019-02-20 16:38:14
1797
原创 ES查询(5)term整理
参考链接：https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-term-query.htmlterm结构化字段查询，匹配一个值，且输入的值不会被分词器分词。比如查询条件是：GET ttt/user/_search{ "query":{ "term":{ ...
2019-02-12 15:39:24
1804
原创 HBase2.0 强制删除表
HBase2.0 强制删除表环境介绍CDH:6.0.1Hbase:2.0.0Centos:7.6起因升级Hbase后，导入24T的表，因为Region分配策略错误，导致Hbase崩溃后，重启后再disable表，无法drop表解决强制删除表1.删除zk中的数据(在装有zk的节点上执行) zookeeper-client -server localhost...
2019-01-29 09:25:42
2859
原创 visdom
参考链接https://github.com/facebookresearch/visdom0.简介Visdom是一个灵活的可视化工具，可用来对于实时，富数据的创建，组织和共享。支持Torch和Numpy。1.安装pip install visdom2.启动 python3 -m visdom.server3.使用方法import visdomimpor...
2019-01-26 22:01:17
2047
原创 Python库fake-useragent
参考github链接https://github.com/hellysmile/fake-useragent1.安装pip install fake-useragent2.使用案例2.1查看各浏览器的user-agent值from fake_useragent import UserAgentua = UserAgent()#chrome浏览器print(ua.chrom...
2019-01-24 10:36:18
3940
原创 纯SQL去除字段特殊符号
介意Python的效率，我打算使用纯SQL去除MySQL数据库字段里面的特殊符号方法1：replace函数--去除左括号update tb1 set phone=replace(phone,'(','')--去除右括号update tb1 set phone=replace(phone,')','')--去除空格update tb1 set phone=re...
2019-01-16 14:05:21
17224
原创 HBase中Regionserver与Master时间不一致导致RegionServer无法启动ClockOutOfSyncException
环境简介：CDH版本：6.0.1RegionServer主机：cdh01Hbase Master:cdh04+cdh06起因：元旦机房停电，早上网管大哥过去开机后，我启动CDH机器后报错报错详情2019-01-02 09:14:24,246 INFO org.apache.hadoop.hbase.regionserver.HRegionServer: reportFor...
2019-01-02 10:51:57
838
原创 React配置跨域
1.安装axiosnpm install axios2.生成本地webpack配置文件npm run eject3、配置package.json中配置单个跨域"proxy": { "/*": { "secure": false,//如果有https可以写true "target": "http://api.map.baidu.com",//...
2018-12-30 09:59:00
1778
原创 selenium+phantomjs 报错解决，不支持phantomjs的解决
执行如下程序c:\Python37\python.exe d:/Py/crawler/Phantomjs.py报错： c:\Python37\lib\site-packages\selenium\webdriver\phantomjs\webdriver.py:49: UserWarning: Selenium support for PhantomJS has been de...
2018-12-28 21:41:17
1980
原创 ThriftPy does not support generating module with path in protocol 'c'
参考链接：https://github.com/Thriftpy/thriftpy/issues/234Python操作Hbase导入库时报错Python版本：3.7.1root cause:源码在解析url的时候出现的错误解决办法：修改 #if url_scheme == '': if len(url_scheme) <= 1: wit...
2018-12-24 12:03:24
390
原创 Linux解压rar
起因，新来的测试人员要做压测，上传了3个T的rar压缩数据包，测试包压缩格式为rar因为rar非linux默认支持包，服务器环境均未安装rar解压工具，为了节省时间，规范流程的事，放到后面再说吧1.下载rar包wget https://www.rarlab.com/rar/rarlinux-x64-5.6.1.tar.gztar xf rarlinux-x64-5.6.1.tar....
2018-12-24 10:55:17
9922
4
原创 elasticsearch的plugin介绍
su - elasticsearch插件安装 bin/elasticsearch-plugin install [plugin_name]已安装查看列表 bin/elasticsearch-plugin list插件卸载 bin/elasticsearch-plugin remove [pluginname]
2017-06-30 15:30:11
949
原创 wordcloud中文乱码解决词云库
方法1：直接输入--fontfile方法2：修改wordcloud.py里面类的定义1.先上传支持中文的字体到wordcloud的安装路径2.修改wordcloud.py29行内容3.验证
2017-06-30 14:01:37
1744
原创 virtualenv安装与使用
Centos版本：7.2Python版本：2.7.5/2.7.13/3.6.1目标：单一物理主机下跑3个版本的Python程序参考链接https://docs.python.org/3/tutorial/venv.htmlvirtualenv
2017-06-30 10:01:42
585
原创 Go语言的包
1、包的概念包是go语言中不可缺少部分，在每个go源码文件的第1行进行定义，定义方式是：package "包名"，注意该名称也是调用该包时候所使用的名称包的概念使用规范每个 Go 文件都属于且仅属于一个包。一个包可以由许多以 .go 为扩展名的源文件组成，因此文件名和包名可能不同，为了规范，功能相似或者属于相同性质的源码归集到相同的包名中。每个应用程序都必须有且只有一个包名称为m...
2017-05-31 21:14:12
609
原创 X-pack更新许可证
参考文章:https://www.elastic.co/guide/en/x-pack/5.6/installing-license.htmles版本介绍：5.6.11.证书申请https://register.elastic.co/xpack_register2.证书导入下载证书，重命名为li.jsoncurl - XPUT - u elastic 'http://17...
2017-05-31 21:12:45
634
原创 InnoDB: The Auto-extending innodb_system data file './ibdata1' is of a different size 640 pages
different size 640 pages
2017-05-10 15:04:20
14107
原创 Python操作ES
1.批量插入单条import elasticsearch.helpersfrom elasticsearch import Elasticsearchfrom faker import Fakerfake = Faker("zh_CN")es = Elasticsearch("ip:port")for i in range(1000000): f1 = fake.name...
2017-04-30 21:10:11
998
原创 Hue报错:Note: you are a Hue admin but not a HDFS superuser StandbException
测试1130
2016-11-30 21:48:43
578
esl-erlang-20.1-1.x86_64
2017-11-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人