迷途无归的博客

关闭安全中心报警

vscode编译器t.Fatalf 函数可以显示；fmt.Println和t.logf函数无法显示。

原有查询增加 _source 查询

模型评估指标离线模型评估指标：MRR、MR、HITS@nMRR的全称是Mean reciprocal rank 。reciprocal rank是第一个正确答案的排名的倒数。MRR是指多个查询语句的排名倒数的均值。该指标越大越好。具体的计算方法如下： MR的全称是Mean Rank。该指标越小越好。具体的计算方法如下： HITS@n：第一个正确答案的排名小于n为1，否则为0；全部累加求...

注意事项：1、必须在当前用户执行，GITLAB_HOME有效变量2、gitlab版本一致一、gitlab的docker部署流程# 1、设置环境变量export GITLAB_HOME=/srv/gitlab# 2、运行镜像# 间隔格式若有问题，参照：https://docs.gitlab.com/ee/install/docker.htmlsudo docker run --detach \ --hostname emr.vclobby.com \ --publish 443:4

一、异常go build 时出现 undefined: kafka.Message二、解决方法1、打开动态编译ENV CGO_ENABLED=12、若是跨平台编译，目标平台是linux需要添加：-tags musl3、实例FROM golang:1.13-alpine AS builderENV GOOS linuxENV GOARCH amd64# missed this very obvious change ENV CGO_ENABLED 1RUN apk update

一、背景spark版本：2.3.1scala版本：2.11.8二、conf配置说明选项值说明组合spark.sql.crossJoin.enabledtrue值为true时，sql进行迪卡尔积join运算1spark.dynamicAllocation.enabledture值为true时，spark就会启动ExecutorAllocationManager，动态管理执行器；2spark.shuffle.service.enabledture值为t

一、安装安装tmux(前提：已经安装了brew)brew install tmux二、常用命令2.1 创建tmux 创建默认名称的会话（省略了new）tmux new 创建默认名称的会话tmux new -s mysession　　创建名为mysession的会话2.2 查看tmux ls 查看已经场景的会话2.3 连接会话tmux a　　连接上一个会话tmux a -t mysession　　连接指定会话...

一、概述在工作中，很有可能遇到以下情况：公司自己的gitlab，和自己的github公司的代码管理关联到自己的github，由于公司项目管理需要搭建自己的gitlab（搭建于公司的云服务器）【注：一个工程中涉及多个项目，不花钱github无法建组而造成项目结构混乱】自己的电脑需要同时管理gitlab和github不同平台的代码，需要一台电脑上配置两个SSH，以方便自己在工作和个人空间上的快速切换，提高效率。二、搭建gitlab环境2.1、gitlab官网参考链接https://about.

怎么通过dolphinscheduler补数据？这里涉及到定时管理的一个细节，就是定时管理是否上线。定时任务参数设定如下：补数据的时间调度范围：方案1：定时任务下线状态，补数据的时间是按天进行的并行执行：每日执行一次，此处会执行13号方案2：定时任务在线状态，补数据的时间是按照定时管理中设定的时间串行执行：每日两次，顺序执行并行执行：每日两次，并发执行注：此处显示的时间是东八区时间（格林威治时间 + 8: 00），定时参数填的是格林威治时间...

一、相关连接1、dolphinscheduler单机部署说明2、dolphinschedulerd的git源码3、aws的s3访问说明4、aws的s3 Endpoint说明二、部署目标本文dolphinscheduler的部署目标是实现存储和计算完全分离，数据和资源存储在s3上、计算采用emr集群进行动态扩充管理。三、流程3.1 下载源码并修改下载源码git clone -b 1.3.6-release https://github.com/apache/dolphinscheduler

golang 官网下载（选择自己需要的版本）：https://golang.org/dl/vs code 插件安装：在 VS Code 中，使用快捷键：command+shift+P，然后键入：go:install/update tools，将所有的选项都勾选上，然后点击 OK 即开始安装。修改GO111MODULE的模式，一遍go module 去vendor中找资源go env -w GO111MODULE=on...

vs code 环境编译scala代码通过metals 的 import build出现错误异常[error] Not a valid command: metalsEnable[error] Not a valid project ID: metalsEnable[error] Expected ':'[error] Not a valid key: metalsEnable[error] metalsEnable[error] ^sbt exit: 1time

插件安装1、python 附带安装pylint （或者pip install pylint），pylint轻量级python代码检测2、arepl：实时代码调试

一、准备工作1、本地电脑已经安装了git环境，并且配置了账号和密码2、一个已存在的git项目、并且有项目分支二、使用流程1、拉取代码a、点击左下角轮子，然后在弹出框中点击“commend palette”；或者用快捷键ctrl+Shift+P打开commend paletteb、复制项目地址c、克隆项目1）在打来的commend palette中输入"git:clone"，软件会自动提示，点击即可；然后黏贴项目地址到框内，并点击回车；在弹出的文件夹选项中，选择项目文件保存的路径，然后点击

hbase 基于命名空间的使用helplist创建命名空间create_namespace ‘my_namespace_test’查看命名空间list_namespacedescribe_namespace ‘my_namespace_test’创建表，及其列簇(单列簇、多列簇)create ‘my_namespace_test:my_table_test_1’, ‘aaaa’create ‘my_namespace_test:my_table_test_2’, ‘aaaa’,‘bbbb

引入：窗口函数（row_number、LEAD）原始数据表表名aaa需求按照uid，cid对ts邻近记录进行减法，获取记录的停留时间sql如下SELECT uid,cid,chapter,ts,action_type,row_number() over(partition by uid,cid order by ts) as row_rank,LEAD(ts, 1) OVER (partition by uid,cid ORDER BY ts) AS next_tsFROM aaa;

前提是已经配置好了git的环境，包括：用户名和密码# 初始化git init # 远程链接git remote add origin git@192.168.1.108:xxxxxxx/rpc_server.git# 切换分支git checkout -b dev# 获取代码git pull origin dev# 提交信息git commit -a -m 'newer 修正'# 上传到dev分支git push origin dev...

 编程语言：python框架：tornado数据库：mysql 一、数据库1、数据库设计用户表 用户ID 用户名 用户密码 用户头像 创建时间 更新时间 user_id user_id user_name user_password user_avatar user_createdat user_u...

1、命令行scrapy shell <url>scrapy shell https://scrapy.org然后进入到调试模式，输入代码在线查看[s] Available Scrapy objects:[s] scrapy scrapy module (contains scrapy.Request, scrapy.Selector, etc)[s] cr...

手动直接删除binlogmysql >> PURGE MASTER LOGS BEFORE DATE_SUB(CURRENT_DATE, INTERVAL 10 DAY); //删除10天前的MySQL binlog日志,附录2有关于PURGE MASTER LOGS手动删除用法及示例mysql >> show master logs;binlog的删除可以手工...

一、基本绘图函数1、mp.plot(水平坐标数组, 垂直坐标数组)import numpy as npimport matplotlib.pyplot as mp# example_firstx = np.arange(1,7)y = 2 * x + 5mp.figure()mp.plot(x, y)mp.show()# example_secondx = np.lins...

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...

一、Numpy是什么？1.Numrical Python，数值的Python，应用于数值分析领域的Python语言工具；2.Numpy是一个开源的科学计算库；3.Numpy弥补了作为通用编程语言的Python在数值计算方面，能力弱，速度慢的不足；4.Numpy拥有丰富的数学函数、强大的多维数组和优异的运算性能；5.Numpy与Scipy、scikit、matplotlib等其它科学计算...

一、安装流程功能：系统重启后，能够自动启动redis服务[hilqiqi0@iZbp1dvr86b5tjwow6z3b8Z /home/hilqiqi0]$mkdir redis[hilqiqi0@iZbp1dvr86b5tjwow6z3b8Z /home/hilqiqi0]$cd redis/[hilqiqi0@iZbp1dvr86b5tjwow6z3b8Z /home/hilqiqi0...

anaconda过程1、获取anaconda包并执行安装wget https://repo.anaconda.com/archive/Anaconda3-2019.07-Linux-x86_64.shsh Anaconda3-2019.07-Linux-x86_64.sh2、添加环境并激活sudo vi /etc/profilesource /etc/profilesud...

1、设备scrapy 单机版：1台机器scrapy 分布式：至少2台机器2、linux环境配置2.1 redis安装具体见：linux redis 完整安装过程2.2 python环境安装借助anaconda管理python具体见：linux anaconda安装和环境配置3、代码修改3.1 setting.py修改在setting中添加如下代码DUPEFILTER_CL...

0、项目简要介绍该项目主要适用用于淘宝、京东等电商，商家制作模板后进行批量套图，从而节省了大量的人力和时间成本。主要功能包括模板套图、详情页面切割、常用图片格式保存等。具体的功能介绍详见视频。本篇文章主要介绍一些简单的qt5的使用，不涉及功能核心代码。1、界面效果展示...

1、脚本代码控制中间脚本执行if [ $((${hour}%6)) == 0 ];then echo "运行"else echo "不在运行时间跳过"; exit 0fi参数 hour : $[HH]

一、经历1、末年末月末日在一个夜黑风高的夜晚，脑袋一热在网上花了大价钱买了某某的一个培训课程。开始时候该平台还没有对用户进行时间限制，突然在网页上显示剩余多多天，...

  1、Windows环境illustration2vec 插画转换为语义向量：GitHub源码：https://github.com/rezoo/illustration2vec完整版源码和训练库：https://contribsoft.caixamagica.pt/browser/internals/2016/aptoideimagesdetector/trunk/Sour...

 万千合集站（使用介绍：该网站最大的特点就是不仅可以搜索下载原版PDF教材，还能够下载相关视频！最贴心的是它会根据资源的下载热度进行排名。） 视频原文件解析：1、https://www.parsevideo.com/2、http://www.tutujiexi.com/ 被禁：1、https://www.behance.net/          （被禁时间：201...

 废话不多说，直接上代码：https://github.com/hilqiqi0/crawler/tree/master/simple/bilibili%20-%20redis一、项目介绍：爬取bilibili网站上的全部视频信息（不包含直播；广告和放映厅栏）；信息量为千万级，爬取任务较为重，所以采取分布式爬虫。二、说明：a、设备说明：       1、mysql和redi...

 一般来说网络数据爬取有两个来源，一个是网页，另一个是移动终端（手机app）；随着移动终端的普及和推广，更多的用户甚至已经放弃了网页的访问，因此爬取移动端的数据更为合适。但是，爬取移动端app数据具有不同的难度等级；与网页相比，移动端app可以针对自身的请求数据进行特殊的加工处理，有些数据并不是很透明。难度评估：*：此类app没有进行特殊的防护，可以直接在网页访问app中请求的url...

版本控制        集中式：SVN ...        分布式：git ...git基本概念：        版本库（仓库）：储存代码文件等的地方        本地仓库：本机仓库        远程仓库：充当“中央服务器”，用于不同节点之间进行代码交换的地方        克隆：复制        分支：不同分支做不一样的事，用于协同开发        标签：用于标注版...

 一、项目介绍客户和开发团队的角色，开发团队涉及人员及其分工。客户   用户 需求提出者     开发团队   人员 任务 需求分析师 分析用户需求 产品经理 设计产品原型 架构师 决定项目主体框架 UI设计师 设计项目展示页面 前端工程师 开发前端页面 后端工程师 开发后端逻辑代...

        在今天的职业素质培训中，其中就涉及到一个问题引起了我的极大关注；这个问题就是面试时候被问起“你的缺点是什么”，我觉得这是一个巧妙而又尴尬的问题。...

奋斗了一晚上终于搞定了。。。。。方法：火狐浏览器==》打开菜单==》附加组件==》搜索“AdBlock”==》点击“AdBlock for Firefox”==》点击“添加到Firefox”==》等待AdBlock安装成功，刷新下博客，完事其他方法都试了：Google的AdBlock无法过滤；净网大师不能用；毒霸过滤失败。。。。。（都快醉了。。。）对比如下：过滤后的：过滤前的：...

 一、PEP8编码规范 1、代码编排        a、使用4空格缩进。不使用Tab，更不允许用Tab和空格混合缩进        b、每行最大长度最大79字节，换行可以使用反斜杠，最好使用圆括号        c、类和全局函数定义间隔两个空行，类内方法定义间隔一个空行，其它地方可以不加空行。2、文档编排        模块内容的顺序：模块说明和docstring（文档...

人之所以为人，是因为人有思想。每一个人的思想都是独立的，时刻根据当前的状态进行调整着，直接或间接的受他人和环境的影响。当一个人开始变得固执，就不愿去听取周边世界的声音，这个时候应该就此人的人生巅峰，除非他改变自己思想去聆听和吸取新的内容。...