- 博客(29)
- 资源 (3)
- 收藏
- 关注
RSS订阅转载 git分支合并 - git merge 与 git rebase
本文搬运自github，如有侵权请联系编者删除；点击 原译文 查看原译文来源；点击 原文 查看图片来源及原始文章。由于原文图片已不可展示，故结合原译文出处，补充图片记录于此。正文如下：git rebase 这个命令经常被人认为是一种 Git 巫术，初学者应该避而远之。但如果使用得当的话，它能给你的团队开发省去太多烦恼。在这篇文章中，我们会比较 git rebase 和类似的 git merge 命令，找到 Git 工作流中 rebase 的所有用法。概述你要知道的第一件事是，git rebas
2021-02-07 16:52:25
705
原创 MongoDB批量upsert/save
package com.ott.demo.dao.mongo.batch;import com.alibaba.fastjson.JSON;import com.gooagoo.log.GooagooLog;import com.mongodb.BasicDBObject;import com.mongodb.CommandResult;import com.mongodb.DBCollection;import com.mongodb.DBObject;import org.springf
2020-12-09 17:26:06
2198
1
原创 MongoDB 批量更新/插入 即批量save或批量upsert 遇到的问题和解决方案
MongoDB 批量更新/插入 即批量save或批量upsert 遇到的问题和解决方案批量更新工具完成批量更新整个对象时候，因为没有$set符号导致异常，因此做了反射工具，再遍历字段去调用Update.set(k,v) 的方式去给字段赋值。（排除的字段目前是写死的，后续可以做成可配置）批量更新时，对象有个属性是List< Object > 这个列表内的对象在插入时报错，说无法序列化：java.lang.RuntimeException: json can't serialize t
2020-12-09 16:21:08
2729
原创 阿里云配置了域名后，域名和ip都能ping通，但是访问应用失败问题解决
阿里云配置了域名后，域名和ip都能ping通，但是访问应用失败问题解决阿里云配置了域名后，域名和ip都能ping通，但是访问应用失败； 但项目在本地启动成功，也能正常访问。解决：需要使ESC实例加入到安全组；参考文档：https://help.aliyun.com/document_detail/25443.html?spm=a2c4g.11186623.4.6.79d56160svdmPx这里要注意的是，如果直接从左侧的菜单栏找到“安全组”并设置了开放端口后，在添加实例的列表里是找不到自己当前的
2020-11-29 01:13:52
2224
1
原创 Spark example 源码通过idea打开，一直build 问题解决
问题描述：本机配置了maven环境变量，maven对应的setting.xml的mirrors配置了阿里云的仓库： <mirror> <id>alimaven</id> <name>aliyun maven</name> <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
2020-11-04 15:01:59
256
原创 git 登录多个代码托管平台
使用场景：在公司有内网的gitlab，同时需要登录github看其他项目。操作：添加密钥对在C:\Users${yourAccount}.ssh目录下运行git bash生成github账号:ssh-keygen -t rsa -C "myGithub@google.com"重命名生成的文件把生成的id_rsa改为github_rsa重复步骤1、2，更改参数生成gitlab信息，如：生成 gitlab账号：ssh-keygen -t rsa -C "myGitlab@go
2020-10-17 17:02:23
269
原创 SQL过滤与应用过滤如何选择
SQL过滤与应用过滤进行复杂查询的时候，数据可以通过SQL过滤，也可以在应用层进行过滤。应当优先采用哪一种过滤方式呢？通常来说，优化数据库后可以更快速有效的对数据进行过滤。使用客户端进行过滤的方法通常是：sql的select语句为客户端应用检索出超过实际所需的数据，然后客户端代码对返回数据进行循环提取出需要的行。使用客户端应用进行过滤时，有三个不好的影响：1.会极大的影响应用的性能2....
2020-03-21 20:10:40
838
原创 Intelij idea 自定义注释模板
1、Settings(Ctrl+Alt+S) -> Editor -> Live Templates -> 右侧加号 -> Live Template2、配置应用的位置，点击Define，选择Java3、填写 Abbreviation这里我的方法模板通常使用q，类模板使用w在模板中起始行是** 而不是 /**因此在使用是只需要输入 /q + Tab ...
2020-03-05 14:16:45
273
转载 git rebase 两个用法
作者：liqingbiubiu链接：https://www.jianshu.com/p/4a8f4af4e803来源：简书1.合并多个commit为一个完整commit当我们在本地仓库中提交了多次，在我们把本地提交push到公共仓库中之前，为了让提交记录更简洁明了，我们希望把如下分支B、C、D三个提交记录合并为一个完整的提交，然后再push到公共仓库。现在我们在测试分支上添加了四次提交...
2019-11-18 15:58:44
388
转载 git删除远程文件夹或文件的方法
项目开发初期由于.gitignore 文件配置不正确很有可能导致某些不需要的目录上传到 git 远程仓库上了，这样会导致每个开发者提交的时候这些文件每次都会不同。除了一开始提交的时候注意配置好 .gitignore 文件外，我们也需要了解下出现这种问题后的解决办法。具体操作步骤如下：1、预览将要删除的文件：git rm -r -n --cached 文件/文件夹名称 加上 -n 这个参数...
2019-08-26 16:14:47
378
原创 org.apache.ibatis.binding.BindingException: Parameter 'startTime' not found. Available parameters ar
org.mybatis.spring.MyBatisSystemException: nested exception is org.apache.ibatis.binding.BindingException: Parameter 'startTime' not found. Available parameters are [0, 1, param1, param2] at org.myba...
2019-04-04 11:30:59
4671
转载 The 'External Type Completiions' proposal computer from the 'org.springsource.ide.eclipse.commons.co
Eclipse 写代码时卡住，报错：“The ‘External Type Completiions’ proposal computer from the ‘org.springsource.ide.eclipse.commons.completions’ plug-in did not complete normally. The extension took too long to retu...
2019-03-01 11:43:09
624
原创 Spark On Yarn kill application
yarn application -list 查询所有的任务然后使用yarn application -kill
2019-02-15 16:24:55
614
原创 Git: fatal: The current branch master has multiple upstream branches, refusing to push
git上直接git push报错Git: fatal: The current branch master has multiple upstream branches, refusing to push解决：使用命令git config remote.origin.push HEAD推送成功！
2019-02-11 16:58:07
1815
原创 MySQL 自动填充createTime和updateTime
1、脚本方式createTime只需要把类型设定为timestamp，默认值为current_timestamp即可，updateTime比createTime多一个ON UPDATE CURRENT_TIMESTAMP即可CREATE TABLE `tbl_hive_hour` ( `id` int(11) NOT NULL AUTO_INCREMENT, `tb_name` va...
2019-01-21 14:35:03
19362
3
转载 HIVE中NULL的两种处理方式
HIVE表中默认将NULL存为\N，可查看表的源文件（hadoop fs -cat或者hadoop fs -text），文件中存储大量\N， 这样造成浪费大量空间。而且用java、python直接进入路径操作源数据时，解析也要注意。另外，hive表的源文件中，默认列分隔符为\001(SOH)，行分隔符为\n（目前只支持\n，别的不能用，所以定义时不需要显示声明）。元素间分隔符\002，map中...
2019-01-15 10:47:46
6550
原创 fatal: The current branch master has multiple upstream branches, refusing to puh. git push error！
git push时报错：$ git pushfatal: The current branch master has multiple upstream branches, refusing to puh.措施：输入$ git config remote.origin.push HEAD重新push$ git pushEnumerating objects: 43, done....
2019-01-14 15:23:28
951
原创 记录查询HIVE表的条目数为0，select* 却可以看到数据的异常
一个现象：SELECT * FROM <tbl_name>是有数据的但是SELECT COUNT(*) FROM <tbl_name>结果为 0原因是字段不匹配。需要检查字段名称或者字段个数。
2019-01-10 14:47:46
1030
原创 HIVE删除分区表FAILED: Execution Error, return code 1... MetaException(message:Invalid partition key & val
HIVE删除分区表drop table tbl_name时报错:FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Invalid partition key & values; keys [year, month, day, ...
2019-01-10 14:44:37
3273
转载 Spark 三种作业提交方式
Local 本地方式：直接在 IDEA 中运行程序，无需打包发布到集群中，方便测试。Standalone 方式：Spark 原生的 Master/Worker 集群，Yarn 方式：Hadoop 的 Yarn 集群，recourseManager/NodeManager 集群，通过 Yarn 来进行资源的和管理调度。本地方式是在本地 JVM 中启动一个进程来模拟运行环境，多个线程进行作业...
2019-01-08 14:52:35
3077
4
原创 HIVE的特点理解及优化
hive:数据仓库非数据库,通过sql处理结构化数据.纯逻辑表,依赖于HDFS,只是壳子框架,不存数据.hive内置:基本类型:String,int,double,bigint复杂类型:array[存储类型一致的数据],map,struct,maphive的数据不适合改,但是可以追加hql语句执行步骤:from-where(and/or)-group-having-select-order...
2019-01-08 14:48:52
968
原创 LINUX 通过SSH免密码登录
设置SSH免登陆即在master机上创建一对公私钥。输入ssh-keygen -t rsa追加到key文件中输入cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys将master 的key给其他slaves上发一份scp ~/.ssh/authorized_keys hadoop2:/root/.ssh/...
2019-01-08 14:47:36
299
原创 GEOHASH 核心原理理解笔记
1.什么是GEOHASHgeohash是 将经纬度转换成字符串的方法.(Z阶曲线的应用,是一种分层的数据结构)GEOHashes提供了任意精度的属性,能从代码末尾删减字符(可以减少精度)地理位置越靠近,前缀越相似.[编码长度为8时,精度为19M左右,编码长度为9时,精度在2M左右.]GEOHash算法的计算是用二分法.递归调用.再计算中,属于左区间就记录0,右区间就记录1.随着算法的进行,...
2019-01-08 14:23:52
672
原创 kafka简单的启动命令
我这里的安装目录是：/home/bigdata/kafka ， 节点名称为 localhadoop1进入安装目录后输入bin/kafka-server-start.sh config/server.properties &(后台运行)bin/kafka-server-start.sh config/server.properties (运行)启动生产者模式bin/kafk...
2019-01-08 14:20:20
11361
原创 git进行普通推送和推送失败后对应的版本回退命令
进行普通推送:1、 git add . 提交错误，要回到add提交之前，但需要保留源码： git reset -mixed HEAD2、 git commit -m “注释” 提交错误，要回到commit提交之前，但需要保留add 的内容和源码： git reset -sof...
2019-01-08 14:16:05
659
原创 连接windows和linux
首先在打开虚拟机以后在windows选择:控制面板–>网络和Internet–>网络和共享中心–>更改适配器设置–>选择VMware Network Adapter VMnet1–>属性–>Internet 协议版本4–>选择：使用下面的IP地址并把IP地址改为虚拟机地址如192.168.10.254–>确定，关闭打开虚拟机==》在终端中打开==...
2019-01-08 14:14:14
402
原创 报错:Error: Could not find or load main class org.apache.flume.tools.GetJavaProperty
输入flume-ng version 启动flume时报错Error: Could not find or load main class org.apache.flume.tools.GetJavaProperty,但似乎已经启动. 这时我们可以去hbase中修改hbase-env.sh文件,把配置注释掉一行#Extra Java CLASSPATH elements. Option...
2018-05-22 14:40:32
9844
6
win10 dns修改.bat
2021-02-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人