- 博客(68)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 tensorflow官方快速入门例子（离线版）
GFW问题：官方快速入门例子被墙：Tensorflow quick startkeras.datasets.*.load_data()下载不了训练数据集tensorflow-quickstart-offlineGithub特点：完整的Tensorflow官方入门例子（5个，非Tensorflow中文社区的例子）被墙也可以完整的体验官方的入门例子数据文件下载到本地，拒绝GFW...
2018-10-30 14:00:36
268
原创 pyenv+pipenv - Python多版本以及虚拟环境管理
个人博客原文env这是针对Ubuntu的安装，其他Linux去Github查看安装说明Ubuntupyenv多版本管理安装pyenvgit clone https://github.com/pyenv/pyenv.git ~/.pyenvecho 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bashrcecho...
2019-08-23 15:41:12
2225
1
原创 Presto查询内存优化，可缓解内存不足的症状
个人博客原文使用条件Hive v1 bucketing table: v1版本的分桶表（v2没测试，presto对hive 3.x的支持目前还在进行中）其他支持分桶的数据源connector，需要实现presto特定的方法@david: Assuming it’s hashing as in Hive, and two tables bucketed the same w...
2019-08-21 14:19:05
7117
原创 JUnit5 Console Launcher - Linux 命令行
说明与依赖说明：https://junit.org/junit5/docs/current/user-guide/#running-tests-console-launcher依赖：https://repo1.maven.org/maven2/org/junit/platform/junit-platform-console-standalone/使用编译javac -cp junit-...
2019-06-26 17:35:13
945
原创 VMware Workstation 与 Device/Credential Guard 不兼容
bcdedit /set hypervisorlaunchtype offbcdedit /set hypervisorlaunchtype auto
2019-06-15 15:07:50
199
原创 Windows Terminal 新终端下载安装
更新时间2019-05-30Download链接: link提取码: jwekGithubhttps://github.com/microsoft/terminalBuild Guidehttps://github.com/microsoft/terminal/issues/489#issue-441161390
2019-05-30 15:49:26
27022
1
原创 Docker issues
1 When a swarm worker downdocker swarm - how to balance already running containers in a swarm cluster?docker service update --force <servicename>2 docker stack ps remove shutdownWhy does do...
2019-05-07 11:22:19
210
转载 Docker Commands, Help and Tips
https://gitee.com/archongum/codes/ecio3vwl9470qgazx2but76Docker Commands, Help & TipsShow commands & management commands$ dockerDocker version info$ docker versionShow info like numbe...
2019-05-07 11:17:15
630
原创 mitmproxy 监听指定端口
安装使用python3的安装方式https://mitmproxy.org/监听指定端口例子：Presto SQL请求的监听Presto地址：http://datacenter4:18080mitmproxy命令（端口8484）mitmproxy \ --mode reverse:http://datacenter4:18080 \ --listen-host datace...
2019-04-15 15:34:35
4837
转载 macOS Mojave VM on VMware Workstation Pro 15 修改分辨率
https://github.com/MarLoe/VMware.PreferencePane/issues/12
2019-03-06 13:43:58
1121
原创 screen常用命令，分屏
例子# 创建名字为test的实例screen -S test# 改名ctrl+a, A# 左右分屏（‘或’的符号）ctrl+a, |# 切换屏幕ctrl+a, tab# 创建新窗口（以及改名）ctrl+a, c# 上下分屏（以及改名，切换屏幕，创建新窗口）ctrl+a, S常用命令# 接着最上面的命令# 列出所有实例screen -ls# at...
2019-01-16 11:58:02
4368
原创 WSL开启chmod功能
环境Windows 10 1809WSL Ubuntu 18.04开启chmodsudo /etc/wsl.conf[automount]options = "metadata"关闭所有bash，重新打开即可相关问题解决ssh使用key的时候提示key文件的权限过于宽松@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@...
2018-12-27 11:05:15
3315
2
原创 k8s简单使用
版本注意k8s与docker的版本适配。（2018-11-15的最新版：k8s=v1.12.2不支持docker=18.09.1）dockerhttps://docs.docker-cn.com/engine/installation/linux/docker-ce/ubuntu/curl -fsSL https://download.docker.com/linux/ubuntu/gpg...
2018-11-15 18:44:15
648
原创 Scrapy服务简单使用
Scrapy官网：Scrapy安装官网：Installation guide官方推荐在虚拟环境安装We strongly recommend that you install Scrapy in a dedicated virtualenv, to avoid conflicting with your system packages.安装virtualenv，参考：python v...
2018-11-02 17:21:05
356
原创 python virtualenv简单使用
Installationpip install virtualenv默认安装位置在pip同级目录下Usage# download onlinevirtualenv -p python3.6 env_name# from localvirtualenv --python=/opt/anaconda3/bin/python env_name...
2018-11-02 15:07:00
219
原创 修改pip的下载源
修改$HOME/.pip/pip.conf，使用阿里云，保存即可[global]index-url = http://mirrors.aliyun.com/pypi/simple[install]trusted-host=mirrors.aliyun.com可以解决--trusted-host的问题Collecting scrapy The repository located...
2018-11-02 14:17:35
1348
原创 Tensorflow-GPU禁用GPU设置（CPU与GPU速度对比）
禁用GPU设置# 在import tensorflow之前import osos.environ['CUDA_VISIBLE_DEVICES'] = '-1'CPU与GPU对比显卡：GTX 1066CPUGPU简单测试：GPU比CPU快5秒ReferenceCan Keras with Tensorflow backend be forced to use CP...
2018-10-29 14:48:43
2823
2
原创 时间序列笔记
基本概念n阶差分wikiΔnyx=(−1)0Cn0yx+n+(−1)1Cn1yx+n−1+(−1)2Cn2yx+n−2+...+(−1)nCnnyx\Delta^{n} y_{x} = (-1)^{0} C_{n}^{0} y_{x+n} + (-1)^{1} C_{n}^{1} y_{x+n-1} + (-1)^{2} C_{n}^{2} y_{x+n-2} + ... + (-1)^...
2018-10-26 10:13:20
269
原创 Flink检查点(Checkpoints)/保存点(Savepoints)恢复
环境Flink：1.6.1Scala：2.11.12jdk1.8Hello Worldpackage flinkimport org.apache.flink.core.fs.Pathimport org.apache.flink.runtime.state.StateBackendimport org.apache.flink.runtime.state.filesyst...
2018-10-24 12:22:20
7465
1
原创 flink wordcount error: No implicits found for parameter evidence$11: TypeInformation[String]
出错代码原因：引包修正
2018-10-23 13:43:06
3540
原创 WSL搭建Java开发环境
目录安装WSL Ubuntu 18.04（选）修改默认用户为root，并修改用户目录（选）修改apt源，加快下载速度（注：修改的源可能会不存在）Upgrade ubuntuInstall xfce desktopSpecify the display serverInstall VcXsrvOpen display serverRun xfce desktop（选）Fix powerline fo...
2018-10-12 12:34:34
14984
原创 被玩坏了的Redis？
在看某IT网站学习Storm的过程中，看到作者用Redis的List来做消息队列。好奇百度一下，最有趣的回答是这个。不要使用redis去做消息队列，这不是redis的设计目标。但实在太多人使用redis去做去消息队列，redis的作者看不下去，另外基于redis的核心代码，另外实现了一个消息队列disque： antirez/disque（注：一看还是3年没更新了）...
2018-10-09 14:32:43
154
原创 Confluent测试与生产环境的配置
目录Confluent PlarformStandalone(Confluent CLI)Confluent in ProductionZooKeeperKafka相关网站Confluent PlarformEnabling streaming data as the new paradigm for data flowStandalone(Confluent CLI)这个模式使用十分简...
2018-09-29 10:44:16
1099
原创 尝试深入理解Kafka的工作特性
1. 概述Kafka选择把消息直接写入硬盘，而不是写到内存，所以尝试探究这个选择的原因。2. 写入硬盘的位置查看配置文件config/server.properties的log.dirs属性，默认是/tmp/kafka-logs，目录下存放的是所有Topic的文件夹，以${topic_name}-${partition_id}命名。例如topic=test，partition=0，则对应的...
2018-09-27 13:39:57
610
原创 Spring Boot使用自定义parent
目录1 概述2 不使用Spring Boot的父POM1 概述Spring Boot提供了父POM，如<parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <vers...
2018-09-25 15:31:01
874
原创 Maven artifact（依赖包）版本管理规范，同级引用以及打包
目录测试环境Project结构artifact版本管理规范同级引用打包maven默认插件打包，不包含artifact（依赖包）打包，包含artifact（依赖包）其他打包打包，artifact（依赖包）分离maven-shade-pluginSpring Boot测试环境apache-maven-3.5.3IntelliJ IDEA 2018.1.5Project结构maven-pa...
2018-09-25 14:56:41
4427
原创 Win10 Tuning
目录Win10 Insider Preview skip aheadWin10 Insider Preview skip ahead
2018-09-23 00:54:36
189
原创 JetBrainsCrack with jar
目录1 [官网](http://idea.lanyus.com/)2 下载jar3 复制jar到安装目录`./bin`4 在文件`idea.exe.vmoptions`和`idea64.exe.vmoptions`添加以下内容5 启动程序，复制代码到激活区域1 官网2 下载jar3 复制jar到安装目录./bin4 在文件idea.exe.vmoptions和idea64.exe.vm...
2018-09-22 23:13:42
4551
原创 从Mysql SQL到Presto SQL
Presto官方文档SQL数据类型类型转换MySQLPresto日期MySQLPrestoPresto官方文档SQL标准SQL写法，更像Oracle，支持with，over等特性数据类型基本和关系型数据库的类型一致，遇到问题再查阅[presto官方文档]常见不同：MySQL用datetime，Presto用timestamp...
2018-09-11 12:18:23
3066
原创 ANTLR4 Common Lexical Structures
FROM: Page 78, The Definitive ANTLR 4 Reference, 2nd Edition Token Category Description and Examples Punctuation The easiest way to handle operators and punctuation is to directly...
2018-09-10 11:25:48
212
原创 Fix DataX use Presto JDBC need password
issueDataX的reader/writer使用JDBC时必须指定数据库密码，但Presto一般只需要指定用户名，指定密码后必须开启SSL（一般不用SSL）。需要增加判断机制：如果时Presto JDBC，忽略密码。solution修改plugin-rdbms-util模块的DBUtil类修改图中代码，重新打包并替换相对应的包即可...
2018-09-07 16:57:58
1188
原创 Gradle Maven Repo
.gradle启动顺序在命令行指定文件: gradle –init-script USER_HOME/.gradle/init.d/*.gradleGRADLE_HOME/init.d/*.gradle修改远程仓库URLallprojects{ repositories { def REPOSITORY_URL = 'http://maven.ali...
2018-09-04 10:33:42
698
原创 presto configuration
version 0.208基本操作etc/config.propertiessessionshow session;set session join_distribution_type = 'AUTOMATIC';basehttps://prestodb.io/docs/current/admin/properties.html https://teradata...
2018-09-03 12:52:49
688
原创 VM Centos7 Minimal 简单初始化操作
1. 改IPvi /etc/sysconfig/network-scripts/ifcfg-ens33# 不改动TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noDEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEFROUTE=yesIPV6_...
2018-04-11 15:18:52
355
原创 Mapreduce 数据处理过程简介
前言本文用到key相关的排序知识，需要了解请转移到上一篇文章。Mapreduce数据处理过程1. Mappermap()每运行一次map()方法，就会调用一个Partitioner的getPartition()方法；两个方法交替运行，直到该Mapper的输入数据被处理完。所有输入数据都经过map()和getPartition()处理后，每个Partition的数据进行一次排序（排序的实现请转移到上一
2017-03-24 17:48:30
1545
原创 MapReduce Key排序原理
如何写一个属于自己的数据类型（Writable）疑问一IntWritable, LongWritable, Text和Java的int, long, String有什么区别？ 答：数据在集群中传输时，xxWritable转化成字节流（byte[]）进行传输，具体方法为接口Writable的write(DataOutput out)；解析还原时，使用接口Writable的readFields(Da
2017-03-24 15:12:36
1362
RedisDesktopManager 最新到0.9.9-Windows版-包含一些旧的版本（如0.8.8）
2019-02-26
RedisDesktopManager 最新到0.9.5 Windows exe
2018-09-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人