- 博客(41)
- 收藏
- 关注
RSS订阅转载 gitj基础2
回滚版本 gitreset--hardHEAD^回滚上一个版本 gitreset--hard版本号（或者版本号前6位）回滚到指定版本 如果修改版本了，也关了窗口，后来后悔了，最后的方法可以拯救 获得版本号前6位用gitreset--hard版本号前6位 删除 rmre...
2019-09-16 15:08:00
262
转载 hadoop.io.native.NativeID$Windows.access0 报错问题解决
系统：win10 hadoop-2.6.0版本 java:1.8版本32位 wordcount在本地运行时报错： Exceptioninthread"main"java.lang.UnsatisfiedLinkError：org.apache.hadoop.io.native.NativeID$Windows.access0 在网上查阅了资料，发现可...
2019-09-09 14:40:00
252
转载 git基础1
git: 团队协作开发 版本管理 创建项目的文档 初始化 编写项目 把文件add到git仓库，其实是放到了git的代码暂存区 工作区有一个隐藏目录.git，这个不算工作区，而是Git的版本库 Git的版本库里存了很多东西，其中最重要的就是成为stage(或叫index)的暂存区，还有...
2019-09-02 10:28:00
211
转载 mysql和postgresql查询数据库中哪些表包含某个字段
想知道数据库中哪表含有edu_status字段 mysql>selecttable_name,column_namefrominformation_schema.columnswherecolumn_namelike'%edu_status%'; +-------------+-------------------+ |table_name...
2019-08-26 13:48:00
1214
转载 9.spark Core 进阶2--Cashe
RDDPersistence OneofthemostimportantcapabilitiesinSparkispersisting(orcaching)adatasetinmemoryacrossoperations.WhenyoupersistanRDD,eachnodestoresanyparti...
2019-08-20 09:58:00
267
转载 postgresql使用pg_dump和pg_restore 实现跨服务器的数据库迁移或备份
因为业务需求，需要将服务器上的postgre多个数据库的数据整个库得迁移到另一个postgre数据库上。 一般表较少时，会使用postgre的copyto和copyfrom命令就能完成表的迁移，但这种方式需要target_database上提前先创建好对应的表，并且每一个表都需要一次copyto和copyfrom操作，当表比较多的时候，非常繁琐。 因此我查询了网上...
2019-08-07 10:53:00
1172
转载 merge存储引擎基本介绍和使用规范说明
【以下两段截自MySql手册】： merge存储引擎，也被认识为mrg_myisam引擎，是一个"相同“的表可以被当作一个表来用的myisam表的集合。“相同”意味着所有表同样的列和索引信息。你不能合并列被以不同顺序列于其中的表，没有恰好同样列的表，或有不同顺序索引的表。而且，任何或者所有的表可以用myisampack来压缩。表选项的差异，比如AVG_ROW_LENGTH,MAX...
2019-08-05 09:48:00
536
转载 7.ICMP与ping
ping是基于ICMP（InternetControlMessageProtocol）协议工作的 ICMP报文封装在IP包里，作为“侦察兵”，非常轻巧。 ICMP报文的类型有很多，最常用的是主动请求为8，主动请求的应答为0。 查询报文类型 主动发起查询，对应的额就是查询报文类型，ping就是查询报文，是一种主动请求，并且获得主动应答的IC...
2019-07-29 09:53:00
191
转载 mysql出现You can’t specify target table for update in FROM clause
在mysql执行下面语句时报错： 1 You can’t specify target table for update in FROM clause 2 3 UPDATE edu_grade_hgm_1 4 SET exam_natures_new = '2' 5 WHERE 6 (outid, course_no) IN ( 7 SEL...
2019-07-22 09:43:00
184
转载 8.spark Core 进阶1
(e.g.standalonemanager,Mesos,YARN) In"cluster"mode,theframeworklaunchesthedriverinsideofthecluster. In"client"mode,thesubmitterlaunchesthedriveroutside...
2019-07-15 09:46:00
160
转载 7.spark运行模式
sparkbin目录下 ./pyspark--help http://spark.apache.org/docs/latest/submitting-applications.html local模式 spark-env.sh在$SPARK_HOME/conf下 yarn模式不需要启动mas...
2019-07-08 09:39:00
139
转载 5.从物理层到MAC层
第一层（物理层） 如何用两台电脑构成最小的局域网（LAN）? 网线的水晶头1、2和3、6脚分别起着收、发信号的作用，随意只要将水晶头做交叉线1-3、2-6交叉法，然后连接两台电脑。除了网线交叉，还要配置两台电脑的IP地址、子网掩码和默认网关。如可以是一个192.168.0.2/24和192.168.0.5/24。 有一个叫Hub，也就是集线...
2019-07-01 10:25:00
180
转载 not registered via @EnableConfigurationProperties or marked as Spring component
利用@ConfigurationProperties(prefix="")来绑定属性时报错： notregisteredvia@EnableConfigurationPropertiesormarkedasSpringcomponent POM依赖 <dependency> <groupId>org....
2019-06-24 09:17:00
2441
转载 6.RDD算子实战
1 from pyspark import SparkContext,SparkConf 2 import sys 3 if __name__ == '__main__': 4 if len(sys.argv) != 2: 5 print("Usage: wordcount <input>",file=sys.std...
2019-06-17 09:39:00
142
转载 3.pycharm spark配置
pycharm内的环境变量配置 选择相应的spark程序文件的对应的配置信息 PYSPARK_PYTHON:python的安装路径 PYTHONPATH:spark安装路径下的python 提交pyspark应用程序 在$SPARK_HOME/bin 将HDFS上的文件作为参...
2019-06-10 09:46:00
135
转载 4.RDD常用算子之transformations
RDDOpertions transformations:createanewdatasetfromanexistingone RDDA --> RDDB actions:returnavaluetothedriverprogramafterrunningacomputationonthed...
2019-06-03 09:40:00
205
转载 2.初始化spark
参考： RDDprogrammingguide http://spark.apache.org/docs/latest/rdd-programming-guide.html SQLprogrammingguide http://spark.apache.org/docs/latest/sql-programming-guide.html wehigh...
2019-05-27 10:35:00
231
转载 pycharm远程调试和debug
目的： 通过pycharm远程连接服务器，实现在pycharm上开发，代码同步到服务器（或者可以从服务器download到pycharm），利用服务器开发环境在pycharm上debug。 条件： pycharm专业版 远程部署： 1.如图打开Configuration 2. 3. ...
2019-05-20 09:55:00
211
转载 python spark环境配置
在配置Hadoop之前，应该先做以下配置 1.更改主机名 首先更改主机名，目的是为了方便管理。 输入:hostname 查看本机的名称 使用hostname修改当前主机名。 hostnametest1 然后输入:vim/etc/sysconfig/network 修改主机名称 将...
2019-05-13 10:10:00
519
转载 1.spark核心RDD特点
RDD(ResilientDistributedDataset) Spark源码：https://github.com/apache/spark abstractclassRDD[T:ClassTag]( @transientprivatevar_sc:SparkContext, @transientprivatevardeps...
2019-05-06 09:51:00
178
转载 postgrel执行VACUUM报VACUUM cannot run inside a transaction block
在python脚本里执行： 1 sql_gp1 = "VACUUM dwd_access_record_inout_temp" 2 sql_gp2 = "delete from dwd_access_record_inout_temp t where t.indate > (select now()::timestamp-interval '...
2019-04-24 13:57:00
3623
转载 python 用正则处理日志实例
前提： 了解正则基本语法 1 import re 2 with open('top10_xiaozhuang_net.log','r') as f1: #读取日志文件 3 4 subject=f1.readlines() 5 with open('slice_log.log','w') as f2: ...
2019-04-19 17:33:00
323
转载 关于postgresql group by 报错
举个例子： tablename:makerar cname|wmname|avg --------+-------------+------------------------ canada|zoro|2.0000000000000000 spain|luffy|1.00000...
2019-04-18 21:27:00
1176
转载 9.排序（上）
最经典、常用的排序： 提问：插入排序和冒泡排序的时间复杂度相同，都是O(n2),在实际开发中，为什么更倾向于使用插入排序？ 如何分析一个“排序算法”？ 排序算法的执行效率 1.最好、最坏、平均情况时间复杂度 这样区分的原因： 1）有些排序算法会区分，为了好对比。 ...
2019-04-15 09:50:00
117
转载 8.递归
如何理解“递归” 比如在电影院不知道自己现在坐的位置是第几排，就问下前排的是第几排(x)，自己就是x+1，如果他也不知道他就继续问前排，知道问道第一排的人，这是“递”。 而第一排的人往会一排排传自己是第几排，这就是“归”。 递推公式就是如下： f(n)=f(n-1)+1其中，f(1)=1 改成代码： 1 ...
2019-04-07 22:37:00
120
转载 4.DHCP与PRE
如何配置IP地址 使用net-tools $sudoifconfigeth110.0.0.1/24 $sudoifconfigeth1up 使用Iproute2 $sudoipaddradd10.0.0.1/24deveth1 $sudoiplinksetupeth1...
2019-03-30 18:22:00
148
转载 7.队列：在线程池等有限资源池中的应用
队列（queue） 先进者先出，这就是典型的“队列” 栈有基本操作入栈push()和出栈pop() 队列也有两个基本操作入队enqueue(),放一个数据到队列的尾部；出队dequeue(),从队列头部取一个元素。 所以，队列和栈一样，也是一种操作受限的线性表数据结构。 顺序队列和链式队列 用数组...
2019-03-30 17:17:00
97
转载 6栈（如何实现浏览器的前进和后退）
我们可以用栈实现浏览器的前进后退功能 那么栈又是什么？ 栈就像一叠盘子，从下一个一个往上放。后进先出，先进后出，就是典型栈的结构。 从操作特性上来看，栈是十分受限制的一种数据结构，只有一端能够操作，但因为只暴露了一端的操作接口，便不容易出错，更可控。因此当数据集合满足先进后出，后进先出的特点时，就应该选择栈。 顺序栈：用数...
2019-03-25 10:22:00
225
转载 3.ifconfig
Windows下查看IP地址用ipconfig Linux下查看IP地址用ifconfig还有ipaddr 而ipconfig和ipaddr的区别则是与net-tools工具和iproute2工具的“历史”有关，这常常是个考点，但内容较多。 ···························可略过·················...
2019-03-25 09:17:00
167
转载 2.为什么要分层
复杂的程序都要分层，这是程序设计的要求 整个程序的包装和解包的过程： 层与层之间的关系 就像俄罗斯套娃 只要是在网络上跑的包，都是完整的。可以有下层没上层，绝不可能有上层没上层。 对TCP协议来说，三次握手也好，重试也好，只要想发出去包，就要有IP层和MAC层，不然是发不出去的。 转载于...
2019-03-25 09:14:00
247
转载 python2和python3 安装pip冲突问题
系统：win10 问题：安装python2和Python3后 在cmd 中 pip和python命令会冲突 原因：先安装的python3,python3会自动配置path安装pip,pip和python命令系统默认会去执行Python3的 解决： python2安装完后需要手动配置下系统环境（即将python.exe的目录和Scripts下的目录加到Path下） 进入pytho...
2019-03-17 20:35:00
404
转载 1.为什么要学习网络协议
只有通过协议，计算机才知道们想让它做 协议三要素 语法 一定规格和格式 例如，括号成对，结束使用分号 语义 一段内容代表的某种意义 例如，数字减数字有意义，数字减文本一般无意义 顺序 任务的先后 没有例如了 这便是和一台计算机的沟通，但只有通过网络协议，才能使得一大片机器协作，完成一件任务。 以浏览器浏览页面为例 ...
2019-03-17 20:23:00
115
转载 5.链表（下）
写好链表的代码 1.理解指针（引用）的含义 将变量赋值个指针，实际上就是将这个变量的地址赋值给指针 p->next=q: p结点的next指针存储了q结点的内存地址 p->next=q->next->next： p结点的next指针存储了q结点的下下一个结点的内存地址...
2019-03-17 20:07:00
103
转载 4.链表（上）
对比数组，链表不需要一块连续的内存空间，它通过“指针”将一组零散的内存块串联起来使用。 链表有单链表、双链表、循环链表 单链表 将零散的内存块（被称为结点）串联在一起，每个链表的节点除了存储数据外还要存储下一个结点的指针，记录下一个结点的指针成为后继指针。 头结点和尾结点比较特殊，头结点记录链表的基地址，用它，便可以遍历整个链...
2019-03-06 17:53:00
205
转载 python 格式化向sql语句输出元组
想要往执行的sql语句里传入元组怎么办？尤其像insert 数据等操作，其实 利用"{}".format(tuple)固定格式传值即可 1 results = ((1,2,3),(4,5,6)) 2 #因为hive insert 要求values 格式为 insert overwrite table term_dept_top_backup111 values(...
2019-03-06 11:38:00
588
转载 3.数组
为什么数组要从0开始变好，而不是1开始呢？ 数组是一种线性表数据结构。它用一组连续的内存空间，来存储一组具有相同类型的数据结构。 随机访问 插入、删除数据很低效 面试题： 数组和链表的区别？ 链表适合插入、删除，时间复杂度为O(1);数组支持随机访问，根据小标随机访问的时间复杂度为O(1) 数组的内存寻址公式 ...
2019-03-04 20:11:00
102
转载 2.复杂度分析（下）
最好、最坏情况时间复杂度 1 // n 表示数组 array 的长度 2 int find(int[] array, int n, int x) { 3 int i = 0; 4 int pos = -1; 5 for (; i < n; ++i) { 6 if (array[i] == x) 7 pos = i; 8 } 9 retur...
2019-03-03 11:30:00
171
转载 1.复杂度分析（上）
复杂度分析是整个算法学习的精髓 为什么需要复杂度分析？ 算法执行效率评估： 事后统计法： 1.测试结果非常依赖测试环境 2.测试结果受数据规模影响很大 因此需要一个不用具体的测试数据来测试，就可以粗略估算算法执行效率的方法 大O复杂度表示法 每行代码>cpu>读数据-运算-写数据 ：unit_time 所有代码的执行时间T(n)与...
2019-03-01 21:39:00
117
转载 django 创建model（数据库表）失败
在models.py中创建数据库表 from django.db import models # Create your models here. class Book(models.Model): name = models.CharField(max_length=20) price = models.IntegerField ...
2018-11-20 17:42:00
1223
转载 python安装
linux 下载后要放到linux里 解压后要进入到pyhon目录里 python配置环境变量 目的：让系统帮我自动找到命令执行路径 vim ~/.bashrc 增加PYTHON_HOME=:/usr/Python-3.6.4 PATH=$PATH:PYTHON_HOME/bin 或增加 PATH=$PATH:/usr/Python-3.6.4/bin ...
2018-11-03 12:46:00
95
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人