- 博客(31)
- 收藏
- 关注
RSS订阅原创 力扣刷题之区间动态规划类题目
定义dp[i][j]为在石子数组的子区间[i, j]内，当前玩家相对于对手可以获得的最大分数差。注意，这里的最大分数差考虑了双方都采取最优策略的情况。
2024-02-03 15:50:18
698
原创 Java优先队列(堆）
在Java中，Priority Queue是一种基于优先级堆的队列实现，用于处理其中元素按照自然顺序或自定义比较器(comparator)定义的顺序进行排序。
2023-12-23 12:22:27
387
原创 机器学习python语言快速教程
部分参考 《深度学习入门基于Python的理论与实现Deep Learning from Scratch》[日］斋藤康毅 著
2023-12-19 21:58:07
131
1
转载 Sqoop MySQL hive 数据库导入导出数据
1.导入（从mysql导入hive）场景：从一个mysql数据库的表中导入数据到hive表中sqoop import \ --connect "jdbc:mysql://ip:3306/mysql库名" \ (指定连接jdbc端口和数据库名称) --username "root" \ (数据库用户名) --password "root123" \ (密码 若不适用明文指定数据库密码 则可以用-P) --table "user" \ (指定数据库中的一张表) --targ
2022-02-15 17:38:08
2288
转载 LeetCode 76 最小覆盖子串 滑动窗口解法
题目描述给你一个字符串 s 、一个字符串 t 。返回 s 中涵盖 t 所有字符的最小子串。如果 s 中不存在涵盖 t 所有字符的子串，则返回空字符串 "" 。注意：对于 t 中重复字符，我们寻找的子字符串中该字符数量必须不少于 t 中该字符数量。如果 s 中存在这样的子串，我们保证它是唯一的答案。示例 1：输入：s = "ADOBECODEBANC", t = "ABC"输出："BANC"示例 2：输入：s = "a", t = "a"输出："a"示例 3:输入:..
2021-10-11 10:29:36
127
转载 mysql快速安装
Mysql安装过程，Mysql版本：8.0.181.下载压缩包：地址：https://dev.mysql.com/downloads/mysql/2.解压到一个目录下，进入该解压路径，配置初始化的my.ini（或my.txt）文件（创建my.ini或my.txt文件并把以下内容粘贴进去），内容如下，注意保存时（建议使用notepad++打开操作）编码为ANSI编码，切忌不要有空格：[mysql]# 设置mysql客户端默认字符集 default-character-s...
2021-08-16 15:40:52
295
原创 HiveSql常用函数总结
COALESCE()函数主流数据库系统都支持COALESCE()函数，这个函数主要用来进行空值处理，其参数格式如下： COALESCE ( expression,value1,value2……,valuen) COALESCE()函数的第一个参数expression为待检测的表达式，而其后的参数个数不定。 COALESCE()函数将会返回包括expression在内的所有参数中的第一个非空表达式。如果expression不为空值则返回expression；否则判断value1是否是空值，如果va
2021-07-30 11:02:33
1597
1
原创 azkaban定时调度sql脚本初体验
需求：数仓项目需要我每天定时执行集群中的sql脚本文件我需要把这个项目中的（三个分层）文件放入，因为每天基本上是定时跑这三个文件第一步，编写job脚本#before job build projecttype=commandcommand=su hdfs -c "/data/apps/warehouse-schema/build.sh"retries=10 ##失败的job的自动重试的次数retry.backoff=120000 ##重试的间隔（毫秒）注意各个文件之间的依
2021-07-06 11:24:44
955
原创 Excel文件导入hive
Hive导入Excel数据并不能使用类似一键导入的开关，只能先将数据进行格式转换，hive中简表，load数据的方式。打开Excel并另存为.txt格式文本文档excel与text转换1.注意要将表头第一行（字段名）删除，然后先导出为csv，再查看数据格式，确认是UTF-8，再导出为txt文件2.上传文件到HDFS 里hadoop fs -put /data/temp/ods_tj_farm_feed.txt /tmp根据excel中的数据结构进行建表，注意结构顺寻要一致3load数
2021-06-24 18:08:40
7222
5
原创 MySQL limit offset用法
Leetcode177题https://leetcode-cn.com/problems/nth-highest-salary/编写一个 SQL 查询，获取 Employee 表中第n高的薪水（Salary）。+----+--------+| Id | Salary |+----+--------+| 1 | 100 || 2 | 200 || 3 | 300 |+----+--------+例如上述Employee表，n = 2时，应返回第...
2021-06-22 10:52:52
329
转载 xsync同步脚本的编写
#!/bin/bash#1 获取输入参数个数，如果没有参数，直接退出pcount=$#if((pcount==0)); thenecho no args;exit;fi#2 获取文件名称p1=$1# 文件名称fname=`basename $p1` echo fname=$fname#3 获取上级目录到绝对路径pdir=`d -P $(dirname $p1); pwd`#有时候报错d: 未找到命令 ，改成: pdir=`cd -P $(dirname $p1);...
2021-06-18 08:56:54
506
原创 hive批量执行sql代码遇到的坑
一天，我在dwd操作时建立一张表create external table if not exists dwd_farm_n.fact_product_general(rowkey string,--rowkeyproduct_code string,--产品代码desc_loc string,--中文名desc_eng string,--英文名commercial_name string,search_code string,
2021-03-22 10:39:46
430
转载 kafka的简单实例
关于kafka的安装我主要是在windows下部署的，大家可以看这一篇https://blog.youkuaiyun.com/woshixiazaizhe/article/details/80610432import org.apache.kafka.clients.producer.*;import java.util.Properties;import java.util.concurrent.ExecutionException;/** *生产者程序，发送到1——100到消费者程序窗口 *
2020-06-01 20:45:04
1512
原创 Spark Streaming wordcount（java程序发送请求）
要求：将nc -lk 9999指令用Java的ServerSocket实现：即通过Java程序实现ServerSocket的9999端监听，作为Spark Streaming的Socket流，用户可以通过控制台输入信息后发送给Sparkstreaming进行处理。import java.io.*;import java.net.ServerSocket;import java.ne...
2020-05-05 19:49:45
400
转载 CentOS 7 Hive环境的搭建
第一步 搭建mysql，配置Mysql文件这里就不做详细介绍了大家可以参考http://blog.youkuaiyun.com/xyang81/article/details/51759200第二步 下载Hive并配置文件1.下载并解压 Hive下载地址：http://mirror.bit.edu.cn/apache/hive/hive-2.3.6/这里我们下载Hive-2.3.6的，下载这...
2019-12-11 18:10:23
242
原创 MongoDB查询运算符
在下表中提供了每个查询运算符的含义，示例用法，以及适用的SQL等价词将上表的查询运算符可以细化为以下几类查询运算符：比较查询运算符$gt 匹配大于指定值的值$lt 匹配小于指定值的值$gte 匹配大于或等于指定值的值$lte 匹配小于或等于指定值的值$ne 匹配所有不等于指定值的值$nin 匹配数组中不在某一范围内的值$in 匹配数组中在某一范...
2019-11-25 20:46:05
1015
转载 执行start-dfs.sh namenode无法启动?
今天在做hadoop实验的时候，eclipse显示连接不上hadoop了文件都显示不出发现JPS一下namenode没有启动其实问题就出在tmp文件，默认的tmp文件每次重新开机会被清空，与此同时namenode的格式化信息就会丢失于是我们得重新配置一个tmp文件目录首先在home目录下建立一个hadoop_tmp目录 mkdir hadoop_tmp然后修改hadoop/etc...
2019-11-06 22:07:27
2305
1
原创 eclipse配置Windows系统下hadoop开发环境
eclipse配置Windows系统下hadoop开发环境配置准备文件在eclipse中添加hadoop的插件 hadoop-eclipse-plugin-2.7.7.jar将盖插件放到eclipse的plugins目录下有的时候打开eclipse仍然识别不到，这个包可能也要放到dropins目录下配置windows本地的hadoop环境1）将hadoop-2.7.7...
2019-11-06 15:11:24
458
原创 HDFS Java API上传文件
在hdfs 目录下上传文件（上传一个hadoop-2.7.7.tar.gz安装包）要求：（1）以Java API方式写代码完成文件夹创建；（2）以Java API文件流的方式完成hadoop-2.7.7.tar.gz文件的上传；package hadoop;//多个文件//一个文件多个文件块，一个块放在多个host上//三级循环import java.io.File;impor...
2019-11-01 11:29:11
1611
1
原创 检查密码
Stephan and Sophia forget about security and use simple passwords for everything. Help Nikola develop a password security check module. The password will be considered strong enough if its length is g...
2019-10-21 17:15:40
168
原创 Ubuntu 16.04 LTS系统de组网实践
Ubuntu 16.04 LTS系统de组网实践DHCP服务DNS服务邮件服务器DHCP服务安装isc-dhcp-server：$ sudo apt install isc-dhcp-server查找目标主机的网卡名称：$ ifconfig接下来配置 /etc/default/isc-dhcp-server 文件：$ sudo vim /etc/defau...
2019-10-21 17:10:52
370
原创 Python字典的相关方法
1.update()方法：使用一个字典中的键值对来更新另一个字 典同名键值对；如果不存在键相同的项，则变为追加模式。>>> web = {'title':'python','url':'www.python.org'}>>> up = {'title':'py'}>>> web.update(up)>>> do...
2019-07-05 23:22:31
178
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人