nidiquge的博客

原创 kettle文档

https://blog.youkuaiyun.com/DD_Rose/article/details/125683555

原创 kafka启动后没反应

kafka使用脚本启动后后台没有进程然后删除data和log目录下的所有文件开启kafka，成功解决

原创 VMnet连接不上网络

VMnet无缘无故连接不上网络搞了一天最后重启了NetWorkManager和network就好了

原创 二分法使用

二分法

原创 使用mysql“=null”的问题

select last_name, job_idfrom employeeswhere manager_id is null;select last_name, job_idfrom employeeswhere manager_id <=> Null;select last_name, job_idfrom employeeswhere manager_id = Null;最后一个 = null 是错误的如果等号两边的值、字符串或表达式中有一个为NULL，

原创 scala对文件的读写操作

import java.io.{File, PrintWriter}import scala.io.Sourceobject TestReadFile { def main(args: Array[String]): Unit = { //1.从文件中读取数据 Source.fromFile("src/main/resources/test.txt").foreach(print) //2。将数据写入文件java中的 val writer = new Print

原创 scala字符串输出操作

object Hello { def main(args: Array[String]): Unit = { val name = "lilei" val age = 16 //字符串拼接操作 println("name = " + name +".age = age") //name = lilei.age = age //*号将一个字符串多次输出 println(name * 3) //lileilileililei //printf

原创 hadoop启动时各个节点上的进程

原创 notpad++输入制表符显示四个空格

只要勾选替换为空格就行了。

原创 MySQL常见命令与语法规范

启动与关闭MySQLnet start 服务名net stop 服务名登录和退出MySQLmysql [-h主机名 -p端口号] -u用户名 -p密码--退出exit或者ctrl+cMySQL常见命令1.查看当前所有的数据库show databases;2打开指定的库use 库名3查看其它库的所有表show tables;4查看其它库的所有表show tables from 库名;5创建表create table 表名( 列名 列类型, 列名 列类型, .....

原创 java稀疏数组

稀疏数组的处理方法是:1.记录数组一共有几行几列，有多少个不同的值2.把具有不同值的元素的行列及值记录在一个小规模的数组中，从而缩小程序的规模应用实例使用稀疏数组，来保留类似前面的二维数组(棋盘、地图等等)把稀疏数组存盘，并且可以从新恢复原来的二维数组数二维数组 转 稀疏数组的思路遍历 原始的二维数组，得到有效数据的个数 sum根据sum 就可以创建 稀疏数组 sparseArr int[sum + 1] [3]将二维数组的有效数据数据存入到 稀疏数组稀疏数组转原始的二维数组

原创 python机器学习留出法与交叉验证法

# 留出法from sklearn.model_selection import train_test_splitimport pandas as pddf = pd.read_csv('iris.csv')X = df.iloc[:,1:5]Y = df.iloc[:,-1] train_X, test_X, train_Y, test_Y = train_test_split(X, Y, test_size=0.3, random_state=0)test_X.head()

原创 scp拷贝 rsync同步

scp（secure copy）安全拷贝scp -r $pdir/$fname $user@$host:$pdir/$fname命令 递归 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称rsync 远程同步工具rsync -av $pdir/$fname $user@$host:$pdir/$fname命令 选项参数 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称-a 归档拷贝

原创 idea查看类有哪些参数和构造器及其他快捷键

光标放在类中ctrl + p

原创 JAVA序列化

需要满足如下的要求，方可序列化1.需要实现接口：Serializable2.当前类提供一个全局常量：serialVersionUID3.除了当前Person类需要实现Serializable接口之外，还必须保证其内部所有属性也必须是可序列化的。（默认情况下，基本数据类型可序列化）ObjectOutputStream和ObjectInputStream不能序列化static和transient修饰的成员变量...

原创 IO流过程

输入过程1 创建File类的对象，指明读取的数据的来源（要求此文件一定要存在）2 创建相应的输入流，将File类的对象作为参数，传入流的构造器中3 具体读入过程：创建相应的byte[] 或char[]4 关闭流资源说明：程序中的异常需要使用try-catch-finally来处理输出过程1 创建File类的对象，指明写出的数据的位置（不要求此文件一定要存在）2 创建相应的输出流，将File类的对象作为参数，传入流的构造器中3 具体写出过程：write(char[]/byte[],0,len

原创 java IO流分类

原创 file三种构造器

public File(String pathname)以pathname为路径创建File对象，可以是绝对路径或者相对路径，如果pathname是相对路径，则默认的当前路径在系统属性user.dir中存储。public File(String parent,String child)以parent为父路径，child为子路径创建File对象。public File(File parent,String child)根据一个父File对象和子文件路径创建File对象...

转载 Collections工具类

Collections 是一个操作 Set、List 和 Map 等集合的工具类Collections中的常用方法排序操作：（均为static方法）reverse(List)：反转 List 中元素的顺序shuffle(List)：对 List 集合元素进行随机排序sort(List)：根据元素的自然顺序对指定 List 集合元素按升序排序sort(List，Comparator)：根据指定的 Comparator 产生的顺序对 List 集合元素进行排序swap(List，int，

原创 Java中的Map（接口）概述及常用方法，遍历操作。

Map：双列数据，类似于python里的dictionary（字典），储存key–value对（键值对）数据。主要实现类HashMap：Map的主要实现类，线程不安全，效率高，key和value可以使nullHashMap的底层： 数组+链表 （jdk7及之前） 数组+链表+红黑树 （jdk 8）LinkedHashMap：继承于HashMap类，保证在遍历map元素时，可以按照添加的顺序实现遍历。对于频繁的遍历操作，此类执行效率高于HashMap。TreeMap：保证按照添加的k

原创 Java中Array与ArrayList之间的区别

Java中Array与ArrayList之间的区别

原创 Collection中的set接口（集合）

set没有提供除Collection接口中自带的其他方法。set中不能添加相同元素，判断两个对象是否相等会调用equals()方法Set中的实现类有HashSet、LinkedHashSet、TreeSetHashSetHashSet是Set接口的典型实现，大多数时候使用Set集合时都使用这个实现类。HashSet按照Hash（哈希）算法来储存元素，便于增删改查。HashSet不保证元素的排列顺序，线程不安全，集合元素的值可以是nullHashSet集合判断两个元素相等的标准：两个对象通过ha

原创 关于list中remove重载

list中定义了两种removeboolean remove(Object obj)：用equals方法查看集合中是否包含obj，若存在则将其删除，并返回true，不存在返回false，只会删除第一个元素Object remove(int index):移除指定index位置的元素，并返回此元素他们的参数不同public class ListTest { @Test public void ListTest1(){ ArrayList<Integer> i

原创 UnsupportedOperationException用list报错

问题描述：学习List的过程中调用list的remove的方法出现了如下的错误：出现问题的代码add方法也有相同的问题@Override @Test public void ListTest(){ List<Integer> iList = Arrays.asList(1, 2, 3); iList.remove(2); } 原因分析：查看Arrays的asList方法：此方法new了一个ArrayList类 publi

原创 ArrayList LinkedList Vector

JDK1.0时候就有了Vector类，JDK1.2版本推出了List接口和ArrayList与LinkedList实现类，现在Vector不怎么使用。ArrayList和Vector底层使用Object[]存储LinkedList底层使用双向列表存储，对于平凡使用插入、删除操作的话效率更高ArrayList线程不安全，所以效率高Vector线程安全，所以效率较低...

原创 Iterator迭代器的使用与foreach循环

public class CollectionTest { @Test public void CollTest(){ //初始化集合 Collection<String> collection = new ArrayList(); collection.add("aa"); collection.add("aa"); //初始化迭代器 Iterator<String> iterator = co

原创 Collection集合常用方法List

add(Object obj)：将obj添加到当前集合中addAll(Collection coll)：将coll添加到当前集合中int size()：获取collection中的元素个数void clear()：清空集合boolean isEmpty()：检查数组是否为空boolean contains(Object obj)：检查集合中是否包含obj，会调用类的equals方法，所以部分自定义的类需要重写equals方法boolean containsAll(Collection c)：检查

原创 实现Comparable接口，重写compareTo，comparator类

public class Goods implements Comparable{ private String name; private int price; public Goods(String name, int price) { this.name = name; this.price = price; } @Override public String toString() { return "

原创 python爬取图片

import requestsfrom bs4 import BeautifulSoupurl = "https://umei.net/bizhitupian/meinvbizhi/yangyanmeinv.htm"resp = requests.get(url)resp.encoding = "utf-8"page = BeautifulSoup(resp.text)alist = page.find('div',class_="TypeList").find_all('a')for a i

原创 python爬取新发地菜价

import requestsfrom bs4 import BeautifulSoupimport csvurl = "http://www.xinfadi.com.cn/marketanalysis/0/list/1.shtml"response = requests.get(url)page = BeautifulSoup(response.text)table = page.find('table',class_="hq_table") #class是python的保留字，所以要在cl

原创 Java关于时间的其他类

ZoneId：该类中包含了所有的时区信息，一个时区的ID，如 Europe/ParisZonedDateTime：一个在ISO-8601日历系统时区的日期时间，如 2007-12-03T10:15:30+01:00Europe/Paris。其中每个时区都对应着ID，地区ID都为“{区域}/{城市}”的格式，例如：Asia/Shanghai等Clock：使用时区提供对当前即时、日期和时间的访问的时钟。持续时间：Duration，用于计算两个“时间”间隔日期间隔：Period，用于计算两个“日期”间隔

原创 关于时间日期的DateTimeFormatter类

使用该类需要import java.time.format.DateTimeFormatter该类常用自定义日期格式的方法ofPattern(“yyyy-MM-dd hh:mm:ss”)DateTimeFormatter formatter3 = DateTimeFormatter.ofPattern("yyyy-MM-dd hh:mm:ss"); //格式化 String str4 = formatter3.format(LocalDateTime.now());

原创 simpledateformat类来格式化和解析date对象

import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.Date;public class DateTest{ public static void main(String[] args) throws ParseException { //实例化simpledateformate对象 SimpleDateFormat simpleDateFormat

原创 对字符串中字符进行自然顺序排序

1）字符串变成字符数组。2）对数组排序，选择3）将排序后的数组变成字符串。public class Train5 { public String SortString(String str){ String resultString = ""; char minNum = ' '; int indexMinNum = 0; char swap = ' '; char[] a = str.toCharArray(.

原创 获取两个字符串中最大相同子串。

方法一：该方法通过三次循环遍历s1与s2的字串并相比较获得相同字串，public class Train4 { public String MaxSubString(String s1,String s2){ //s2长度较短 String resultString = ""; if(s1.length() < s2.length()){ String s3 = s2; s2 = s1;

转载 String方法

int length()：返回字符串的长度： return value.lengthchar charAt(int index)： 返回某索引处的字符return value[index]  boolean isEmpty()：判断是否是空字符串：return value.length == 0String toLowerCase()：使用默认语言环境，将 String 中的所有字符转换为小写String toUpperCase()：使用默认语言环境，将 String 中的所有字符转换为大写Str

原创 String,StringBuffer,StringBuilder关系Java

String不可变字符序列，底层的char型的数组，JDK1.9之后改为byte型的数组。StringBuffer可变的字符序列，线程安全。StringBuilder可变字符序列，线程不安全，所以效率较StringBuffer高。为什么JDK1.9中String采用byte[]进行储存.StringBuffer和StringBuilder都继承于AbstractStringBuilder类，都实现了Serializable, Comparable, CharSequence接口，里面方法相同，不过S

原创 char[],string,byte[]之间的转换

String与char[]:String str1 = "Hellow world";char[] c = str.toCharArray(str);char[] arr = new char[]{'h','e','l','l','o'};String str2 = new String(arr);System.out.println(str2);String与byte[]：（编码与转码）String str1 = "abc123中国";byte[] bytes = str1.getBy

原创 java字符串详解2

String s1 = "hello";String s2 = "world";String s3 = "helloworld";String s4 = "hello" + "world";String s5 = s1 + "world";String s6 = "world" + s2;String s7 = s1 + s2;System.out.println(s3 == s4);//trueSystem.out.println(s3 == s5);//falseSystem.ou

原创 java字符串详解

String:字符串，使用一对""引起来表示。1.String声明为final的，不可被继承2.String实现了Serializable接口：表示字符串是支持序列化的。实现了Comparable接口：表示String可以比较大小3.String内部定义了final char[] value用于存储字符串数据4.String:代表不可变的字符序列。简称：不可变性。体现：1.当对字符串重新赋值时，需要重写指定内存区域赋值，不能使用原有的value进行赋值。2. 当对现有的字符串进行连接操作时