weixin_46005650的博客

原创 mysql 中查看表、字段的编码格式

mysql查看表字段，修改表字段

原创 使用flink写一个计算地铁日流量的代码demo

使用flink写一个计算地铁日流量的代码

原创 5秒生成一个复杂json格式的订单信息，并将该订单信息发送到kafka，参考代码：

5秒生成一个复杂json格式的订单信息，并将该订单信息发送到kafka

原创 datax同步oracle数据到hbase，hbase的rowkey使用hash生成

其中，reader参数表示Oracle Reader插件的配置信息，包括Oracle数据库连接信息、要同步的表和列等；writer参数表示HBase Writer插件的配置信息，包括HBase数据库连接信息、要同步的表和列等；rowkeyColumn参数表示作为HBase行键的列名；rowkeyGenerateScript参数表示自定义脚本的路径。在DataX的作业文件中，需要配置Oracle Reader插件，指定Oracle数据库的连接信息、要同步的表和列等参数。自定义脚本生成hash rowkey。

原创 hive数据同步到hbase或hbase数据同步到hive参考代码

hive数据同步到hbase或hbase数据同步到hive参考代码

原创 hive数据同步到oracle或oracle数据同步到hive参考代码

hive数据同步到oracle或oracle数据同步到hive参考代码

原创 redis结构类型和使用方法

可以存储任何类型的数据，例如普通字符串、数字、序列化的对象等。有序集合是 Redis 中用来存储有序唯一数据的数据结构类型，每个元素都有一个分数，可以按照分数进行排序。集合是 Redis 中用来存储无序唯一数据的数据结构类型，类似于一个无序的数组，每个元素都是唯一的。列表是 Redis 中用来存储有序数据的数据结构类型，类似于一个数组，可以在头或尾添加或删除元素。散列是 Redis 中用来存储对象的数据结构类型，类似于一个关联数组，由键值对组成。5.有序集合 (Sorted Set)4.集合 (Set)

原创 SQL和MongoDB对比

sql和mongodb比较

原创 在centos下启动nginx出现Failed to start nginx.service:unit not found

或者用命令在根目录下执行:# vim /etc/init.d/nginx (注意vim旁边有一个空格)# chkconfig --add nginx (注意add前面是两个短横线-)在/root/etc/init.d/目录下新建文件，文件名为nginx。错误的原因就是没有添加nginx服务，所以启动失败。2. 插入以下代码。3. 用命令进入此目录。4. 依此执行以下命令。5. 开启nginx。

原创 永久解决MySQL时区问题:Server returns invalid timezone. Go to ‘Advanced‘ tab and set ‘serverTimezon

前言连接MySQL的时候动不动就提示个Server returns invalid timezone. Go to ‘Advanced‘ tab and set ‘serverTimezon，一般就是MySQL时区没设置，接下来教大家3种解决方法。方法一：1.检查MySQL设置时区：Win+R打开运行输入cmd然后确定，打开cmd窗口连接数据库，输入mysql -hlocalhost -uroot。mysql出现invalid timezone的解决方法。

原创 systemctl status network.service命令，Failed to start LSB: Bring up/down networking.完美解决

连接不上虚拟机

转载 【git】.gitignore 忽略target、.idea文件夹等

git 管理

原创 Hive常见问题

hive内部表外部表的区别，hive的常用函数，hive的优化

原创 大数据学习大杂烩

大数据

原创 hdfs小文件的处理方法

hdfs处理小文件过多

原创 大数据领域建模综述

数据模型

原创 Error: Could not open client transport with JDBC Uri: jdbc:hive2://hadoop102:10000: Failed to open..

在hive目录下使用beeline命令：bin/beeline -u jdbc:hive2://hadoop102:10000 -n fei具体的报错信息如下所示：22/04/10 01:13:24 [main]: WARN jdbc.HiveConnection: Failed to connect to hadoop102:10000Error: Could not open client transport with JDBC Uri: jdbc:hive2://hadoop102.

原创 Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

初始化deaby数据库时，在hive根目录下，使用/bin目录中的schematool命令初始化hive自带的Derby元数据库。bin/schematool -dbType derby -initSchema出现jar包冲突的问题SLF4J: Found binding in [jar:file:/opt/module/hive/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class]SLF4J:

原创 使用IDEA连接linux服务器

目录1.进图IDEA中，点击Tools，点击Deployment，点击Browse Remote Host2.在IDEA右侧弹出的框框中点击三个小点的图标3.接着点击+，选择SFTP协议4.弹出的对话框，输入一个名称可以是随意的，这里为了好区别，我使用服务器的名称同名5. 点击OK，接着Type选择的是SFTP，点击三个小点图标6.从上到下一次输入服务器主机名、用户名和密码7.点击Test Connection,出现方框中内荣成功一半！8.点击OK，点击Test Con...

原创 SQL parse failed. Encountered “result“ at line 1, column 28.Was expecting one of:

在使用flink的TableAPI和SQL写一个sql语言时，出现如下错误：Exception in thread "main" org.apache.flink.table.api.SqlParserException: SQL parse failed. Encountered "result" at line 1, column 28.Was expecting one of: "LATERAL" ... "TABLE" ... "UNNEST" ... <...

原创 如何编写一个MapReduce程序统计每个单词出现次数

1.准备资料1.导入相关依赖 <dependencies> <!--hadoop相关依赖--> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>3

原创 flink提交任务Server Response Message:Internal server error执行任务Caused by: java.net.ConnectException: 拒绝连接

flink提交任务Server Response Message:Internal server error执行任务Caused by: java.net.ConnectException: 拒绝连接

原创 Xshell不能连接到Centos，虚拟机中不能ping外网的解决方案

1.使用Xshell连接虚拟机出现如下问题，连接不上Host 'hadoop104' resolved to 192.168.10.104.Connecting to 192.168.10.104:22...Could not connect to 'hadoop104' (port 22): Connection failed.Type `help' to learn how to use Xshell prompt.2.进入虚拟机：ping www.baidu.com3.连.

原创 运行Hadoop的mr程序:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String；I)Z

在运行Hadoop的MapReduce程序时出现org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z解决方法：找到自己Hadoop文件夹的家目录，打开bin文件夹，复制hadoop.dll文件到C:\Windows\System32下，重新编译运行代码，好运。public class WordCountDriver { public static void main(String[]

原创 Java抽象类为什么能实例化？

在学习Java网络编程的时候，我们都写过如下代码：Socket socket = new Socket("127.0.0.1",9000); OutputStream outputStream = socket.getOutputStream();很显然OutputStream是一个抽象类，则=右边应该是OutputStream的一个子类。然而socket.getOutoutStream()返回类型也是OutputStream类型的。这一看似不符合语法要求的写法其实是没有问题的。

原创 对List列表添加元素出现Exception in thread “main“ java.lang.UnsupportedOperationException

在将数组元素转化为列表的过程中，可以使用如下的代码：String[] s = {"a","b","c","d"};List<String> list = Arrays.asList(s);list.add("e");但是执行list.add("e")的时候出现错误，Exception in thread "main" java.lang.UnsupportedOperationException at java.util.AbstractList.add(AbstractL...

原创 Java实现将字符串全部反转

Java实现将字符串反转的方法。1.将字符串转化为char类型的数组2.定义临时变量3.遍历4.将char类型的数组转化为字符串public class ReverseString { public static void main(String[] args) { //将字符串进行反转 String s = "数字123字母qwe特殊符号__-- -—*^~—+=2@#"; System.out.println(reverse

原创 Response to preflight request doesn‘t pass access control check: No ‘Access-Control-Allow-Origin‘ he

出现Access to XMLHttpRequest at 'http://localhost:8201/admin/hosp/hospitalSet/3/0' from origin 'http://localhost:9528' has been blocked by CORS policy: Response to preflight request doesn't pass access control check: No 'Access-Control-Allow-Origin' heade

原创 使用Spring Initializr创建SpringBoot项目出现Cannot download ‘https://start.spring.io‘: connect timed out

如上面使用Spring Initializr快速构建项目的过程中使用default的url，点击next出现如下错误解决方法：不使用默认的url，在Custom的输入框中输入 https://start.springboot.io/

原创 Springcloud服务注册到Eureka上遇到com.sun.jersey.api.client.ClientHandlerException: java.net.ConnectException

今天将一个微服务模块入驻eurekaServer的过程中出现了下面的错误。com.sun.jersey.api.client.ClientHandlerException: java.net.ConnectException: Connection refused: connectcom.netflix.discovery.shared.transport.TransportException: Cannot execute request on any known server。

原创 解决请求使用“post“请求乱码，Artifact springmvc:war exploded: Error during artifact deployment. See server log.

今天在通过使用实体类型的形参获取请求参数的过程中。我写了如下的代码：1.一个bean类public class User { private Integer id; private String username; private String password; private Integer age; private String sex; private String email; public User(Integer id, S

原创 Intellij IDEA的一些配置

1.设置在IntelliJ IDEA启动时不打开上一个项目2.自动导入需要的Java包和删除不需要的包3.idea新建的包不是逐级展开的

原创 修改了etc/environment文件中的内容导致ubuntu不能开启

在配置环境的过程中，因为修改了etc/environment文件中的内容，导致重启Ubuntu导致一直卡在登录界面不能进去。解决方法：1.启动ubuntu虚拟机，按快捷键ctrl+alt+f6进入DOS页面2.输入登录虚拟机的用户名，密码3.使用指令/usr/bin/sudo /usr/bin/vim /etc/environment打开/etc/environment文件。如果没有安装vim，还可以使用/usr/bin/sudo /usr/bin/vi /etc/environment打开

原创 使用Xshell连接linux的虚拟机出现Could not connect to ‘192.168.64.128‘ (port 22):Connection failed.参考解决办法

今天在首次尝试使用Xshell 7连接unbuntu虚拟机的过程中，果不其然出现了Could not connect to '192.168.64.128' (port 22):Connection failed的问题；无法获得锁 /var/lib/dpkg/lock-frontend，锁正由进程3183（unattended-upgr）持有的问题。SSH服务器拒绝了密码，下面是我的解决步骤。1.进入虚拟机执行ps-e|grep ssh我的只有一条记录意思是只有client端安装了ssh.

原创 解决idea每次创建新项目，maven管理的仓库还是在C盘下的问题

原创 查看IntelliJ IDEA 用户插件存放路径

C:\Users\"用户名"\AppData\Roaming\JetBrains\IdeaIC2020.3\plugins

原创 完美解决‘telnet‘ 不是内部或外部命令，也不是可运行的程序或批处理文件。

今天在cmd下运行telnet 127.0.0.1 6666出现如下错误。下面是解决方法。步骤1：打开控制面板，进入程序和功能步骤2：点击启用或关闭Windows功能步骤3：将Telnet客户端选中，点击确定稍等片刻出现如下情况，说明配置成功回到cmd下输入telnet 127.0.0.1 6666进入如下界面，说明配置成功！问题解决。...

原创 自定义B站视频播放速度

自定义B站视频播放速度

原创 Redis数据库的底层数据结构

Redis数据库里面的每个键值对都是由对象组成的。其中数据库键只能是字符串对象，数据库键的值可以是以下五种：字符串对象、列表对象哈、希对象、集合对象和有序集合对象。这些对象使用的底层数据结构有：简单动态字符串（simple dynamic string）、链表、字典、跳跃表（skiplist）、整数集合（intset）、压缩列表。 简单动态字符串...

原创 解决HTTP method POST is not supported by this URL的问题

在学习SpringBoot整合Servlet三大组件的过程中。我首先自定义了一个Servlet继承自HttpServlet，代码如下：@Componentpublic class MyServlet extends HttpServlet { @Override protected void doGet(HttpServletRequest req, HttpServletResponse resp) throws ServletException, IOException {