qq_42155078的博客

原创 Kafka增加SSL安全验证Java客户端连接

第二步第三步第四步第五步第一小步第二小步第三小步第四小步第六步

转载 k8s日常问题总结

错误信息：0/1 nodes are available: 1 node(s) had taints that the pod didn't tolerate.解决方式：是因为默认kubernetes默认不让pod部署到master节点，但是我在测试环境只有一个节点也是master节点，需要允许master节点部署podkubectl taint nodes --all node-role.kubernetes.io/master-禁止方式：kubectl taint nod

原创 Hive 开窗函数 rows between current row and unbounded following 的使用

1.rows between的作用在使用hsql完成一些业务需求的时候,我们经常会用到窗口函数,某些场景下会涉及到需要控制窗口函数的范围来满足业务需求,这个时候就需要用到rowsbetween了,使用rows between可以根据自己的需求任意的控制窗口函数的范围。2.模拟数据，建表create external table if not exists t_sale_info(sid bigint, day_time string, sales_volume bigin

转载 springboot打成jar包后文件下载问题

首先springboot项目使用内置tomcat打成jar包后如果将文件放在resource下 需要使用 如下方式读取因为打成jar包后资源文件是在jar包里的，通过File获取资源绝对路径是不能访问到jar包里面的，因此使用ResourceLoader去获取文件。public List<CountryInfo> countryInfo() { ArrayList<CountryInfo> list = new ArrayList<>();

转载 Python爬虫爬取网页数据

本篇文章介绍爬虫爬取某租房信息数据，数据仅用于学习使用无商业用途。首先在Python Console 控制台中安装requests、parsel模块，requests发送网络请求获取数据，parsel用于对数据源进行解析。pip install requestspip install parsel下面开始实操代码：import requestsimport parsel# file = open("C:\\Users\\AUSU\\Desktop\\租房数据.txt", "a"

原创 利用Spark算子解决问题

1、统计年级排名前十学生各科的分数 [学号,学生姓名，学生班级，科目名，分数]object test1 { def main(args: Array[String]): Unit = { val conf: SparkConf = new SparkConf().setAppName("sql").setMaster("local") val sc = new SparkContext(conf) val scoreRDD: RDD[String] = sc.text.

原创 Spark实现PI圆周率计算

1.采用蒙特卡洛概率的方法计算Pi圆周率以中心点为圆心，圆的半径为1，圆的面积之比与正方形的面积之比为：π/4那么我们可以通过落入圆形中的点数占的比例来估计π的值利用Spark进行代码实现：object Demo13_Pi { def main(args: Array[String]): Unit = { val list: Seq[Int] = 0 to 1000000 //创建spark 环境 val conf: SparkConf = new Spark

原创 Hbase知识图谱

原创 SQL和Hive中HQL问题

在Mysql中做SQL语句：列出薪金比“SMITH”多的所有员工。select ename,sal from emp where sal >( select sal from emp where ename='SMITH' );但是在Hive中不支持where 在where 后面接 >子查询where sal > (select .....)在Hive中语法上不支持的,Hive上如何解决这样的HQL采用将两表关联的做法,然后比较大小

原创 Hive的分区和分桶

1.Hive的分区分区的概念和分区表： 分区表指的是在创建表时指定分区空间，实际上就是在hdfs上表的目录下再创建子目录。 在使用数据时如果指定了需要访问的分区名称，则只会读取相应的分区，避免全表扫描，提高查询效率。Hive的分区分为静态分区和动态分区两种方式：1）静态分区首先创建分区表create table students_pt(id bigint,name string,age int,gender string,clazz string)PARTITIONED B

原创 数据查询接口Springboot

需求：1、使用微博数据提供数据查询接口，通过微博编号查询微博，将热门数据缓存到redis中基于Spring的网页端口查询，MVC分层构架数据库数据1001 【#蛇头将孩子扔过美墨边境墙#】最近一段时间以来，不断有非法移民前往美墨边境，试图闯关入境美国。而这背后反映出的是“蛇头”贩卖人口活动的猖獗，“蛇头”指的是那些帮助他人非法越境，并从中牟利的人。美国政府3月31日公布的一段画面显示，一名“蛇头”直接爬上边境墙，把两个孩子扔到了美国一侧1002 #扫黑纪录片看傻了#把纪录片看完惊...

原创 JDBC用户管理系统

模拟学生管理系统，代码分为三个层面，其中业务包括，注册，登录，删除，修改UserContralor 控制层 /** * 登录 */ public void login(){ System.out.println("请输入用户名："); Scanner sc = new Scanner(System.in); String username = sc.next(); System.out.println(

原创 Maven安装文档

大数据学习中Maven的安装文档1.下载Maven安装包并解压，记住Manven的安装路径2.打开maven解压路径找到maven中的setting.xml文件,管理maven中的依赖文件,对于已经下载后的依赖下次再使用时直接从本地导入,节约资源找到<localRepository><localRepository> 所在的位置 ,默认处于注释状态, 中间放入本地存储依赖的位置.3.打开Idea的Setting，找到Build，Execution一栏中找到Ma

原创 Java文件拆分

需求：有一个文件,对文件拆分,按照256的char进行拆分,允许超出10%溢出范围例如:一个文件516char,理论说拆分3个 1个256 1个256 1个4最后一个会造成资源的,最后剩余的在256的10%的范围内,写入到前一个文件中思路：对于字符溢出 256*10%=26；256+26=282；设置字节数组大小为282，对读取满和读取不满另作分析；public static void main(String[] args) throws Exception{ Inp

原创 网络编程中的两种传输方式

方式1：UDP网络传输需求：通过ip与端口号进行数据传输，在传输过程中有一方输入“bye”则结束数据传输。SendMessages；public static void main(String[] args) throws Exception{ DatagramSocket ds = new DatagramSocket(9999); Scanner sc = new Scanner(System.in); while(true){

原创 JAVA对于数据分类聚合

对于大数据的处理使用java编写分类聚合代码张三 18 男 高三一班 李四 19 男 高三二班 张三 18 男 高三三班 张三 18 男 高三四班 张三 18 男 高三五班 李四 18 男 高三六班 李四 18 男 高三七班 李四 18 男 高三八班 李四 18 男 高三九班 李四 18