- 博客(21)
- 收藏
- 关注
RSS订阅原创 mysql大表的解决方案，及Hive分页查询
以上是我们的解决方法，PHP人员直接调用我们的接口，不需要关心我们底层使用的什么技术（当然这个解决方法只是基于我们目前的业务场景的解决方法，不一定是最优的解决方案，但是目前给我们统计大量的数据涌进来时，提供了一定的缓冲时间），同时将可视化和底层数据剥离开，如果目前的方法达到瓶颈，再次无法满足性能的要求，后面考虑使用其他技术处理，最主要的是这次调整降低了公司的经济支出，不用被动的去升级资源配置。2.对表中数据进行了检查和审查之后，发现大数据中经常遇到的2/8定律，20%的用户占了80%的数据。
2025-02-02 05:26:48
561
原创 MySQL大表优化方案
垂直分表是对数据表进行垂直拆分的一种方式，常见的是把一个多字段的大表按常用字段和非常用字段进行拆分，每个表里面的数据记录数一般情况下是相同的，只是字段不一样，使用主键关联。这里特别强调一下分片规则的选择问题，如果某个表的数据有明显的时间特征，比如订单、交易记录等，则他们通常比较合适用时间范围分片，因为具有时效性的数据，我们往往关注其近期的数据，查询条件中往往带有时间字段进行过滤，比较好的方案是，当前活跃的数据，采用跨度比较短的时间段进行分片，而历史性的数据，则采用比较长的跨度存储。
2025-02-02 05:25:04
583
原创 FIDL：Flutter与原生通讯的新姿势，不局限于基础数据类型
外链图片转存中…(img-grJ8YOfT-1738303721419)]2、聊天页面[外链图片转存中…(img-N6uHwvJk-1738303721420)]3、发一条消息给Lucy并获取和Lucy的聊天记录[外链图片转存中…(img-wIseQO2A-1738303721420)]4、调用Android侧方法发送N条消息给Wilson并获取聊天记录[外链图片转存中…(img-a2Hu3Pke-1738303721421)]
2025-01-31 14:08:51
1642
原创 Fiddler(一) - Fiddler简介_fiddler软件
Fiddler是位于客户端和服务器端的HTTP代理，也是目前最常用的http抓包工具之一。它能够记录客户端和服务器之间的所有 HTTP请求，可以针对特定的HTTP请求，分析请求数据、设置断点、调试web应用、修改请求的数据，甚至可以修改服务器返回的数据，功能非常强大，是web调试的利器。
2025-01-31 14:07:10
808
原创 零基础如何学习 Web 安全？_web安全
Web安全的定义：保证Web环境安全，为新型互联网产品提供安全平台。攻击Web安全的手段：利用网站操作系统的漏洞和Web服务程序的SQL注入漏洞等得到Web服务器的控制权限，轻则篡改网页内容，重则窃取重要内部数据，更有甚者在网页中植入恶意代码，使得网站访问者受到侵害。攻击种类：（1）、SQL注入：即通过把SQL命令插入到Web表单递交或输入域名或页面请求的查询字符串，最终达到欺骗服务器执行恶意的SQL命令。（2）、跨站脚本攻击(也称为XSS)：指利用网站漏洞从用户那里恶意盗取信息。
2025-01-30 00:12:11
856
原创 集成ES分组查询统计求平均值
我这里因为ES服务已经升级到8.0.0了，然后ES数据查询分组，我这里需要对时间进行格式化，再聚合avg，所以客户端相关版本用的7.17.4。目前我们就是单服务的，这个配置类够用了。其实我配置类就是要把RestHighLevelClient注入，并交给spring管理。
2025-01-30 00:10:07
213
原创 最新Java开发进阶！Java进阶面试资料无偿分享_java面试最新资料
在目前流行的互联网架构中，对一个应用来说，Tomcat是首，SSM是中，JVM是尾，我们通常对于SSM是比较了解的，而忽略了首尾，而Tomcat在目前的网络编程中是举足轻重的，但是我们其实对Tomcat中很多原理性的东西不太了解，如果能够掌握Tomcat的原理，那么是非常有用的。SSM框架，是Spring + Spring MVC + MyBatis的缩写，这个是继SSH之后，目前比较主流的Java EE企业级框架，适用于搭建各种大型的企业级应用系统，也是Java程序员必须要掌握的技术。
2025-01-29 11:23:13
920
原创 最新 Android 热门开源项目公布
Firefox Fenix 是 Firefox 的下一代 Android 浏览器，未来将取代 Firefox for Android （其实 Firefox for Android 的开发早已放缓，因为 Mozilla 将更多的精力投入到 Fenix 的开发中）。上面的例子展示了 Assent 提供的简洁紧凑的基于回调的 API。mockk 提供了全面、强大的特性，可以 mock 类、对象、私有函数、协程等多种结构（Android P 之前的版本 instrumented 测试有少数特性不支持）。
2025-01-29 11:21:01
706
原创 微服务实战 原生态实现服务的发现与调用_如何发现应用的服务调用问题
上一章中，我们介绍了Eureka注册中心及集群的搭建，这一节将介绍服务的发现和调用。注意，这个时候我们只有注册中心，并没有引入其他的组件，所以需要使用SpringCloud原生态的服务发现和调用的方式实现，循序渐进的带你走入微服务的世界。上篇文章我们已经创建好了注册中心，这次我们需要创建一个服务提供者（provider）和一个服务消费者（consumer）两个项目。
2025-01-29 05:21:09
459
原创 微店的Flutter混合开发组件化与工程化架构
上述事情即可保证Flutter工程以及传递依赖的都通过pod本地依赖进Native工程了，接下来就是构建了上述两个静态库是拷贝到目录下flutter_assets拷贝到目录下在XCode工程中，对应的是在Flutter与Native通信都是双向通道，可以互相调用和消息传递接下来是本文的重点内容，上述主要是普及下Flutter工程上比较重要的内容以及为下面要讲做准备，当然还有打包模式、构建流程等就不放这里了，后面可以单独开一篇讲。
2025-01-29 05:16:57
1948
原创 勇闯BAT wait和sleep之后的线程状态是什么？它们的区别？
区别基本语义是使当前线程等待，直到被通知，默认是this.wait()。实现细节是把当前线程放入阻塞线程队列中，并把当前线程注册为指定对象的监听器，并锁释放指定对象的锁；当被notify/notifyAll通知时，重新争取指定对象的锁，并把当前线程从指定对象的监听器中移除，把当前线程从阻塞队列放入就绪队列，等待被调度。必须配合使用释放其持有的锁Object上的方法是非静态方法-可以通过notify()或方法通知唤醒。需要循环调用防止虚假唤醒问题while (!
2025-01-28 19:30:23
808
原创 动态扩容数组原理及实现
如果存放 int 类型，size-- 后，最后一个元素已经无法访问了。如果使用泛型，数组要注意内存管理（将元素置为null）。使用泛型技术可以让动态数组更加通用，可以存放任何数据类型：代码实现：/**删除index位置的元素@return*/// 1 2 3 4 5 6 (原数组)// 删除index为2的元素，元素前移// 1 2 4 5 6 (remove后的数组)// 从前往后开始移, 用后面的元素覆盖前面的元素i++) {
2025-01-28 19:28:19
822
原创 vue：slot（插槽）详解：父组件的内容放到子组件指定的位置
1、子组件中//子组件child.vue中内容首页//这里是子组件中固定部分，没用slot非固定部分 //这里是使用了slot部分，不固定，如果有给他传东西了，就会被替代，不传则保留2、父组件中首先要把这个子组件注册到父组件中，具体省略，注册完后，子组件就可以当做一个标签使用。花花花花花 //child标签之间的内容，不管是HTML元素还是文字都会全部替代child.vue中 slot标签中的内容3、结果。
2025-01-28 10:17:00
358
原创 vue项目（webpack+mintui），使用hbuilder打包app - 小小人儿大大梦想 - 博客园
dist文件夹，就是拖动进去的，A 标记是app的意思，W是web的意思。我这里是已经转为app了，所以dist文件夹以 A 标识 ，没有转换之前是 W 标识。准备好你的手机，用usb数据线连接，开启开发者模式（关于手机——>连续点击版本号，进入开发者模式），允许usb调试。“页面入口” ： 主页面，因为我是用vue开发的，所以我只有一个HTML文件，是index.html。“appid” ：右侧点击“云端获取”，要登录注册你的账号之后，点击‘云端获取’会自动给你填上。
2025-01-28 10:14:59
171
原创 Python建立sqlit数据库，写入数据软件设计_python建立一个sql,并且从一个txt文件中读取数据存入sql中,代码
【代码】Python建立sqlit数据库，写入数据软件设计_python建立一个sql,并且从一个txt文件中读取数据存入sql中,代码。
2025-01-28 02:19:15
476
原创 python封装接口自动化测试套件
from project.test_case import test_login, test_signup # 导入其他测试用例模块。from project.test_case import test_login, test_signup # 导入其他测试用例模块。response.raise_for_status() # 如果响应状态不是200，抛出异常。test_case/test_login.py：编写登录接口测试用例。
2025-01-28 02:17:12
506
原创 JDK8 和 JDK17 下基于JDBC连接Kerberos认证的Hive(代码已测试通过)_module java
之前自研平台是基于jdk8开发的,连接带Kerberos的hive也是jdk8,现在想升级jdk到17,发现过Kerberos的hive有点不一样,特地记录。KerberosUtil 无法访问类sun.security.krb5.Config (in module java.security.jgss) 因为。打开了debug后,如果是正常情况,我们能观察到控制台会打印到krb5.conf相关内容信息。写了sun.security.krb5.Config 包位于java8中的rt.jar.
2025-01-27 13:28:23
825
原创 JDBC及Mybatis常见BUG
jdbc.url=jdbc:mysql://localhost:3306/test1?useUnicode=true&characterEncoding=utf-8&useSSL=false问题解决0x02 Mybatis mapper文件找不到pass: 此处的Mybatis没有使用Spring集成报错如下：java.lang.ExceptionInInitializerErrorCaused by: org.apache.ibatis.exceptions.PersistenceException:··
2025-01-27 13:26:21
590
原创 harmony 鸿蒙安全和高效的使用N-API开发Native模块_鸿蒙native开发
鸿蒙系统开发作为当下的一个风口，对于有志于投身技术领域的小白来说是一个难得的机遇。通过深入了解鸿蒙系统的技术优势和市场前景，你将能够做出明智的选择。记住，站在风口上，猪都能飞起来，而掌握鸿蒙开发技能，或许就是你起飞的翅膀。现在就开始行动吧！
2025-01-26 23:25:11
937
原创 Hadoop集群中Hbase的介绍、安装、使用_root@master001 hadoop]# start-hbase
当HRegionServer意外终止后，HMaster会通过Zookeeper感知 到，HMaster首先会处理遗留的 HLog文件，将其中不同Region的Log数据进行拆分，分别放到相应region的目录下，然后再将失效的region重新分配，领取 到这些region的HRegionServer在Load Region的过程中，会发现有历史HLog需要处理，因此会Replay HLog中的数据到MemStore中，然后flush到StoreFiles，完成数据恢复。
2025-01-26 23:23:10
2007
原创 23篇大数据系列（二）scala基础知识全集（史上最全，建议收藏）
大部分从事大数据的工程师是先了解Spark进而再去选择学习Scala的，因为Spark是用Scala开发的。现在Spark是大数据领域的杀手级应用框架，只要搭建了大数据平台，都会大量使用Spark来处理和分析数据，而要想学好Spark，Scala这一关必须是要过的。顺便说一句，Kafka也是基于Scala开发的。众所周知，大数据生态的大部分组件都是java语言开发的。而Scala是一门基于JVM的语言，可以与java无缝混编，因此可以很好地融合到大数据生态圈。Scala的语法简洁而富有表达力，更容易掌握。
2025-01-24 04:17:07
632
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人