ilyomind的博客

原创 聊一聊你心目中的大数据工作

原创 数据要素交易蓝图，推动数据价值实现

数据客户，希望通过行业信息，企业信息，农业数据，工商信息，电商数据，知识信息，专利数据等等，各个方面数据，实现配置优化，模型训练，辅助决策等等数据需求，来提高企业竞争力和抗风险能力。数据经纪人，对数据厂商提供的数据，进行合规和价值评定，从推动数据交易，提供合规数据产品，通过技术创新，实现数据资产的价值管理，推动数据资产流通。数据交易经纪人，为推动数据资产，数据产品的流通，交易，提供居间、行纪的数据经纪服务，推动数据交易落地，推动数据价值变现。数据流通，是数据价值实现的必然之路。感兴趣关注我，私聊。

原创 NIO选择器selector的使用详解---实现文件传输功能

什么是选择器Selector 选择器是NIO技术的核心组件（缓冲区Buffer、通道Channel、选择器Selector）之一。选择器的主要作用是使用1个线程新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：全新的界面设计 ，将会带来全新的写作体验；在创作中心设置你喜爱的代码高亮样式，...

原创 详细解析堆排序java实现

堆排序的详解一、堆是什么二、最大顶堆和最小顶堆三、堆排序的思想四、堆排序的java实现和详解一、堆是什么堆是一种数据结构，一般用一个数组表示，比如int[]。堆与数组的区别是： 堆的下标表示是由三个组成，分别是 n，2n+1，2n+2 其中n称为父节点，2n+1称为左子节点，2n+2称为右子节点。由于堆结构，把数据规划成一个图，类似树形结构 ，跟完全二叉树类似，所以，一个堆结构中，也...

原创 MCP协议java开发的servers，已开源

访问地址:mcp-server-java

原创 有对分布式软件研发感兴趣的朋友吗？

期望有更多的人加入到大数据开发的行业

原创 国产化适配，主要适配哪些方面？

原创 刚入职大数据岗位，不知道做啥怎么办？

工作有计划地推进，就可以有更多的生活时间，以上状态缺一不可，生活的幸福和精彩，让工作效率更高。饭点跟老同事一起，了解公司附近餐饮，同时可以请教一些问题，了解公司相同岗位的人的工作状态，以便于，调整自己状态，更快适应新环境。对于自己已经尽力学习，仍然看不懂的技术问题，跟资深同事请教，一般都会教你，除非你不积极，慢慢拖得时间久了，没人愿意搭理你。大数据岗位，由于不同公司用的软件可能差异比较多，所以首先要了解项目需要的技术栈，查漏补缺，提高自己能力，学习新技术。新人入职，主动了解老同事是做什么的，才能协作。

原创 悄悄告诉你，35岁不会被裁的程序员

然而，也需要注意到，大数据领域对人才的需求也在不断变化和提升，因此，学生需要不断学习和提升自己的技能和知识，以适应行业的发展需求。大数据方向，根据你的努力程度，都有相对应的岗位。35岁并不是大数据专业的上限，大数据是需要深耕的行业，年龄越大积累越多，新技术，新知识，只有年龄大的才能更快掌握，新人对大数据理解有限，需要资深的工程师给予指导。35岁并不是大数据专业的上限，大数据是需要深耕的行业，年龄越大积累越多，新技术，新知识，只有年龄大的才能更快掌握，新人对大数据理解有限，需要资深的工程师给予指导。

原创 Github代码贡献流程

原创 数据科学基石：解析属性类型体系——从标称到比率，全面洞察数据分类机制

本篇文章致力于系统阐述数据科学领域内关键的属性类型概念，从标称属性的独特地位，到序数属性的分级原则，直至区间属性与比率属性的量化标准，旨在为研究者与从业者提供一份详实且严谨的专业指南。值得注意的是，标名属性虽不能反映数值意义上的大小关系，却是数据清洗、预处理环节中不可或缺的元素，对于后续的数据分析流程有着举足轻重的影响。典型示例包括学术评级、满意度调查结果等，其中的“优秀”、“良好”、“合格”、“不合格”等描述体现了明确的等级观念，但具体的分数间隔并未规定，这为数据解读留出了更大的灵活空间。

原创 大数据开发进阶的方法是什么？

原创 高级大数据开发学习路线指南

掌握大数据技术是一项系统性工程，涉及到广泛的技能和专业知识。

原创 高级大数据开发协会

知识星球——高级大数据开发协会

原创 centos7 安装OpenLDAP2.5.6遇到的问题

解决： 使用slapd.ldif.default文件，修改官网quick start里需要设置的mdb和dc相关参数，使用这个文件初始化mdb就行。原因： 初始化MDB时，未使用安装生成的默认slapd.ldif文件，按照官网，单独写了一个ldif文件，少了部分内容。升级openssl版本为1.1.1w。

原创 关于人工智能发现方向的畅想

深度学习模型的分布式计算和算法优化，开启了大模型时代。各行各业开启了自己的适配与探索。初步大模型的应用成了AI2.0时代技术代表。区块链+大模型，大模型与大模型相链接，共享信息，同时不可互相更改，组成超大通用模型，解决多领域信息共享问题。从而迈入大智能时代。各行各业发现自己的领域模型，基于物联网的智能终端推动生产力的飞跃。2.AI Agent时代 50年。3.大智能时代 100年。4.可能的时代 300年。1.AI 2.0时代。

原创 2022年Shell获取当前周数和java获取当前周数不一致问题

【代码】2022年Shell获取当前周数和java获取当前周数不一致问题。

原创 Linux里得conda虚拟环境使用pip安装都包不可用-解决方法(实用，conda4.6+)

conda进入虚拟环境后，使用pip安装了某个包，在使用命令时，报错no such file。。。。

原创 移动端如何使用视口viewport(最实用)？

概述首先，视口的作用，请自行查资料。下面讲一下我的理解和使用心得。使用场景如果你的ui给你的设计稿是720px的宽度的页面，甚至更大宽度的页面。这个时候你的viewport应该怎么设置，才能保持样式不变，保证你的页面跟设计效果一样？实践使用心得如果你设置了如下内容假如你的手机只有360px，这个时候，你可以设置的...

原创 如何在技术海洋里找到适合自己的方向？

1.前端开发前端开发是一个细致而且琐碎的工作。你需要根据业务需求频繁地调整页面的细节。你得非常细心，而且有喜欢主动使页面更精美兴趣。加班比较多。2.后端开发后端开发多是重复性开发，说白了就是苦力活，抽象能力很重要，一个好的开发，是要会偷懒的，偷懒才能促进开发能力的增长和减少重复工作。加班相对少。3.大数据开发大数据开发，需要你不断地学习理论知识，而且需要你有学习新的软件的使用能力。实际开发中代码量很少，更多的是优化，从理论上，去探索解决问题的方法。说简单点，就是要学会看各种软件的官网，并且能看

原创 关于Flink1.14 FlinkCEP为什么打印不出数据的原因（附可用代码）

实用代码，解决FlinkCEP样例代码不打印数据的问题

原创 从Spark源码分析如何使用antlr4解析SQL(一)

明确antlr4做了什么工作1.有两个语法文件：SqlBaseLexer.g4和SqlBaseParser.g4这两个文件在Spark源码的目录是：spark/sql/catalyst/src/main/antlr4/org/apache/spark/sql/catalyst/parserSpark SQL最新的源码地址：https://github.com/apache/spark/tree/master/sql​2.两个语法文件的作用：Lexer用来规定所有的关键字；Parser用来规定SQL语

原创 echarts实现radar图点击拐点显示当前数据--不用改源码

一、实现原理1.在事件方法里获取点击的数据的下标2.setOption会增量更新图标3.设置拐点的范围宽度，这里是设置了透明的边框，来增加点击范围二、Option代码option = { title: { text: 'Basic Radar Chart' }, legend: { data: ['Allocated Budget'] }, tooltip: { show: false, triggerOn: 'mousemove', f

原创 Presto编译问题解决

编译presto-docs报错异常信息：Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.6.0:exec (run-sphinx) on project presto-docs: Co mmand execution failed.: Process exited with an error: 127 (Exit value: 127) -> [Help 1]分析原因：这个插件调用shell脚本build，bu

原创 httpd:AH01762解决方法

异常信息AH01762: Failed to create shared memory segment on file /run/httpd/authdigest_shm解决方法在httpd.conf中添加以下参数：DefaultRuntimeDir logs/

原创 flink程序设置kerberos认证——专业实用版

flink程序提交命令flink run -d -m yarn-cluster \ -yD security.kerberos.login.keytab=/path/your/user.keytab \ -yD security.kerberos.login.principal=your@HADOOP.COM \ -c com.your.class.Nameflink on yarn认证原理将keytab文件自动上传hdfs，由yarn管理，分发给每个executor缓存token，定

原创 关于flink on yarn只能提交一个job的问题

问题：第一个任务正常，随后的任务提交一直显示container分配成功后，没有启动task。仔细对比发现，两个任务的taskmanager的rpc端口一样。解决方法：官网解释如下：在使用cluster模式时，如果使用per job模式，不能手动设置cluster.id，每次提交任务时，会自动生成。检查配置参数，不要配置cluster.id就会解决...

原创 Hadoop3单个HA集群配置使用viewfs

viewfs的特点可以使用类似linux系统的挂载表，映射集群和hdfs文件系统的路径。例如：将/user/ 映射到集群cluster-1，将/data映射到cluster-2.在实际操作中，只需要直接使用hdfs dfs -ls /data 访问的就是集群cluster-2中目录。增加Nfly系统，可以链接一个目录到多个目录，实现同时写入多个文件系统。例如配置如下，当执行命令： hadoop fs -touchz viewfs://global/ads/z1 会在以下的目录中分别创建一个z1文件

原创 Spark sql 连续join次数太多导致内存溢出

通过一次内存溢出问题，教你使用jvisualvm来分析堆存储文件。spark多次join导致内存溢出，java.lang.OutOfMemoryError: Java heap space at java.util.Arrays.copyOf(Arrays.java:3332) at java.lang.AbstractStringBuilder.expandCapacity(AbstractStringBuilder.java:137)。

原创 thymleaf select if判断

在bootstrap中使用thymleaf注意： 使用th:object时，需要将user对象放入model里，会生成默认值等于user对象里的默认值@RequestMapping("/adduser") public String toAdd(Model model) { User user = new User(); model.addAttribu...

原创 解决idea2019.3下载不了jar的问题

更新maven版本，然后重启，就可以了，报错一直显示的是解析不了maven仓库的地址，应该是新版本更换了解析方式，更新版本后就好了，我用的是3.2.1，更新成3.6.3就好了，也不知道改了啥。...

原创 大白话理解什么是概率分布---绝对最好理解

大白话百度词条里定义了，概率分布是指用于表述随机变量取值的概率规律。那么问题来了，啥是随机变量啊，啥是概率规律啊。我们知道有个掷骰子的例子，结果有六种，1,2,3,4,5,6等，所谓随机变量X，就是表示事件发生的结果的用数字表示，其取值就是1,2,3,4,5,6等六个值，而这些值发生的概率相当于Y，概率分布就是指Y和X直接的函数关系，投影到坐标系，就是分布情况，也就是概率规律。栗子连续抛两次...

原创 在centos7上使用本地库方式离线安装cdh5

一、环境配置1、前提准备已配置静态ip准备一个完整的跟当前系统一样的，系统镜像iso文件：centos下载下载需要的cloudera manager的rpm包：下载链接下载cdh的parcel包：下载链接下载mysql的安装包：下载链接准备mysql的连接包：mysql-connector-java2、配置hosts将所有需要的机器安装如下格式配置到hosts文件中：1.1...

原创 spring4 ssm整合quartz，单定时任务

这种配置方式，只适合在项目添加后台定时任务。1.添加maven依赖<!-- quartz--> <dependency> <groupId>org.quartz-scheduler</groupId> <artifactId>quartz</artifactId> <ver...