- 博客(676)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 python 通过 Flask 实现 接口demo
教育的力量大于天赋的力量。The power of education is greater than the power of genius. -------伏尔泰目录准备条件windows版 无参请求 有参get请求Linux版(这里用的CentOS)后台运行准备条件1.肯定你得先有python2.然后你得有flask （没...
2020-01-07 18:38:12
2120
1
原创 电商项目框架选择
接下来，我就要用生动形象的语言以及苍白无力的技术给大家描述一下京东官网的 制作。先来个自我介绍，我是一位在京东工作了3年的java程序员。毕业于麻省理工大学计算机系。不说出来你可能觉得我不流弊，可能不会看我的博客。接下来给大家讲讲，我是怎么写京东的。 首先要知道，我做的是什么，电商平台，电商平台会遇到的问题，访问量超级大，需要高并发，高可用的特性。为了解决这个问题，...
2019-06-16 18:56:16
1963
4
原创 容器访问某个链接中断后面又正常，socket
摘要： 在K8s集群压测HBase服务时发现间歇性断连问题。排查发现Pod资源未耗尽且本地ECS访问正常，最终定位为K8s Pod的TCP连接数达到27k上限且TIME-WAIT状态连接未释放。通过调整内核参数解决：启用tcp_tw_reuse加速端口复用、缩短tcp_fin_timeout至30秒，并关键设置tcp_max_tw_buckets=5000限制最大TIME-WAIT连接数。解决方案通过Pod的securityContext.sysctls配置实现，优化后连接回收效率提升，断连问题消失。
2025-11-13 13:51:25
249
原创 centos7，harbor镜像仓库搭建
harbor是一款镜像仓库，可以往它推拉docker镜像，他依赖docker以及docker-compose下面用1台ecs搭建它。
2025-10-09 17:57:41
357
1
原创 centos7国内docker安装以及docker-compose安装
VERSION_STRING替换成 上面list出来的版本（如18.03.1.ce-1.el7）有了docker-compose就可以1条命令启动多个容器，不需要在手动写shell。docker pull httpd命令测试。替换前缀，指定拉取国内镜像源（单行方案）指定国内镜像源地址（永久方案）docker info命令测试。查看卸载过去的，若有，先备份。找到国内docker镜像源。更新配置，重启docker。指定docker仓库地址。
2025-10-09 14:59:10
285
原创 数据结构13003考前急救
每个节点可以有n个子节点，它是一颗平衡树，左子树小于中间的关键字，右子树则大于中间的关键字。关键字就是它的节点上的值，用来划分左子树和右子树的大小，叶子节点也有关键字。计算过程：顺序表，有序。1004-1000，每个元素4，1000+100*4 -4=1396。23.相同关键字的次序不会改变，叫稳定排序（包含，插入排序，归并排序，选择排序）18.（rear+1）%M ==front（一定要用双==号，并且需要取余）最少关键字：（阶-1）/2 =12，最大关键字：阶-1。19.1，广义表的长度是什么？
2025-09-30 17:42:51
215
1
原创 HBase全量+增量迁移import/export方式
本文是用自带的hbase import/export方法，由于原端不开放hdfs数据，并且因为底层存储不能打快照，目标端也不开放，所以只能通过这种方式。（这种方式比较耗性能）建议从主库，搞一个备份库，再用这种导出备份库的数据。
2025-09-29 17:34:03
268
原创 网络接口走公网发现很慢
2.宽带限制，假设你发送一个10mb的数据，结果用了10几秒，那说明你的宽带很慢，需要调整宽带上线速度。1.网络延迟，观察到ping的回包很慢，这个就是距离上的延迟。但是ping和telnet 都可以通。可以通证明，网路是通的。
2025-09-17 15:15:29
124
原创 mac电脑使用（windows转Mac用户）
Mac与Linux操作指南：键盘快捷键包括复制（Command+C）、粘贴（Command+V）、剪切（Command+X）；Linux中止操作为Control+C，退出后台Control+D。触控板操作：双指滑动可滚动页面，双指轻触为右键，单指拖拽需按住听到声音。三指上滑显示所有打开应用。应用管理：右上角搜索符号可查找应用，底部导航栏双指轻触退出当前应用。
2025-08-21 18:03:36
382
原创 Rclone入门对象存储云到云迁移
rclone是一款开源数据传输工具，支持跨云平台文件同步。本文演示了如何在Linux服务器上安装rclone，并配置腾讯云COS和火山引擎TOS的S3协议连接。通过创建配置文件设置访问密钥和端点信息，实现从腾讯云存储桶到火山存储桶的文件复制（使用copy命令）。配置需注意端点地址格式和权限设置，失败时可通过错误提示排查问题。该工具适用于多云环境下的数据迁移场景。
2025-08-21 14:12:13
974
原创 迁移相关网络术语
专线：由运营商拉的专线，如IDC（线下机房）-》某云，10Gb，是万兆宽带，传输速度要除10，约1.25gb/s。：路由协议，动态路由，当互联网中的网络出现变化时，会自动选择最优路径。：需要人手工去配置，如果新增了节点，则需要手动修改。cen：云企业网络，可以打通各个私有网络。
2025-08-15 17:36:23
174
原创 网络中CNAME是什么？修改存储桶对应的域名
CNAME就是指定ip了？相当于是域名解析CNAME 并不是直接指定 IP 地址，而是一种特殊的域名解析方式，核心是，而非直接指向 IP。
2025-07-28 14:38:11
315
原创 steam下载游戏发现秒装好，但是没有文件打不开游戏
摘要： 若Steam下载或运行异常，可尝试清除缓存修复。操作步骤：点击Steam左上角菜单→选择“设置”→进入“下载”选项卡→点击“清除下载缓存”→重启Steam即可。该方法可解决部分因缓存数据导致的下载故障，操作简单无需重装客户端。（78字）
2025-07-27 12:11:44
3022
原创 Cocos Creator入门教学（全而简单版）
摘要：作者利用周末时间学习使用CocosCreator游戏引擎开发一款2D横板竞速游戏《战士勇敢向前冲》。文章详细记录了从引擎安装（选择2D模板）、界面介绍（层级/资源/场景编辑器等），到实现角色移动功能的全过程：导入自制角色素材，创建控制脚本绑定方向键操作，并通过代码实现像素级移动。作为国产开源引擎，CocosCreator支持中英文切换，适合新手入门2D/3D游戏开发。
2025-07-07 00:21:17
3284
原创 回滚库的好处
2.生产的库也可以，但是你要花大量时间理清楚里面的复杂逻辑，把不同交叉的业务线的表增量回导入原始mysql。增量快，但是要理清逻辑很复杂，可能有错，全量慢，影响客户正常使用时间。（如果都错了，那你当晚上割接就会回滚到原库，回滚库是保证运行了一段时间发现了错误，那肯定是部分错误。我们割接一般会准备3个库，源端（以前的老库），目标端（云上的新库），回滚库（原来云或者idc机房的新库--与老库结构网络vpc相同）可以一键切数据源回滚。有人说，那为啥不用生产的数据，那如果用生产你这部分数据，会有什么问题呢？
2025-06-26 09:51:19
181
原创 dataX（入门，mysql到doris）
DataX是一款数据同步工具，可用于将MySQL数据迁移至Doris数据库。通过配置文件设置同步参数，包括数据源连接信息（需暴露账号密码，建议在内网使用）、查询SQL及目标库配置。示例配置展示了MySQL到Doris的数据迁移任务，包含通道数、容错限制及字段映射等设置。使用DataX时需注意账号密码明文存储的安全风险，建议仅在内网环境执行此类敏感操作。
2025-06-03 10:48:07
492
原创 数据结构13003-入门（看这一篇就够）
拿学位证要70分，每次没复习考试都是63。这次复习下数据结构是啥？我和你们一样，以前看到这个就懵逼，咱们不能用生活熟悉的去比喻，要用代码去比喻，才能意会。这里主要是建立在有过编程经验的同学（其他同学请打开个ai网站在旁边，不懂的问ai）。学习c，13003的链表和地址都是用的c语言，你不学的话大题做不好。主（内)存分配，要考的，拿学位证要每分必争花几分钟按照个vs code，装个c，在安装一个通义灵码（写代码和注释会自动帮你提示）。（gpt，豆包，元宝，deepseek等）。
2025-05-22 14:11:11
446
1
原创 甘特图（项目计划图）
假设，我要做大数据迁移（一般半年，几PB的数据和上万个任务）甘特图是甘特在第一次世界大战时为了提供工人效率所创。由时间（顶部横坐标）和工作事项（左边纵坐标组成）
2025-05-22 10:35:22
425
原创 公网ip能绑定什么？
申请公网IP主要有两种方式：一是通过电信申请专线，这种方式成本较高，但可以将本地服务器绑定动态公网IP，适合需要本地服务器的场景；二是通过云服务商（如阿里云、腾讯云等）直接申请，这种方式IP成本较低，但服务器费用较高。公网IP可以绑定到云服务器、负载均衡服务、NAT网关和辅助网卡等，用于实现服务器的弹性扩缩容、流量均衡转发、私网与公网的动态映射以及网络隔离和流量监控等功能。
2025-05-20 11:26:34
315
原创 Kafka消息不丢失处理
kafka作为消息中间件，吞吐量大（至于为啥吞吐量大，本文不做介绍），所以大家用的多。涉及到异构数据库更换，以及数据预处理后的迁移，基本想到的都是通过kafka。
2025-05-08 14:47:48
396
原创 应用割接/迁移流程
1、用户应用割接后，如果出现了问题，解决，如果解决不了，那么可以直接切域名回去。这时候还没有切流量，所以不会有生产数据，是可以当天发现的。2、用户割接后，如果当天测试没出现问题，过了一段时间发现不对了，这种就得链接回滚库，可以缩短停机窗口，然后把dns切回去。专门给大厂，如x山，x讯，xx银行，xx云等各种大厂做迁移服务。第一步干啥，第二步干啥，通向哪些组件（因为保密原因，图我是不能提供的，除非新画，但是我懒的新画了）4.功能测试已经测试，应用提前部署，链接的大数据是原来的。1.确保网络环境没有问题。
2025-04-27 14:47:39
497
原创 大数据knox网关API
要记每个端口号，比如50070，8090，8088，4007，如果换到另一个集群，不同版本，端口号还不同。那他是怎么访问呢，假设你原来访问hdfs，http://bigdata:50070，以及yarn，http://bigdata:8088。有knox后，访问hdfs,http://bigdata:8443/hdfs，输入【1次密码】，访问yarn不用密码，http://bigdata:8443/yarn。由于安全原因，我们通常会设置密码，每个组件是独立的，那每个密码都要输入一次。
2025-04-07 11:33:54
293
原创 火山dts迁移工具使用
登录后选择生态工具。（数据库传输服务DTS)选择专有网络(一般上云到火山都是专有网络）（他们产研有bug，先选对象会导致失败）【先选】结构迁移，全量，这些。然后确认订单迁移就行。注意数据库权限，要求。预检查，没问题就忽视。
2025-03-28 16:31:17
224
原创 软件行业怎么跟上风口
又免费又好用，你会不用吗？但是他发的每次都是只是论文，所以大家都是按照他的开发。不管是大数据，还是Ai大模型的transform架构。google就是风口。这家公司领先行业至少10年。所以多看google论文吧。
2025-03-04 13:48:04
186
原创 假设你是领导人，外包公司，如何降低成本，增加收入？
2、面试，先考各种证书，与各个公司合作，在程序员驻场的时候，就让销售去谈单。面试上了，就用以个人的理由，换专业的人来接手，收尾。一个主项目，另外就是其他问题单，例如扩容协助解决下。我们是一个项目一个人，我们怎么做到盈利的，总所周知，外包项目薄利，拿不到单就只能裁人。1、住宿，外包项目住宿驻场的报销是一个大开支，薄利多销的情况下，如果搞不定那是赔钱的。这对我们程序员不好的就是，没有一个完整项目，为了公司的首款，而放弃自己的完整经验能力。租房一般有那种中介，隔断房，或者公寓，这种我们最多报销一下被子。
2025-03-03 11:48:54
241
原创 迁移过程中，hive元数据字段校对
有时候在迁移过程中，源端字段可能被修改了，这些都存储在元数据库里，通常我们一般配置的hive元数据库都是mysql。所以我们最快的速度查出结果，就是在mysql里查。然后对比2端表的md5就可以找到哪个表有问题了，再针对这下表结构有问题的，进行修改字段。首先连接hive3.0版本的mysql。
2025-02-28 18:18:12
354
原创 hivePB级迁移方案
2、distcp -i -skipcrccheck 源端到目标端，迁移。8、任务校验，客户跑完任务后，校验指定分区的count数和内容的md5。3、元数据迁移，建表，替换location地址，或者导出db。1、评估磁盘空间大小、调整副本数、设置heapsize大小。9、任务改造，如果md5不一样，说明此表需要做任务改造。7、根据ditcp不对的，进行补数脚本，删分区，重拉。6、校验历史分区脚本，表结构，大小，文件数。11、校验成功后，切任务，跑当天的数据。5、配置增量T-1迁移或者T-2。
2025-02-27 09:45:55
431
原创 hive迁移补数脚本细粒度 表名-分区唯一键
假设我通过对数脚本发现，这些表对不上。假设检测出来是这样的（这些表存在于源端，但不存在目标端）我们需要从源端迁移过去。
2025-02-20 11:34:09
641
1
原创 为什么要搭建集群？
新的版本已经出来了，你想升级，但是你也没有多余的机器，于是你取消了一台机器，然后把他安装起来，一台一台的跑过去，校验后没问题，然后瞬间切换业务，在把剩下的集群下掉。当你的计算资源不够，你刚好从网吧搞了些二手的辣鸡机器，你想把他扩展进去，提高计算能力，集群也可以不停机，动态扩展。有了集群，我可以停止一台集群，然后给他加上资源，在恢复他，然后一台一台的停止。你发现这个版本的集群的参数没有优化，那你修改完参数后，要一台一台重启生效，才不影响业务。我以前的认知是因为，集群可以防止，当单台挂掉，他还能提供服务。
2025-02-17 17:41:35
266
原创 增量hdfs数据追平
1、假设客户只改了最近的分区。他不会去修改历史的分区表，如果大量改历史的分区表，那纯纯把hive当mysql用了。这样我们就只能找出变动的表，然后删除，重新迁移。2、此处是确保他们不会大量改历史分区，只有少部分改（删除，重新迁移），但是他们会改最近分区，我们不能确保他的任务迁移过程中，修改了数据。所以这里我们删除的是最新分区的数据，然后在进行对表update（这样也可以把新增的表迁移过来）。
2025-02-10 15:00:42
291
原创 hdfs distcp迁移发现越来越慢，heap内存不够
当我迁移了490T数据的时候，平时每天可以迁移35T的（24小时），这次通过yarnapp-list一看。于是修改hadoop-env.sh的NNHeap，改成了64G，再重启hdfs发现就很快了。数据越来越大，但是hdfs默认的nnheap默认是4G（hadoop3)。然后jmap-heappid。发现内存占用基本满了，他默认只有4G。后面通过jps，找到namenode的pid。持续了23小时，但是只迁移了百分之30。怀疑是nnheap满了。
2025-01-17 17:36:27
165
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人