谁能帮我缕一缕这些技术的关系?有关数据中心,高并发,大规模数据存储

最新推荐文章于 2022-05-29 18:14:11 发布
原创 最新推荐文章于 2022-05-29 18:14:11 发布 · 846 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了处理两万台GPS追踪器数据的需求，包括每五秒接收一次的TCP长连接及定位信息存储，并讨论了涉及的技术选型，如GO语言、Erlang、Hadoop等，同时考虑了分布式系统及数据服务的实现。
最近在查一些高并发处理,大规模数据存储相关的技术,无奈之前没接触过这里的东西,看的有点眼花缭乱,想请高手帮我缕缕这里的技术,先说下我的需求:
1.处理GPS追踪器的数据,GPS追踪器大概两万个,都是TCP长连接,连到数据中心(通过GPRS),每五秒钟发送一次定位信息.数据中心收到定位信息,存储之
2.如上所说,得有个数据中心吧,数据中心架构是个问题.
3.数据中心对外提供接口,为安卓pad,手机.还有C/S架构的C端提供数据服务.比如开发一个应用,从数据中心获得实时的定位信息.

基于以上需求,我查了一些技术,想缕清楚这个技术路线:
1.2万个长连接问题,有高并发:语言方面查了GO语言,Erlang,框架方面查了:IOCP,Nginx
2.想到可能需要用到分布式系统,查到了Hadoop,Erlang/OTP
3.数据服务方面看了阿里云的服务方式,但是貌似没办法知道他的具体技术,感觉可以借鉴的就是云计算的方式吧...

在这方面确实没有技术基础,各种框架,各种说法,太多了,有没有大牛给个思维导图之类的总结总结,或者指点一二.感激不已
实时数据分析在智慧城市中的应用案例
大数据洞察的博客
08-26 497
城市就像一个不断生长的"超级有机体"：每天有千万辆汽车流动、数亿度电消耗、海量垃圾产生……传统管理方式如同"盲人摸象"，依赖经验决策，往往滞后于问题发生。实时数据分析的出现，让城市第一次拥有了"即时感知-快速思考-主动行动"的闭环能力。实时数据分析如何为智慧城市"装上神经中枢"？它在交通、能源、安防等关键领域如何解决实际痛点？技术落地需要跨越哪些"坎"，未来又将走向何方？我们将避开晦涩的技术术语，用"城市管家"的日常工作场景串联起原理与实践，让你看清数据如何从"冰冷的数字"变成"温暖的服务"。
AI应用架构师：AI驱动的元宇宙金融的发展现状与问题
欢迎来到我的优快云空间！这里聚焦AI大模型应用实战，分享前沿技术、实战案例与开发经验。
09-09 546
用户画像：明确目标用户（比如年轻的虚拟资产投资者、虚拟创业者）；需求分析：通过用户调研（比如问卷、访谈）了解用户的核心需求（比如“想快速了解虚拟资产的价值”“想安全交易”）；场景定义：将需求转化为具体的场景（比如“虚拟资产定价→智能推荐→安全交易→收益管理”）。
数据中心存储架构-刘新民（数据中心 存储）
H3C_优快云的专栏
03-31 2万+
数据中心存储架构 文/刘新民 存储系统是数据中心IT环境的核心基础架构，是数据中心数据访问的最终承载体。存储在云计算、虚拟化、大数据等相关技术进入后已经发生了巨大的改变，块存储、文件存储、对象存储支撑起多种数据类型的读取；集中式存储已经不再是数据中心的主流存储架构，海量数据的存储访问，需要扩展性、伸缩性极强的分布式存储架构来实现。 在新的IT发展过程中，数据中心建设已经进入云计算时代，企业I
大型网站应用之海量数据和高并发解决方案总结一二
热门推荐
徐刘根的博客
11-19 9万+
一、网站应用背景开发一个网站的应用程序，当用户规模比较小的时候，使用简单的：一台应用服务器+一台数据库服务器+一台文件服务器，这样的话完全可以解决一部分问题，也可以通过堆硬件的方式来提高网站应用的访问性能，当然，也要考虑成本的问题。当问题的规模在经济条件下通过堆硬件的方式解决不了的时候，我们应该通过其他的思路去解决问题，互联网发展至今，已经提供了很多成熟的解决方案，但并不是都具有适用性，你把淘宝的技
谈谈如何解决大批量数据保存的性能问题
覃鸿宇的博客
04-23 1649
前言 几日忙于数据库的学习，没时间再去更新博客，总觉得少了些仪式感。今日在微信刚好看到一篇关于数据库读写优化的文章，于是便整理记录下来，以备将来使用学习。 鉴于本人是个.Net 开发者，博客大多更新.net cor相关技术，若您需要的是EFCore的数据库性能优化问题可以移步：构建构建高性能的EFCorehttps://blog.youkuaiyun.com/weixin_41372626/articl...
大数据爆发性增长 存储技术面临难题
weixin_34396103的博客
08-22 902
随着大数据应用的爆发性增长，大数据已经衍生出了自己独特的架构，而且也直接推动了存储、网络以及计算技术的发展。毕竟处理大数据这种特殊的需求是一个新的挑战。硬件的发展最终还是由软件需求推动的。大数据本身意味着非常多需要使用标准存储技术来处理的数据。大数据可能由TB级(或者甚至PB级)信息组成，既包括结构化数据(数据库、日志、SQL等)以及非结构化数据(社交...
构建实时数据集成平台时，在技术选型上的考量点
zhangjing5566的博客
06-04 576
构建实时数据集成平台时，在技术选型上的考量点 陈肃 DataPipeline数见科技 昨天 文 | 陈肃 DataPipeline CTO 交流微信 | datapipeline2018 随着企业应用复杂性的上升和微服务架构的流行，数据正变得越来越以应用为中心。 服务之间仅在必要时以接口或者消息队列方式进行数据交互，从而避免了构建单一数据库集群来支撑不断增长的业务需要。以应用为中心的数据持...
高并发处理之商品详情页
wangzhipeng47的博客
05-15 1775
卜大伟2019-01-18 11:13:472487收藏4 分类专栏：高并发 该文章是根据velocity 2015技术大会的演讲《京东网站单品页618实战》细化而来，希望对大家有用。 商品详情页是什么 商品详情页是展示商品详细信息的一个页面，承载在网站的大部分流量和订单的入口。京东商城目前有通用版、全球购、闪购、易车、惠买车、服装、拼购、今日抄底等许多套模板。各套模板的元数据是一样的，只是展示方式不一样。目前商品详情页个性化需求非常多，数据来源也是非常多的，而且许多基...
从训练到上线：部署故障预测模型必须跨越的6大工程鸿沟与优化策略
正是在这种背景下，基于机器学习的故障预测系统被寄予厚望——如果能提前48小时准确预警轴承过热或齿轮箱异常，运维团队就可以从容安排检修窗口，避免灾难性故障。 然而现实往往比想象骨感得多。我们曾见证一个在...
【2022-06-05】【知识梳理】数据库系统概念 第一章 简介（docx）
COFACTOR
05-29 462
建议先修课程：数据结构、操作系统、计算机组成原理。 配套教材： Database System Concepts 7th Edition Abraham Silberschatz Henry F. Korth S. Sudarshan 参考书目： 1、数据库系统概论 王珊 萨师煊 一 简介 数据库管理系统（database management system，DBMS），是相互关联的数据和访问这些数据的程序集构成的集合。数据的集合通常叫做数据库（database）。数据库管理系统的目标是：提
Tomcat8结合Redis实现会话同步
它解决了传统单机Session模型在高并发环境下的局限性，为构建大规模、高可用的Java Web应用奠定了坚实基础。无论是电商平台、在线教育系统还是金融交易后台，只要存在负载均衡+多节点部署的需求，这套基于Tomcat 8与...
如何解决大规模高性能存储可靠性问题？
云布道师
08-03 1443
凌云时刻 · 技术导读：阿里云操作系统团队，阿里云存储团队以及上海交通大学新兴并行计算研究中心一起合作的论文 “Spool: Reliable Virtualized NVMe Stor...
服务器高并发的解决方法
vecloud的博客
08-10 4676
服务器高并发三种解决方法为： 高并发问题是大部分服务器都经历过的，由于资源的有限性，其同时处理请求的能力自然也有限制。当高并发出现时，服务端的处理和响应速度会大幅降低，更严重的会使服务器崩溃。那么，当遇见服务器高并发时，应该怎么处理呢？ 一、减少请求数量 高并发的主要原因之一就是请求量过于庞大，以致超出服务器的承受范围，因此想要解决问题就需要在这方面做出处理，一是需要避免重复的请求消耗不必要的资源，二是通过客户端自身的处理能力来响应请求，而不必到达服务端。 二、配置优化 如果请求量...
Go语言，编译时不生成bin目录的原因
zha_stef的专栏
05-04 3129
今天照着例程想把工程管理好好研究下，忽然发现怎么都不自动生成bin目录，google半天，发现这篇文章 https://golang.org/doc/code.html 原来是GOBIN环境变量的问题，如果设置了这个环境变量，则不生成bin目录，可执行文件都存到GOBIN里了，删去，再试，ok了。 还是有必要把google的文档好好吃透下。
帮我生成一份表白程序页面很多每个字体页面动画丰富多彩表白文案丰富多样高级感
最新发布
12-20
当然可以！下面是一个**高级感十足、动画丰富、多页面、多彩字体与过渡效果的表白网页程序**，使用 **HTML + CSS + JavaScript** 实现。它包含多个页面（欢迎页、回忆页、表白页、承诺页、结尾彩蛋），每个页面都有独特的动画和文字效果。 --- ### 💖 表白网页完整代码（可直接保存为 `index.html` 使用） ```html <!DOCTYPE html> <html lang="zh"> <head> <meta charset="UTF-8" /> <meta name="viewport" content="width=device-width, initial-scale=1.0"/> <title>致最特别的你</title> <style> * { margin: 0; padding: 0; box-sizing: border-box; font-family: 'Segoe UI', 'Microsoft YaHei', sans-serif; } body, html { overflow: hidden; width: 100%; height: 100%; background-color: #000; color: white; } .page { position: absolute; width: 100%; height: 100%; display: flex; flex-direction: column; justify-content: center; align-items: center; text-align: center; opacity: 0; pointer-events: none; transition: opacity 1.5s ease-in-out; } .active { opacity: 1; pointer-events: auto; } h1 { font-size: 3.5rem; margin-bottom: 20px; background: linear-gradient(90deg, #ff6b6b, #feca57, #48dbfb, #1dd1a1); -webkit-background-clip: text; -webkit-text-fill-color: transparent; animation: shine 3s infinite alternate; } p { font-size: 1.4rem; max-width: 80%; margin: 10px auto; line-height: 1.8; color: #ddd; opacity: 0; transform: translateY(20px); transition: all 1.2s ease; } .btn { margin-top: 30px; padding: 12px 30px; background: linear-gradient(45deg, #ff9a9e, #fad0c4); border: none; border-radius: 30px; color: #333; font-size: 1.2rem; cursor: pointer; box-shadow: 0 5px 15px rgba(255, 105, 180, 0.4); transition: all 0.4s ease; opacity: 0; } .btn:hover { transform: scale(1.05); box-shadow: 0 8px 25px rgba(255, 105, 180, 0.6); } @keyframes float { 0%, 100% { transform: translateY(0); } 50% { transform: translateY(-20px); } } @keyframes shine { 0% { background-position: 0% 50%; } 100% { background-position: 100% 50%; } } @keyframes fadeInUp { from { opacity: 0; transform: translateY(30px); } to { opacity: 1; transform: translateY(0); } } .hearts { position: absolute; width: 100%; height: 100%; pointer-events: none; z-index: -1; } .heart { position: absolute; width: 20px; height: 20px; background: red; transform: rotate(45deg); animation: fall linear infinite; } .heart::before, .heart::after { content: ''; width: 20px; height: 20px; background: red; border-radius: 50%; position: absolute; } .heart::before { top: -10px; left: 0; } .heart::after { top: 0; left: -10px; } @keyframes fall { 0% { transform: rotate(45deg) translateY(-100vh) translateX(0); opacity: 1; } 100% { transform: rotate(45deg) translateY(100vh) translateX(100px); opacity: 0; } } /* 页面特定样式 */ #page1 h1 { animation: float 3s ease-in-out infinite; } #page4 img { width: 150px; height: 150px; border-radius: 50%; object-fit: cover; border: 5px solid #fff; box-shadow: 0 0 20px rgba(255, 255, 255, 0.5); animation: pulse 2s infinite; } @keyframes pulse { 0% { transform: scale(1); } 50% { transform: scale(1.1); } 100% { transform: scale(1); } } </style> </head> <body> <div class="hearts" id="hearts"></div> <!-- 页面1：欢迎 --> <section class="page active" id="page1"> <h1>亲爱的，你好呀～</h1> <p>我想用这一页，开启我们的故事。</p> <button class="btn">继续 →</button> </section> <!-- 页面2：回忆 --> <section class="page" id="page2"> <h1>那些年的小确幸</h1> <p>记得第一次遇见你，阳光正好，风也温柔。</p> <p>你笑起来的样子，像春天的第一缕光。</p> <p>我们一起走过的路，看过的晚霞，聊到凌晨的话题……</p> <p>都成了我心底最柔软的记忆。</p> <button class="btn">继续 →</button> </section> <!-- 页面3：心动告白 --> <section class="page" id="page3"> <h1>我喜欢你，不是一时兴起</h1> <p>是心跳加速的每一秒，</p> <p>是看到消息就忍不住微笑，</p> <p>是你不在时的思念如潮水般涌来。</p> <p>我喜欢你，认真且坚定。</p> <button class="btn">继续 →</button> </section> <!-- 页面4：承诺 --> <section class="page" id="page4"> <img src="https://images.unsplash.com/photo-1593642532973-d31b6557fa68?ixlib=rb-1.2.1&auto=format&fit=crop&w=1350&q=80" alt="Love" /> <h1>我想和你一起走下去</h1> <p>陪你看遍四季更迭，</p> <p>走过人山人海，</p> <p>在每一个清晨说早安，</p> <p>在每一个夜晚互道晚安。</p> <p>你愿意吗？</p> <button class="btn">答应我 ❤️</button> </section> <!-- 页面5：结局彩蛋 --> <section class="page" id="page5"> <h1>谢谢你，走进我的生命</h1> <p>从今往后，</p> <p>我的世界有了光，有了温度，</p> <p>有了一个想共度余生的人——就是你。</p> <p>❤️ 我们的故事，才刚刚开始 ❤️</p> <div style="font-size: 3rem; margin-top: 20px;">🎉</div> </section> <script> // 创建飘落爱心 function createHearts() { const container = document.getElementById('hearts'); for (let i = 0; i < 20; i++) { const heart = document.createElement('div'); heart.classList.add('heart'); heart.style.left = Math.random() * 100 + 'vw'; heart.style.opacity = Math.random(); heart.style.width = heart.style.height = Math.random() * 15 + 10 + 'px'; heart.style.animationDuration = Math.random() * 10 + 10 + 's'; container.appendChild(heart); } } // 页面切换 const pages = document.querySelectorAll('.page'); let currentPage = 0; function showPage(index) { pages.forEach(p => p.classList.remove('active')); pages[index].classList.add('active'); // 延迟显示文字和按钮 setTimeout(() => { const ps = pages[index].querySelectorAll('p'); const btn = pages[index].querySelector('.btn'); ps.forEach((p, i) => { setTimeout(() => { p.style.opacity = 1; p.style.transform = 'translateY(0)'; }, 300 * i); }); setTimeout(() => { btn.style.opacity = 1; }, 300 * ps.length + 200); }, 300); } // 绑定按钮事件 document.querySelectorAll('.btn').forEach((btn, index) => { btn.addEventListener('click', () => { if (currentPage === pages.length - 2) { // 最后一页前的“答应我”按钮 alert("❤️ 谢谢你愿意和我在一起！我会好好珍惜你的！"); } currentPage++; if (currentPage < pages.length) { showPage(currentPage); } }); }); // 初始化 window.onload = () => { createHearts(); showPage(0); }; </script> </body> </html> ``` --- ### ✅ 功能亮点解释： | 特性 | 说明 | |------|------| | **多页面结构** | 使用 `section.page` 构建 5 个独立页面，通过 JS 控制切换 | | **渐进式动画** | 每段文字逐行淡入上浮，提升阅读体验 | | **动态背景爱心** | 随机生成彩色爱心从屏幕上方飘落，营造浪漫氛围 | | **渐变文字标题** | 使用 `background-clip: text` 实现流动彩虹色文字 | | **响应式设计** | 支持手机浏览，适配不同设备 | | **交互按钮** | 点击“继续”或“答应我”触发下一页，最后一屏弹出告白提示 | | **高级视觉动效** | 包含浮动、脉冲、渐变、阴影等现代 CSS 效果 | --- ### 📌 使用方法： 1. 复制以上全部代码。 2. 新建一个文件，命名为 `index.html`。 3. 用浏览器打开即可运行（无需服务器）。 4. 可替换图片链接为你和 TA 的合照（修改 `#page4 img` 的 `src` 属性）。 --- ### 🔐 提示： - 若部署上线，推荐使用 GitHub Pages 免费托管。 - 可添加音乐自动播放（需用户首次交互后触发）。 - 可接入表单提交功能记录“TA是否答应”。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值