大数据产品双月刊 | 5-6月

腾讯云大数据 腾讯云大数据 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 100+累计阅读 174平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄6年
关注
转载 2023-05-22 14:53:00 174 阅读 AI 写同款· GEO 优化 ›
基于Python的链家与贝壳租房数据爬取及城市性价比分析 本文通过Python爬虫技术，实现对链家和贝壳平台全国主要城市租房数据的采集与分析。研究使用requestsSelenium和Playwright等现代化爬虫工具，结合代理IP和验证码识别技术应对反爬机制。采集的数据经过清洗后，从多维度分析不同城市租房市场的价格分布、面积特征和性价比差异，并使用可视化技术展示分析结果。本研究为租房者提供决策参考，也为租房市场研究提供数据支撑。关键词：Python爬虫；租房数据；数据分析；链家；贝壳。 阅读详情

803e88d1e4dfae69d769e8d74dc2e75d.gif

本期热点产品

弹性 MapReduce

本期腾讯云EMR于作业诊断能力重磅增强，通过控制台提供用户泛hadoop组件中应用层原生明细信息、作业及Hive查询的日志现场，简化了用户应用层异常排查的操作过程。同时推出配置对比、扩容指定配置组、标签分账、磁盘检查更新等功能，优化了集群运维管理体验，并显著提升资源管理的便捷性。

Elasticsearch Service

本期腾讯云ES重磅推出了自治索引，通过实时跟踪业务压力变化，能够动态、稳定的调整分片数与滚动周期，实现一站式索引全托管！同时，也推出了索引管理可视化、TKE容器日志采集、LDAP身份验证设置等功能，在提升易用性的同时帮助降低运维管理成本，助力业务高速发展。

弹性 MapReduce

重大功能发布

功能1：Hive查询管理

新增Hive查询管理功能，可快速查看Hive查询的运行状态。查询列表展示了相关查询的执行信息、执行状态等信息，同时可帮助用户快速关联查询得到执行作业。

功能2：Yarn作业查询

Yarn作业查询功能增强，支持查看最新和历史的MR/Spark作业的任务信息及任务的运行日志，简化用户应用层异常排查操作成本。

功能3：配置管理

配置管理体验升级，支持配置筛选、配置分类和配置对比；并遵循最小维度优先原则，对集群、配置组、节点三个维度配置下发优先级进行优化；同时在扩容和自动伸缩环节，可指定继承配置组，便于扩容节点配置管理。

功能4：标签分账

新增标签分账功能，支持按集群维度和节点维度进行分账标签赋予，便于用户对集群维度和节点维度的资源费用进行查询。

功能5：强制标签

支持访问管理（CAM）强制标签能力，通过自定义权限策略限制子用户创建资源时必须绑定有权限的标签，提升主账号对资源权限的管控能力；并支持EMR资源所打标签同步至关联产品CVM、CDB、CBS。

功能6：磁盘检查更新

新增磁盘更新功能，可检查EMR控制台显示的磁盘信息与节点实际磁盘元数据信息是否一致，并进行更新，便于用户在EMR控制台统一管理磁盘的即时信息。

重要文档更新

更新1：Hive查询管理

新增Hive查询管理功能介绍

https://cloud.tencent.com/document/product/589/75229

更新2：Yarn作业查询

Yarn作业查询功能介绍更新

https://cloud.tencent.com/document/product/589/58114

更新3：EMR接入官网定价中心

新增EMR产品官网定价查询页

https://buy.cloud.tencent.com/price/emr

更新4：标签分账

新增标签分账使用场景与配置说明

https://cloud.tencent.com/document/product/589/76211

更新5：磁盘检查更新

新增磁盘检查更新功能介绍

https://cloud.tencent.com/document/product/589/75234

Elasticsearch Service

重大功能发布

功能1：自治索引

自治索引由腾讯云自研，能够实时跟踪业务压力变化，动态、稳定的调整分片数与滚动周期，实现一站式的索引全托管。

功能2：控制台索引管理可视化

通过简单易用的可视化界面进行云端的索引创建、配置管理、监控以及检索分析。

功能3：TKE容器日志采集

支持通过配置化界面，实现TKE日志便捷采集同步，同时能够结合Kibana既有的强大分析能力进行下钻分析。

功能4：LDAP身份验证设置

集成打通企业内部的LDAP账户体系，实现统一的身份认证管理。

功能5：云硬盘加密

云盘加密为免费功能，能够有效保护数据隐私，满足安全合规要求，无需任何业务代码调整，对服务性能几乎没有影响。

功能6：Logstash支持打标签能力

通过Logstash打标签能力，帮助提升Logstash实例的管理与运维效率。

重要文档更新

更新1：数据应用指南

新增数据应用概述

https://cloud.tencent.com/document/product/845/74395

更新2：自治索引

新增自治索引介绍

https://cloud.tencent.com/document/product/845/74396

更新3：数据管理功能

新增数据管理相关功能介绍

https://cloud.tencent.com/document/product/845/74397

更新4：TKE容器日志采集

新增通过Filebeat采集TKE容器日志介绍

https://cloud.tencent.com/document/product/845/75204

更新5：LDAP身份验证

新增LDAP身份验证设置介绍

https://cloud.tencent.com/document/product/845/74012

标签
#运维 #可视化 #大数据 #java #数据库
原文链接：https://mp.weixin.qq.com/s?__biz=MzUzNTc0NTcyMw==&mid=2247488438&idx=2&sn=2a356a5a82d5445eb3e6b26af2005313&chksm=fa819662cdf61f748c8a191817cba6f45d4c42e66f32173196ebf8a4cd4e66c8ca45476ca8f7&scene=126&&sessionid=0>
linux系统宝塔服务器temp文件夹里总是被上传病毒php脚本 服务器时不时的会发送短信说你服务器有病毒，找到了这个tmp文件，删除了之后又有了。确实是有很多人就这么无聊，每天都攻击你的服务器。找了很久的原因，网上也提供了一大堆方法，但都是很简陋的答案，具体怎么操作并没有说。没办法只能自己去排查这个问题。从两个角度来考虑，第一是服务器系统问题，比如宝塔的漏洞。但一时半会看不出问题来。只能去排查自己的项目代码。最后了解到代码确实是存在漏洞的。但代码中也确实了很多的校验，为什么会存在漏洞了？这就不得不从上传的过程开始说起。 阅读详情

相关推荐

perftest实战：从零到一，精准评估RDMA网络性能

想象一下，两台服务器传输数据就像在同一个主板上交换内存，这种零拷贝、低延迟的特性，正是高性能计算、分布式存储等场景梦寐以求的。对于云环境用户，主流云厂商现在都提供RDMA实例（比如AWS的EFA、阿里云的eRDMA）。但要注意，不同机型支持的RDMA协议版本可能不同，这会直接影响测试结果的上限值。记得记录每次测试的BW average值，绘制成曲线图后，你可能会发现类似"阶梯状"的性能变化，这通常与网卡的DMA引擎设计有关。在云环境中，由于虚拟化层的影响，延迟会比裸金属高20-30%。

weixin_28700411的博客 215

数据不出域的企业级智能体平台有哪些推荐

按阿里云 PAI-EAS 部署 Dify 的官方文档描述，Dify 的服务组件包括 Web 界面、API 后端、异步任务 Worker 与插件沙箱，依赖 PostgreSQL（用户、对话、知识库、工作流与插件配置）、Redis（缓存、会话状态、异步任务分发）、Elasticsearch（兼作向量库与全文检索）、对象存储（插件与知识库文件）四类外部服务。按公开信息，常见的有开源自部署的 Dify、云厂商的阿里云百炼、腾讯云 ADP、华为云 AgentArts、百度千帆，以及走本地化交付路线的领铄智能。

lanren_45的博客 223

九齐NY8B062F单片机：12位ADC与4路PWM在智能家居控制中的实战应用

本文详细介绍了九齐NY8B062F单片机在智能家居控制中的实战应用，重点解析其12位ADC高精度传感器数据采集和4路PWM精准驱动技术。通过实际案例展示如何利用该单片机实现温湿度监测、灯光调节及电机控制，并分享低功耗设计与抗干扰方案，为低成本高可靠性的智能家居设备开发提供完整解决方案。

rnn9storyteller的博客 733

高校5G专网部署方案：打造智慧校园新一代数字底座

随着智慧校园建设持续深化，传统校园网络已难以适配高校多元化的教学、科研与校园管理需求。WiFi、有线网络等传统组网方式，在超高并发接入、超低时延交互、广域稳定覆盖、业务安全隔离等方面存在明显短板，无法支撑沉浸式教学、科研算力调度、校园智能安防、无人设备巡检等新型智慧校园场景落地。在此背景下，凭借专用带宽、独立组网、超低时延、高可靠、强隔离的核心优势，成为高校数字化转型的核心基础设施，为现代化智慧校园建设提供全新解决方案。

爱浦路 IPLOOK 159

利用Civil3D装配设计器(SAC)建设高度形状自适应挡土墙

之前的模型都是点线，最后加一个形状，形成面。再根据现场测得的挡土墙的墙脚的点生成中心线（alignment），在中心线的基础上生成在现有地面（existing ground level）的高程（profile）。简单的说，该墙的墙趾啊，墙踵啊，基底下面那个把儿啊，都是随着高度变化的，而高度是随着下面这个高程图变化的。接着出现角度和Y的文本框，角度92，y 值随便写一个，然后重要的是，高程目标选路面（优先于Y值）。意思是P2的高度，也就是路面的高程，减去P10，墙脚高程，再减去墙脚埋进地里的深度0.8m。

测量老覃 的博客 1132

Open3D 计算点云基本特征

在 Open3D 中，可以通过 PCA（主成分分析）来求得点云的特征值和特征向量。然后基于这些特征值，进一步计算各种几何特征，如线性、平面性、球度等。

纵马踏花向自由 1607

Docker Compose：搭建本地多服务开发环境

从一个 Java API、PostgreSQL 和 Redis 开始，配置服务名、端口、环境变量、健康检查、数据卷和依赖关系。理解 Compose 文件如何被解析、项目如何隔离，以及哪些数据不能依赖“重建容器”保留，能够把个人开发环境整理成团队可复用的启动入口。

m0_62221377的博客 475

价值微笑曲线与AI公司的位置

1. 背景介绍 1.1 问题由来 自20世纪60年代，哈佛大学商学院教授西奥多·波特提出了“价值链”理论以来，企业如何构建竞争优势成为企业经营管理领域的研究重点。随着全球化的发展和科技进步，企业竞争环境发生了深刻变化，传统价值链管理模式逐渐显现出局限性。近年来，全球竞争格局由成本竞争转向创新竞争，企业的生存

欢迎来到我的优快云空间！这里聚焦AI大模型应用实战，分享前沿技术、实战案例与开发经验。 1096

给openlab搭建web网站

此时输入song 账号 即可登录。

ytdbc的博客 111

YOLOv11的多任务学习：检测+分割+姿态估计-（扩展模型头部分支，实现多任务联合训练）

YOLOv11作为Ultralytics团队于2024年9月发布的最新YOLO系列模型，在前代版本基础上进行了多项架构创新，使其成为支持多任务学习的理想框架。其核心改进包括引入C2PSA（跨阶段局部自注意）模块，将跨阶段局部网络和自注意机制优势结合，使模型能够更有效地跨多层捕获上下文信息。C3k2模块取代了之前的C2f模块，作为CSP Bottleneck的自定义实现，使用两个较小卷积核而非一个大卷积核，在保持准确性的同时提高了效率。 多任务学习(Multi-Task Learning, MTL)在YOL

本博客聚焦 YOLOv11 全流程落地，涵盖架构优化、数据集处理、训练技巧与多场景部署，兼及国产数据库、Java 开发与 AI 模型应用，内容兼顾理论与工程实践，为开发者提供系统干货，助力高效提升技术能力。 656

EMS案例：BMS传导发射超标整改案例

BMS作为新能源汽车的关键部件，其EMC性能直接影响整车的安全性和可靠性。本文通过一个实际的传导发射整改案例，详细展示了从问题定位、分析到解决方案实施的全过程。希望这些经验能够为从事类似产品设计的工程师提供有价值的参考，在未来的产品开发中避免类似问题，设计出更加可靠、稳定的BMS产品。EMC设计是一门结合理论与实践的艺术，只有通过不断积累经验、深入理解电磁场理论，并紧密结合实际应用场景，才能在复杂的电磁环境中设计出鲁棒性强的电子产品。

m0_56451176的博客 272

本地化部署会议视频软件如何替换旧平台？账号迁移、历史数据与用户培训怎么安排？

账号先映射：身份与权限验证通过，再开放使用。资料分级处理：能查、能读、权限正确，比“全部搬完”更重要。切换可恢复：入口、增量数据和业务通知都要纳入回退方案。培训按岗位落地：让用户完成真实任务，而不是只听功能介绍。这套方法适合政企、集团及医疗等具有长期资料留存、多终端接入和业务集成需求的组织。小规模替换可以简化批次与流程，但不应省略权限验证、备份恢复和关键会议演练。

hz56789的博客 292

【WRF-Urban运行】WRF-SLUCM耦合建模参数设置及模拟运行

WRF-SLUCM耦合建模参数设置及模拟运行

WW、forever的博客 1724

锅炉房已经有PLC，还需要IoT吗？从安全控制到全局能效的智能化升级

无论是工业蒸汽锅炉房，还是酒店、医院等商业热水场景，改造都可以从现有条件出发：先梳理控制系统、仪表和通信情况，再明确安全边界与数据需求；盈电物联网的云边协同思路，是在尽量保留原有控制与仪表设备的基础上，通过IOT控制器补齐数据接入和边缘处理能力，再与云端平台协同，逐步建立运行、能耗与运维之间的数据闭环。锅炉房智能化，不是用IoT取代PLC，也不是简单增加一块远程大屏，而是在保障安全控制独立可靠的基础上，让分散的数据真正服务于运行管理。将告警、排查、处理、复核和维修记录串联起来，形成可追溯的设备档案。

olzorange的博客 284

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0， 兼容Win7/Win10/WinXP，解压就可用。

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术，以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索，主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式，计算机控制系统的数学描述与基本分析方法，以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

中科热备备份一体机选型技术剖析：安全厂商跨界后的能力边界与实测数据对比

灾备与数据保护技术实战：CDP持续保护、数据库备份、异地容灾架构等核心技术深度解析。

weixin_70618949的博客 302

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android：LinePhone3.2.7(最新版本)，官网地址：http://www.linphone.org/

信创环境下OA文档控件技术选型方案对比

在国产 OA 的开发与实施中，文档编辑往往是返工较集中的一个环节。问题通常不出在产品本身，而是选型时没有先把约束写清楚：公文打印必须与本地 WPS 一致、文档不能出内网、一套代码要同时覆盖 Windows 与国产终端。这三条一旦成为验收项，可选的路线会迅速收窄。本文按“约束—对象—路线—实施—验收”的顺序，把目前市面上的四条技术路线的原理、能力和代价拆开对比，并给出实施阶段容易忽略的几个点。

zi_wu_xian的专栏 198

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用，资源的后缀为tar.gz格式的压缩包

LNMP 容器化实战：基于 Harbor 私有仓库部署 ECShop，吃透 Docker 底层机制

优势：同一网络内部支持容器 DNS 解析，直接写容器名字访问服务，不用硬编码 IP。网络层面：多容器 LNMP 架构，优先自建自定义 bridge 网络，利用容器名 DNS 解析，避免写死 IP，方便环境迁移；持久化思想：镜像保存程序代码；配置、数据库数据、日志全部 volume 挂载宿主机目录，删除容器业务数据不丢失；镜像管理：生产环境建议部署 Harbor 私有仓库，业务镜像统一内网托管；PHP 镜像构建：php‑fpm 容器补齐业务需要全部扩展；商城上传、缓存目录读写权限是高频故障点；

Wzh5452830的博客 163

OpenClaw 深度调查：把 AI 助手做成你自己的控制平面

对 openclaw/openclaw 的完整技术尽调：Gateway 架构、Agent 运行时、工具与沙箱、30 个消息通道、181 个插件、安全信任边界、工程代价与采用建议。17 章 / 10 张图，全部数字标注口径，数据截至 2026-10-31。

厚积薄发 281

宝塔装在服务器上，极目装在本机，差别到底在哪

宝塔 极目 装服务器 装本机 区别，不是比谁好用，是比"软件落在谁的账上"。宝塔的端口、资源、维护都记在服务器；极目这些都落在你电脑，服务器保持和纯 SSH 管理一样的干净。想保护服务器资源和安全面，选装本机的方案；想浏览器点就完事，装服务器的面板也行。

AI_Lab01的博客 346

航空航天与高端装备的孪生运维与预测性维护

发射窗口、航线、载荷配置等决策影响任务成败，孪生可在镜像中预演多种方案，评估风险与资源消耗，辅助择优。连续档案把"用过即忘"变为"越用越懂"，使每一次运维都沉淀为组织知识。认证过程虽慢，却是孪生获得运行授权的门票，也区分了"能演示"与"敢托付"两套标准，行业对此格外审慎。把"人始终是决策者"写入流程，既是对安全的尊重，也让孪生在失误时仍有缓冲，而非把命运完全交给一个尚未完美的镜像。视情维修压缩无效维护，也降低突发失效概率，对昂贵且稀缺的装备尤具价值，使有限保障资源投向最该修的地方，提升整体就绪水平。

renhongxia1的博客 243

跨园区分布式环境监控：以太网温湿度传感器云边协同组网方案

很多企业拥有多个独立园区、异地机房、分散库房，传统方案痛点很明显：每个园区单独一套监控平台，数据孤岛；直接把传感器端口映射公网，安全风险高；广域网链路不稳定，断网之后完全丢失本地数据、告警失效；如果用 RS485 总线，跨园区布线完全不现实。以太网温湿度传感器（H-THRJ45）原生 IP 化、支持 PoE 供电、ModbusTCP/SNMP，天然适合分布式点位采集。但多园区场景，不能简单把所有传感器直接上云，最佳落地方式是云边协同：边缘网关负责本地自治采集、缓存、本地告警；

weixin_41865733的博客 298

Docker 与 Kubernetes 深度解析：从容器运行时到集群编排

维度DockerKubernetes回答的问题一个进程怎么隔离、打包、分发一堆进程怎么调度、连接、自愈抽象层级运行时 + 镜像格式分布式操作系统最小单元ContainerPod状态模型命令式（run声明式（apply）+ 控制循环收敛作用范围单机跨主机集群核心协议CRI / CNI / CSI（可插拔）失效时表现容器挂掉，没人管控制器自动重建学习曲线一天半年Docker 定义了"一个应用的形状"，Kubernetes 定义了"一群应用如何共生"。

2601_95494915的博客 613

Docker 镜像构建 + 仓库管理全实战｜曼巴精神打磨容器进阶基本功

进容器改完配置，直接打包成新镜像，适合临时救急、快速验证。# 1. 启动基础容器，装软件改配置# 2. 另开终端，commit成新镜像docker commit 容器ID centos7:sshd缺点很致命：黑盒镜像，里面改了啥没人知道，不可追溯、不可复现，镜像还越做越大。曼巴忠告：生产环境绝对别用 commit 构建镜像！临时救急凑合用可以，标准化交付一律用 Dockerfile。Man！镜像构建是容器化交付的标准，私有仓库是企业镜像管理的底座。

kkkdoor的博客 386

越华环保集团碳惠小屋｜面向碳普惠场景的 IoT 终端与碳数据链路设计方案

越华环保集团碳惠小屋这套 IoT 碳数据方案，把物联网感知技术和碳普惠业务规则深度绑定，补齐了碳普惠线下可信数据源短板。相比通用回收设备，它的核心价值在于标准化碳数据链路与可对接上层碳普惠平台的开放能力。随着各地碳普惠数字化建设提速，对合规、可溯源线下采集终端需求持续增长。这套架构具备良好扩展性，后续可以继续接入骑行、节水节电等更多低碳感知终端，作为统一的公众低碳数据采集底座，支撑区域碳普惠数字化体系持续迭代升级。

MuMuMu1223的博客 196

Linux篇(五)

本文系统梳理了Linux常用终端快捷键、软件包管理（yum/apt）、服务管理（systemctl）、软链接（ln）、时间与IP配置、域名解析、固定IP设置及网络命令（ping/wget/curl），涵盖日常运维核心操作，助力高效管理Linux环境。

wykyzdq的博客 207

Kubernetes 集群部署

实验环境：VMware Workstation 26 + Rocky Linux 9.8 + Kubernetes v1.35.10 + Docker 29.9.3 + cri-dockerd 0.4.10。

2302_80967029的博客 159
上一篇： 腾讯云联手宇信科技发布多个联合方案，全面助力金融科技自主可控
下一篇： HiveCatalog 介绍与使用
点赞 0
评论 0
书签 书签 0
腾讯云大数据
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
+ 关注
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值