大数据开源项目 remark

最新推荐文章于 2025-04-17 14:37:47 发布
最新推荐文章于 2025-04-17 14:37:47 发布
阅读量524 收藏 2
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 大数据 文章标签： hadoop spark mapreduce hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/testManger/article/details/112466627
该博客介绍了电信大数据项目的处理和分析，包括通话数据的处理和可视化，以及基于Spark的电影推荐系统和新闻话题实时统计分析项目。此外，还讨论了使用WIFI探针进行商业大数据分析的技术，涉及Hadoop、Spark、HDFS等多个大数据组件。

电信大数据项目

以通话数据去展示如何处理并分析大数据，并最终通过图表可视化展示。

github地址：https://github.com/LittleLawson/ChinaTelecom

基于Spark的电影推荐系统

https://github.com/LuckyZXL2016/Movie_Recommend

类似于国内豆瓣网站，能够在该项目-电影网站-进行电影信息浏览和查询，并且-电影网站-会根据用户的 浏览记录和用户评论，点赞（好看）等操作 给用户进行实时的电影推荐（Spark）

https://github.com/LuckyZXL2016/Movie_Recommend

大数据项目实战之新闻话题的实时统计分析

一个完整的大数据项目实战，实时|离线统计分析用户的搜索话题，并用酷炫的前端界面展示出来。所用到的框架包括：Flume+KafKa+Hbase+Hive+Spark（SQL、Structured Streaming ）+Mysql+SpringMVC+Mybatis+Websocket+AugularJs+Echarts。

https://github.com/LuckyZXL2016/Movie_Recommend

基于WIFI探针的商业大数据分析技术

WIFI探针是一种可以记录附近mac地址的嗅探器，可以根据收集到的mac地址进行数据分析，获得附近的人流量、入店量、驻留时长等信息

<
了解本专栏 订阅专栏 解锁全文 超级会员免费看
从ES的JVM配置起步思考JVM常见参数优化
曾经“等你生日那天”都遥远得像未来，如今却可欢愉的挥手说“下个十年见”
12-03 9万+
Java 8目前仍然是许多企业中主要使用的版本之一，尤其是对于比较保守的公司。在过去，CMS (Concurrent Mark-Sweep) 垃圾回收器在Java 8中是一种常见选择，因为它在某些场景下能够提供较好的性能。然而，随着Java版本的不断更新，一些旧的特性和组件被淘汰或替代，比如CMS。Java 14中正式废弃了CMS，而新的垃圾回收器，如ZGC和G1，逐渐成为了主流选择。ZGC和G1在处理大内存堆和低停顿时间方面表现出色，适用于现代应用程序的需求。
数据质量治理：大数据运营中的关键挑战与解决方案
最新发布
AI架构师小马
08-15 1237
在数字经济时代，企业每天要处理PB级甚至EB级数据（1EB=10亿GB），这些数据来自网站日志、APP行为、物联网传感器、业务系统等数十个源头。但根据Gartner调研，60%的企业决策仍依赖低质量数据，导致每年全球因数据质量问题损失超过12万亿美元（相当于全球GDP的10%）。数据质量治理的目的，就是建立一套“数据质量管理体系”，像给数据制定“体检标准”和“健康管理计划”，确保数据从产生（采集）到使用（分析/决策）的全生命周期中，始终保持“准确、完整、一致、及时、可用”的状态。
大数据相关开源项目汇总
Null的博客
12-06 2860
调度与管理服务 **Azkaban **是一款基于Java编写的任务调度系统任务调度，来自LinkedIn公司，用于管理他们的Hadoop批处理工作流。Azkaban根据工作的依赖性进行排序，提供友好的Web用户界面来维护和跟踪用户的工作流程。 **YARN **是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，解决了旧MapReduce框架的性...
2019大数据开源项目汇总
一个有趣、有料、有内涵的地方!
10-09 1532
电信大数据项目 以通话数据去展示如何处理并分析大数据，并最终通过图表可视化展示。 github地址：https://github.com/LittleLawso...
一共81个，开源大数据处理工具汇总（下），包括日志收集系统/集群管理/RPC等
ShiZhixin的专栏
07-14 4688
作者：大数据女神-诺蓝（微信公号：dashujunvshen）。本文是36大数据专稿，转载必须标明来源36大数据。 接上一部分：一共81个，开源大数据处理工具汇总（上），第二部分主要收集整理的内容主要有日志收集系统、消息系统、分布式服务、集群管理、RPC、基础设施、搜索引擎、Iaas和监控管理等大数据开源工具。 日志收集系统 一、Facebook Scribe 贡献者：Facebook
开源大数据利器汇总
weixin_33786077的博客
04-10 357
类别 名称 官网 备注 查询引擎 Phoenix http://phoenix.incubator.apache.org/ Salesforce公司出品，ApacheHBase之上的一个SQL中间层，完全使用Java编写 Stinger http://hortonworks.com/labs/stinger/ http://tez.in...
大数据开源项目集锦（持续更新）
博学而笃志，切问而近思
09-08 3236
（1）Hadoop 一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序   http://hadoop.apache.org/   （2）Marathon是一个全新的框架，它将Mesos变成一个更有活力的工具，进而可以在单一的集群上运行不同的应用程序。   https://github.com/mesosphere/marathon
2024大数据面试题汇总(完善中。。。)
为人性僻 语不惊人
06-18 2897
自己汇总的面试题，涉及到大数据的常用组件，将持续更新... ... 部分图片不全，后期继续完善 更新记录: 2024-6-18 初版0.1.0 :hadoop，hbase，doris，hive，mysql，es 2024-6-26 1.0.0 : java，spark，redis，kafka，flink，kafka，数据仓库
使用datax通过HbaseShell封装writer和reader同步hbase数据到hbase_踩坑_细节总结---大数据之DataX工作笔记008
添柴程序猿的专栏
04-17 1480
可以看到,phoenix添加的表,对应的rowkey就是主键的值,然后所有的列都放到了0这个列族中,然后_0这个0列族中的列,就是主键,值value。对应的,原来表中的rowkey是无法同步过来的,这个是datax提供的hbase的,不带sql的,也就是使用原生java的hbase客户端。可以看到最后面,core部分,要自己补充上,要不然报错,然后,一定要注意,datax-web,生成的json,index都是从1开始的,
大数据组件图谱---比较齐全
热门推荐
认知 行动 坚持
02-01 4万+
转载地址：http://blog.youkuaiyun.com/u010039929/article/details/70157376 大数据组件图谱 文件系统数据存储内存技术数据搜集消息系统数据处理查询引擎分析和报告工具调度与管理服务机器学习开发平台 文件系统 HDFSHadoop Distributed File S
大数据项目
03-04
大数据项目
盘点大数据生态圈，那些繁花似锦的开源项目
周红伟讲AI
09-11 3315
 盘点大数据生态圈，那些繁花似锦的开源项目 发表于12小时前| 2466次阅读| 来源优快云| 6 条评论| 作者仲浩 大数据开源HadoopSpark 摘要：过去数年，大数据开源生态圈得到了长足的发展——在数据的整个生命周期中，各种开源技术框架林立。而在这些开源技术的基础上，业内涌现出一系列令人敬佩的大数据架构实践。 随着互联网和移动互联网的发展，时下我们
大数据开源组件图谱------非常详细
lcm_linux的博客
11-25 3105
文件系统 HDFS Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。 GlusterFS 是一个集群的文件系统，支持PB级的数据量。GlusterFS 通过RDMA和TCP/IP方式将分布到不同服务...
开源大数据项目推荐：引领数据时代的创新力量
weixin_48313678的博客
06-22 1526
开源大数据项目的兴起，标志着技术创新和协作的新纪元。通过参与和贡献开源项目，程序员和数据科学家不仅可以提升自身技能，还能推动整个行业的发展。希望本文推荐的热门开源项目，能够激发更多人参与到开源大数据的行列中，共同探索数据时代的无限可能。
近期关注的大数据开源项目
L, there!
02-08 2850
截止至 2022-02-08 计算引擎 Service Git Star Contributors Release License Apache Flink 18.1k 1005 v1.14.3 Apache-2.0 Apache Flink：https://github.com/apache/flink 数据开发 Service Git Star Contributors Release License .
大数据毕业设计：500个开源项目推荐（源码+论文）✅
公众号：源码之屋，十多年程序猿资深互联网人，目前专注于Python/Java/大数据项目解决方案制定，提供各行业各编程语言的全套开发服务，喜爱code，喜爱分享，生命不止，编码不息！
12-15 1万+
大数据毕业设计：500个开源项目推荐（源码+论文）✅
一共81个，开源大数据处理工具汇总（上）
ShiZhixin的专栏
07-14 4343
作者：大数据女神-诺蓝（微信公号：dashujunvshen）。本文是36大数据专稿，转载必须标明来源36大数据。 本文一共分为上下两部分。我们将针对大数据开源工具不同的用处来进行分类，并且附上了官网和部分下载链接，希望能给做大数据的朋友做个参考。下面是第一部分。 查询引擎 一、Phoenix 贡献者：：Salesforce 简介：这是一个Java中间层，可以让开发者在Apache
开源项目推荐：物联网消息引擎EMQ X/大数据平台TDengine/可视化平台Grafana/dgiot
$firecat利白的代码足迹$
10-18 2634
1、EMQ EMQ X Broker 是基于高并发的 Erlang/OTP 语言平台开发，支持百万级连接和分布式集群架构，发布订阅模式的开源 MQTT 消息服务器。EMQ X Broker 在全球物联网市场广泛应用。无论是产品原型设计、物联网创业公司、还是大规模的商业部署，EMQ X Broker 都支持开源免费使用。 https://www.emqx.io/cn/ https://github.com/emqx/emqx 2、TDengine TDengine是涛思数据专为物联网、车联网、.
remark-man：前端备注人的开源库
- remark-man可能会依赖于现有的开源项目和工具链，例如Node.js、npm（Node.js包管理器）、Gulp或者Webpack等自动化构建工具。 - remark-man的实现可能涉及到解析器（parser）来读取Markdown或者其他格式的输入，并...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小赖同学啊

感谢上帝的投喂

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值