Social Networks: Getting Distributed Web Services Done with NoSQL

印尼稻米收成与粮食安全数据集2026年 本数据集收录印度尼西亚2026年水稻收成与粮食安全遥测数据,包含10000条稻米农业收成产量与粮食安全监测记录,围绕印尼国家粮食安全体系中的核心作物水稻展开。稻米是印尼逾两亿人口的主粮,其收成波动直接影响国家粮食安全与进口政策,本数据集将种植区域、收成产量、气候与土壤相关遥测指标整合为结构化表格,可支撑粮食产量预测、收成影响因素分析、区域粮食安全评估与农业政策模拟等研究任务。典型应用场景包括:农业时间序列产量预测模型构建、气候因子与水稻收成的关联分析、省份与地区层面的粮食自给率测算、粮食安全风险预警指标设计,也可作为农业经济、粮食政策与数据科学交叉课程的教学素材。数据为2026年最新版,规模约1.2MB、单CSV结构规整,字段命名清晰,适合Python、Pandas、Scikit-learn等主流工具链直接使用,便于开展探索性分析、可视化与机器学习全流程练习。重要说明:本数据为遥测整理数据,分析结论以数据集文档口径为准,农业决策请结合官方统计综合研判。许可:CC0公有领域,可自由使用与二次分发。 立即下载

http://www.infoq.com/presentations/Social-Networks-NoSQL

 

monolithic single service, synchronous

Asynchronous Services

php-amqp (http://code.google.com/p/php-amqp/)

Activity Stream

Social Network Problem(Twitter Problem)

• >15 different Events
• Timelines
• Aggregation
• Filters
• Privacy

 

18M Events/day sent to ~150 friends
=> 2700M timeline inserts / day
20% during peak hour
=> 3.6M event inserts/hour - 1000/s
=> 540M timeline inserts/hour - 150000/s

 

• Nginx + Janitor
• Embedded Jetty + RESTeasy
• NoSQL Storage Backends

 

 

Schema:

Message → [distribute uid, body]

(index)recipient_time_line → [[itemId, time, type]

(index)sender_time_line → [itemId, time, type]

• Identify Users with recipient lists >{limit}
• Only push updates with recipients <{limit} to MRI(recipient_time_line)
• Pull special profiles and users with >{limit} from ORI (sender_time_line)
• Identify active users with a bloom/bit filter for pull

 

Activity Filter

Scan full day of updates for16M users on a per minute granularity for 1000 friends in < 100msecs

 

NoSQL: Redis

• Fast in memory Data-Structure Server
• Easy protocol
• Asynchronous Persistence
• Master-Slave Replication
• Virtual-Memory (>250 GB of RAM needed, swaps less frequented values to disk)
• JRedis - The Java client (No consistent hashing, No rebalancing, Pipelining support)

• Persistence - AOF(less memory hungry) and Bgsave (for additional backups)

 

NoSQL: Voldemort

• Key-Value Store
• Replication
• Versioning
• Eventual Consistency
• Pluggable Routing / Hashing Strategy
• Rebalancing

• Pluggable Storage-Engine
• Reduce the size of the BDB append log
• Balance Client and Server Threadpools

• Choose a big number of partitions

 

NoSQL:Hazelcast

• In Memory Data Grid
• Dynamically Scales
• Distributed java.util.{Queue|Set|List|Map}and more
• Dynamic Partitioning with Backups
• Configurable Eviction
• Persistence

• IDs of Stream Entries generated via Hazelcast

• Nodes get ranges assigned (node1: 10000-19999, node2: 20000-29999 ID's)
• IDs per range locally incremented on the node (thread safe/atomic)
• Distributed locks secure range assignment for nodes

 

Start benchmarking and profiling your app early!

 

 

名词大洗底:

Nginx : 反向代理服务器 , 正向代理(forward proxy ) 是out-bound traffic 代理,比如ISP提供商的代理,将用户(比如我等宽带用户)的请求forward到internet的目标服务器,可能会缓存网页,改善性能. 反向代理是在服务器端加入一个代理层, 将请求分发到到不同的主机。因此反向代理可作为load balancer

 

Janitor: Computer Janitor is a tool that lets you clean up a system so it's more like a freshly installed one ?

 

AMQP : 高级消息队列协议,这是一个可以和 JMS 进行类比的消息中间件开放规范,所不同的是 AMQP 同时定义了消息中间件的语意层面和协议层面;另外一个不同是 AMQP 是语言中立的,而 JMS 仅和 Java 相关。AMQP 在“语意层面的定义”,这就意味着,它并不仅仅是象 JMS 或者其他的 MQ 一样,仅能按照预定义的方式工作,而是“可编程”的消息中间件 。

 

RabbitMQ : Erlang 实现的 MQ

 

Jetty : java jsp servlet的一个轻量级(?)容器,据说比Tomcat, JBoss支持更好的高并发

 

RESTeasy : jax-ws的一个实现,同JBOSS有着很好的继承;同时有client端和server端的web service 框架

 

voldmort : Linked 使用的分布式key-value存储系统, java实现, Pluggable serialization, Storage-Engine, Routing / Hashing Strategy (三个关键模块都是pluggable)

 

hazelcast : In Memory Data Grid, Distributed java.util.{Queue|Set|List|Map} (? 相当有趣)


Redis :c语言的 key-value store,支持数据结构的直接存储(比如list, set, ordered set)


 

 

 

 

企业数字化转型AI大模型赋能智能体平台及AI场景应用规划方案(生态合作版).pptx 立即下载

相关推荐

智慧环保生态保护行业可信数据空间应用规划方案(技术方案版).pptx

智慧环保生态保护行业可信数据空间应用规划方案(技术方案版).pptx

Java GC 调试手记

摘要 本文记录GC调试的一次实验过程和结果。 GC知识要点回顾 问题1:为什么要调试GC参数? 在32核处理器的系统上,10%的GC时间导致75%的吞吐量损失。所以在大型系统上,调试GC是以小博大的不错选择。'small improvements in reducing such a bottleneck can produce large gains in performance.'

FireCoder的专栏 3万+

MCGS的Http协议驱动,支持http协议

硬件配置 参数设置 设备属性 设备命令 通讯状态 附录 #HTTP 1、 设备简介 驱动类型 该驱动为独立设备,直接添加构件即可,不需要挂载到父设备下 通讯协议 采用标准HTTP1.1协议 通讯方式 驱动构件为客户端。 2、 硬件连接 本软件在通讯之前,请保证通讯连接正确。通讯连接方式:采用标准的RJ45接口的以太网接线(对调网线或使用HUB交换)。 3、 设备通讯参数 本设备为独立设备,无父设备参数 4、 设备构件参数设置 “HTTP设备”参数设置如下: <1> 内部属性: 构建url信息。 <2> 最小采集周期:本软件对设备进行操作的时间周期,单位为ms,默认为100ms。 <3> 通讯等待时间:通讯数据接收等待时间,默认设置为200ms,当采集速度要求较高或数据量较大时,设置值可适当减小或增大。 <4> HttpHead:http head添加需要的字段,不需要添加http head时值为空,默认不添加。 5、 设备命令 本设备构件提供设备命令,用于进行相应的操作,设备命令的格式如下: 设备命令 命令介绍 GetHttpHead 格式1 GetHttpHead(headStr) 用途 获取http head参数 参数 headStr 参数可以为字符型变量、字符串常量 例1 !SetDevice(设备0,6,"GetHttpHead(headStr)") 获取http head数据保存到headStr中 SetHttpHead 格式1 SetHttpHead(headStr) 用途 设置http head参数 参数 headStr 参数可以为字符型变量、字符串常量

mybatis (Ibatis ibator) generator - 1 mysql 分页插件(page/paging/pagination plugin)

前言在线文档,参考 http://ibatis.apache.org/docs/tools/ibator/由于ibatis转移为mybatis,所以参考mybatis 最新文档:http://code.google.com/p/mybatis/wiki/Downloads?tm=2下载的MyBatis Generator Tool中有文档说明http://ibatis.apache.org/docs/tools/ibator/reference/pluggingIn.html将plugin的生命周期和怎么扩

FireCoder的专栏 1万+

电机控制易混知识点1-基波频率/载波频率/采样频率

在电机控制学习工作中会接触到很多专业名词,其中基波频率,载波频率,采样频率是最常接触到的,特别对于电机控制小白开说,不容易理解,现对这几个概念做下总结归纳。

新能源电机控制工程师 | 聚焦实战问题,搭建互助平台 分享电机控制代码调试、现场故障排查、算法优化中的真实困惑;开放讨论电机基础知识以及工作中遇到难点等共性难题。拒绝单向输出,只做工程师的“技术树洞”与“解忧杂货铺”! 2195

Linux CentOS 8系统离线升级内核版本

CentOS 8操作系统离线场景下升级内核版本

WQwinter的博客 3237

JAX-WS Provider (JAXB) 的加载顺序

Problem项目中使用JAX-WS 2.1.4,抛出以下错误 Caused by: java.lang.ClassCastException: com.sun.xml.bind.v2.runtime.JAXBContextImpl cannot be cast to com.sun.xml.internal.bind.api.JAXBRIContext      at com.sun.xml.internal.ws.fault.SOAPFaultBuilder.(SOAPFaultBuilder.java

FireCoder的专栏 1万+

JAVA + 海康威视SDK + FFmpeg+ SRS 实现海康威视摄像头二次开发

海康威视SDK接入方案摘要 本文介绍了使用海康威视官方SDK开发物联网平台摄像头接入功能的完整方案。系统采用Java后端集成HCNetSDK控制摄像头,通过FFmpeg将RTSP流转为RTMP推送到SRS流媒体服务器,前端基于HTTP-FLV协议实现视频播放。文章详细说明了开发准备工作,包括SDK下载、SRS部署、FFmpeg安装等关键步骤,并提供了数据库表设计和接口定义。核心部分展示了如何集成海康SDK,包括提取必要代码、加载DLL文件、配置打包插件等具体实现细节,最终形成了一套支持实时预览、回放和下载的

2401_83057947的博客 2268

Hilbert 曲线

问题 一POI(Point of Interest)数据库每天都有增量的数据更新进来,对每个新增的poi必须进行dedup(去重)。即在已有库中查找是否有匹配的poi。 解决 找是否匹配的POI,当然不可能把所有的数据(几千万的点)全部取出来一一匹配。所以通用的做法是按距离进行过滤,只取当前点一定范围内的点。这是一个典型的空间索引的问题(Spatial index)。空间索引有R-Tree,

FireCoder的专栏 1万+

【产品经理修炼之道】- 基金产品-“TA系统 ”

TA:Transfer Agent 缩写,通常称成“登记过户”。开放式基金登记过户(TA)系统是基金的登记过户系统。其功能涵盖了基金交易业务的各个环节,包括账户业务处理,如投资者开户、修改账户资料、挂失/解挂等;日常交易业务处理,如认购、申购(一般申购和定期定额)、赎回(一般赎回、指定赎回、预约赎回等)、转托管、基金转换等;特殊业务处理,如非交易过户、账户冻结/解冻等;分红业务处理,如现金分红和红利再投资。

xiaoli8748的专栏 1679

手把手教你学PCIE--PCIe架构详解 - 物理层结构

在前一篇文章中,我们对PCIe与其他总线协议进行了对比分析。本文将深入探讨PCIe的物理层结构,这是PCIe协议的核心组成部分之一。物理层负责实际的电气信号传输,理解其工作原理对于设计和调试PCIe系统至关重要。PCIe的物理层是协议栈的最底层,负责将数据从链路层转换为电信号进行传输,并在接收端将电信号还原为数据。差分信号传输:通过一对差分信号线实现高速、低噪声的数据传输。时钟恢复:从数据流中提取时钟信号以同步收发双方。均衡与预加重:补偿信号在传输过程中的损耗,提高链路可靠性。

MHD0815的博客 365

java finalize 方法引发的内存泄露

java finalize 方法引发的内存泄露 Posted: Mon, 11 Mar 2013 java 内存dump 内存dump后,大量的内存(>5G) 被 java.lang.ref.Finalizer hold 住(见图1)。 而这些内存是BDB占用,怀疑是BDB有内存泄露(见图2)。 java finalizer 机制 为什么会是 java

FireCoder的专栏 1万+

Aduino 通过I2C接口读取MPU6050模块数据

Aduino ESP9266通过I2C接口读取MPU6050模块数据 MPU6050模块 原理图 所需库:Adafruit_MPU6050 Adafruit_BusIO Adafruit Unified Sensor 接线示意图 ESP8266---MPU6050 VCC -- 3.3v GND -- GND D2 -- SDA D1 -- SCL 示例程序代码 #include <Adafruit_MPU6050.h> #include <Adafruit

perseverance51博客 621

maven java.lang.NoClassDefFoundError: org/codehaus/plexus/util/DirectoryScanner

org/codehaus/plexus/util/DirectoryScanner在反复搜索无果之后,我将本来的repository plexus-utils 进行了清空/home/lee/.m2/repository/org/codehaus/plexus/plexus-utils然后一切OKmvn install我对plexus 究竟是啥很好奇,搜了一下,原来是另外一个IOC容器http://www.bluedash.net/spaces/Plexus,Spring之外的IoC容器提到IOC,不得不说号

FireCoder的专栏 8992

KEPServerEX 6 之 EX 6.11.718.0 发布说明

KEPServerEX 6.11.718.0 发布说明

-雲飛兄-博客 2882

CT探测器普遍采用“星形拓扑+多ADC模组”架构的TDC(时间数字转换器)设计方案

本文提出一种基于TDC反馈机制的CT探测器时钟同步方法,通过延时测量、偏差计算和动态补偿三步硬件流水线,实现高精度同步。系统采用Xilinx Kintex UltraScale FPGA内置CARRY8进位链构建3.5ps分辨率的TDC,结合多级比较器和延迟单元,形成闭环反馈控制。实验表明,在512通道、1.28m传输距离下,同步精度稳定在10ps以内,较传统方案提升两个数量级,并能动态补偿干扰抖动。该方案解决了传统方法在CT旋转腔体环境下精度不足的问题,为下一代超高清CT提供了有效的时钟同步解决方案。

whm128的博客 276

Cassandra 源码解析汇总

<br />Cassandra 源码解析Cassandra 源码解析 1:网络通信Cassandra 源码解析 2: 文件流传输 对象序列化Cassandra 源码解析 3: 分布式hashtable(DHT) 和 LocatorCassandra 源码解析 4: GMS 集群管理Cassandra 源码解析 5: MerkleTreeCassandra 源码解析 6: Storage Engine (DB Layer)<br /> <br /> <br /> <br /> <br /> 

FireCoder的专栏 8246

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

七种武器:apache commons : commons-lang

前言有人说apache 就是丐帮,各种开源项目鱼龙混杂,参差不起。今天试着梳理下commons包,首先是commons-lang。看了一眼之后,一个字:杂,有如瑞士军刀,无数用途。如何organize这种类JDK util代码?1) the most interesting in design or implementation2) the most useful 3) see how other developer uses, wrap, rewrite JDK正文 lang.builder.*解决了一个

FireCoder的专栏 7825

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

Happy Apache Cassandra 2: File Store Format

h3. Model Review Cassandra data model Column Family Super Column Family h3. File Format h4. Keyspace Each Keyspace(Eg. Lobs)in separated directoryEach ColumnFamily(Eg. obje

FireCoder的专栏 7274

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

Cassandra 源码解析 1:网络通信

org.apache.cassandra.thrift -  Server 端入口CassandraDaemon: 启动类CassandraServer implements org.apache.cassandra.thrift.Cassandra.Iface : 接口类,类似于web service中的skeletonCustomTThreadPoolServer extends  org.apache.thrift.server.TServer :监听类,监听thrift client请求

FireCoder的专栏 7204

Cassandra 源码解析 5: MerkleTree

原理<br />在第4篇中,我们谈到集群管理要做的一件事情是保证不同节点数据备份的一致性。这里头涉及到两个问题:选择哪些节点之间定时同步,比如有n个节点持有相同数据备份,如果每次每台机器两两同步,每次开销为n*(n-1),so big?两个节点之间如何同步,比如每个节点存储1m条data[key, value],其中仅10条数目不一样。我们扫描所有1m数据找出这10条数目?<br />第一个问题cassandra使用gossip协议来保证每个节点的member视图一致(特点是:同步间隔短,1s一次;较小的网

FireCoder的专栏 6710

Cassandra 源码解析 3: 分布式hashtable(DHT) 和 Locator

原理cassandra DHT使用的是consistent hash目的:在增加节点或者减少节点时,避免因为rehash(比如采用取模hash,两个节点时%2, 三个节点时%3,大部分key的hash值随着节点的数目变化而变化)而引起的server 震荡。实现:将hash空间固定,0~2^32,每个node(主机)生成一个hash值,将node映射到hash空间。给定的key,计算其hash值,沿着hash顺时针找到第一个node即使目标主机(如下图,借图一幅)添加节点:很显然,添加一个节点,hash空间的

FireCoder的专栏 6428

七种武器:Collection 之 Google Guava

baseString<br />java String 即一个不可变的char数组Splitter<br />String[] split = str.split(String regex);<br />Google Splitter的分隔符可以是单个的char,或者CharMatcher,或者字符串str,或者正则表达式的字符串patternStr,或者是一个Pattern,或者是固定length来分隔,分别有对应的 Factory 方法(on)来返回Splitter实例<br />另外还有trimRes

FireCoder的专栏 5923

Java ThreadPoolExecutor 线程池 tips 1:单线程吞吐量来估计系统的线程数目

The thread pool model is as below4 job producer for different carrier (Sprint, Sprint Demo, Nextel, At&t)1 job queue as a buffer (although t

FireCoder的专栏 5898

树的前序与后序遍历 (Pre-order Post-order Traversal)

引子公司里一项目使用work flow, 使用的是JBoss jBPM.存储为xml格式,需求如下1) xml文档和business model: node class 实例之间的相互转换2) 检查整个tree的高度和宽度,避免用户创建太深或者太宽的work flow3) 检查node的名称,不容许有重复的命名xml 样例

FireCoder的专栏 5816

Linux入门攻坚——93、NoSQL数据库概览及MongoDB数据库入门

每个外模式都对应一个全局模式的映射规则,当全局模式发生变更(比如新增业务表、调整字段类型、修改表关联关系)时,只需要修改这个映像的映射规则,上层用户使用的外模式完全不需要改动,基于外模式开发的应用程序也无需任何修改,就可以正常运行。关系模型中,实体以及关系都是以二维表形式表示。NoSQL的兴起,是因大数据与分布式系统而产生的,其是借助于分布式技术来应对大数据时代的数据存储与处理的技术,因为在大数据时代,大数据的4V特征,导致关系型数据库在应对大数据时能力上有点捉襟见肘,因而催生了NoSQL的兴起。

kaoa000的专栏——非淡泊无以明志,非宁静无以致远 279
上一篇: Introduction to algorithm
下一篇: 面试题1: eggs problem
FireCoder
博客等级 码龄17年 65粉丝 100原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

FireCoder

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值