Druid:一个用于大数据实时处理的开源分布式系统

【大数据入门核心技术-Druid】(一)Druid简介 Apache Druid 是一个分布式的、支持实时多维 OLAP 分析的数据处理系统,用于解决如何在大规模数据集下进行快速的、交互式的查询和分析的问题。Apache Druid 具有以下特点: 亚秒响应的交互式查询,支持较高;包括多维过滤、Ad-hoc 的属性分组、快速聚合数据等。 支持高并发、实时数据摄入,真正做到数据摄入实时、查询结果实时。 扩展性强,采用分布式 shared-nothing 的架构,支持 PB 级数据、千亿级事件快速处理,支持每秒数千查询并发。 支持多租户同时在线查询。 支持 阅读详情

Druid是一个用于大数据实时查询和分析的高容错、高性能开源分布式系统,旨在快速处理大规模的数据,并能够实现快速查询和分析。尤其是当发生代码部署、机器故障以及其他产品系统遇到宕机等情况时,Druid仍能够保持100%正常运行。创建Druid的最初意图主要是为了解决查询延迟问题,当时试图使用Hadoop来实现交互式查询分析,但是很难满足实时分析的需要。而Druid提供了以交互方式访问数据的能力,并权衡了查询的灵活性和性能而采取了特殊的存储格式。

Druid功能介于PowerDrill和Dremel之间,它几乎实现了Dremel的所有功能,并且从PowerDrill吸收一些有趣的数据格式。Druid允许以类似Dremel和PowerDrill的方式进行单表查询,同时还增加了一些新特性,如为局部嵌套数据结构提供列式存储格式、为快速过滤做索引、实时摄取和查询、高容错的分布式体系架构等。从官方得知,Druid的具有以下主要特征:

  • 为分析而设计——Druid是为OLAP工作流的探索性分析而构建,它支持各种过滤、聚合和查询等类;
  • 快速的交互式查询——Druid的低延迟数据摄取架构允许事件在它们创建后毫秒内可被查询到;
  • 高可用性——Druid的数据在系统更新时依然可用,规模的扩大和缩小都不会造成数据丢失;
  • 可扩展——Druid已实现每天能够处理数十亿事件和TB级数据。

Druid应用最多的是类似于广告分析创业公司Metamarkets中的应用场景,如广告分析、互联网广告系统监控以及网络监控等。当业务中出现以下情况时,Druid是一个很好的技术方案选择:

  • 需要交互式聚合和快速探究大量数据时;
  • 需要实时查询分析时;
  • 具有大量数据时,如每天数亿事件的新增、每天数10T数据的增加;
  • 对数据尤其是大数据进行实时分析时;
  • 需要一个高可用、高容错、高性能数据库时。

 

Historical节点  :对非实时数据进行处理存储和查询

Realtime节:实时摄取数据、监听输入数据流

Coordinator节点:监控Historical节点

Broker节点:接收来自外部客户端的查询和将查询转发到Realtime和Historical节点

Indexer节点:负责索引服务

一个Druid集群有各种类型的节点(Node)组成,每个节点都可以很好的处理一些的事情,这些节点包括对非实时数据进行处理存储和查询的Historical节点、实时摄取数据、监听输入数据流的Realtime节、监控Historical节点的Coordinator节点、接收来自外部客户端的查询和将查询转发到Realtime和Historical节点的Broker节点、负责索引服务的Indexer节点。

 

 

查询操作中数据流和各个节点的关系如下图所示:

如下图是Druid集群的管理层架构,该图展示了相关节点和集群管理所依赖的其他组件(如负责服务发现的ZooKeeper集群)的关系:

 

 

 

 

一、Druid简介
二、Druid架构组成及相关依赖
三、Druid集群配置
四、Druid集群启动
五、Druid查询
六、后记

一、Druid简介

Druid是一个为大型冷数据集上实时探索查询而设计的开源数据分析和存储系统,提供极具成本效益并且永远在线的实时数据摄取和任意数据处理。

主要特性:

  • 为分析而设计——Druid是为OLAP工作流的探索性分析而构建。它支持各种filter、aggregator和查询类型,并为添加新功能提供了一个框架。用户已经利用Druid的基础设施开发了高级K查询和直方图功能。
  • 交互式查询——Druid的低延迟数据摄取架构允许事件在它们创建后毫秒内查询,因为Druid的查询延时通过只读取和扫描有必要的元素被优化。Aggregate和 filter没有坐等结果。
  • 高可用性——Druid是用来支持需要一直在线的SaaS的实现。你的数据在系统更新时依然可用、可查询。规模的扩大和缩小不会造成数据丢失。
  • 可伸缩——现有的Druid部署每天处理数十亿事件和TB级数据。Druid被设计成PB级别。

就系统而言,Druid功能位于PowerDrill和Dremel之间。它实现几乎所有Dremel提供的工具(Dremel处理任意嵌套数据结构,而Druid只允许一个基于数组的嵌套级别)并且从PowerDrill吸收一些有趣的数据格式和压缩方法。

Druid对于需要实时单一、海量数据流摄取产品非常适合。特别是如果你面向无停机操作时,如果你对查询查询的灵活性和原始数据访问要求,高于对速度和无停机操作,Druid可能不是正确的解决方案。在谈到查询速度时候,很有必要澄清“快速”的意思是:Druid是完全有可能在6TB的数据集上实现秒级查询。

二、Druid架构组成及其他依赖

海量数据实时OLAP分析系统-Druid.io安装配置和体验

2.1 Overlord Node (Indexing Service)

Overlord会形成一个加载批处理和实时数据到系统中的集群,同时会对存储在系统中的数据变更(也称为索引服务)做出响应。另外,还包含了Middle Manager和Peons,一个Peon负责执行单个task,而Middle Manager负责管理这些Peons。

2.2 Coordinator Node

监控Historical节点组,以确保数据可用、可复制,并且在一般的“最佳”配置。它们通过从MySQL读取数据段的元数据信息,来决定哪些数据段应该在集群中被加载,使用Zookeeper来确定哪个Historical节点存在,并且创建Zookeeper条目告诉Historical节点加载和删除新数据段。

2.3 Historical Node

是对“historical”数据(非实时)进行处理存储和查询的地方。Historical节点响应从Broker节点发来的查询,并将结果返回给broker节点。它们在Zookeeper的管理下提供服务,并使用Zookeeper监视信号加载或删除新数据段。

2.4 Broker Node

接收来自外部客户端的查询,并将这些查询转发到Realtime和Historical节点。当Broker节点收到结果,它们将合并这些结果并将它们返回给调用者。由于了解拓扑,Broker节点使用Zookeeper来确定哪些Realtime和Historical节点的存在。

2.5 Real-time Node

实时摄取数据,它们负责监听输入数据流并让其在内部的Druid系统立即获取,Realtime节点同样只响应broker节点的查询请求,返回查询结果到broker节点。旧数据会被从Realtime节点转存至Historical节点。

2.6 ZooKeeper

为集群服务发现和维持当前的数据拓扑而服务;

2.7 MySQL

用来维持系统服务所需的数据段的元数据;

2.8 Deep Storage

保存“冷数据”,可以使用HDFS。

 

海量数据实时OLAP分析系统-Druid.io安装配置和体验

三、Druid集群配置

3.1 环境信息

我这里有两台机器,node1有32G内存,上面部署了Histotical Node和Coordinator Node;node2有72G内存,上面部署了其他四个服务。

海量数据实时OLAP分析系统-Druid.io安装配置和体验

3.2 通用配置(Common Configuration)

##创建MySQL数据库

CREATE DATABASE `druid` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;
grant all on druid.* to druid@’%’ identified by ‘druid1234′ WITH GRANT OPTION;
flush privileges;

##配置文件

cd $DRUID_HOME/config/_common
vi common.runtime.properties(所有节点)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
##使用Mysql存储元数据
druid.extensions.coordinates=[ "io.druid.extensions:druid-examples" , "io.druid.extensions:druid-kafka-eight" , "io.druid.extensions:mysql-metadata-storage" ]
 
##zookeeper
druid.zk.service.host=zkNode1:2181,zkNode2:2181,zkNode3:2181
 
##Mysql配置
druid.metadata.storage. type =mysql
druid.metadata.storage.connector.connectURI=jdbc:mysql: //node1 :3306 /druid
druid.metadata.storage.connector.user=druid
druid.metadata.storage.connector.password=diurd1234
 
##配置deep storage到HDFS
druid.storage. type =hdfs
druid.storage.storageDirectory=hdfs: //cdh5/tmp/druid/storage
 
##配置查询缓存,暂用本地,可配置memcached
druid.cache. type = local
druid.cache.sizeInBytes=10737418240
 
##配置监控
druid.monitoring.monitors=[ "com.metamx.metrics.JvmMonitor" ]
 
##配置Indexing service的名字
druid.selectors.indexing.serviceName=druid /overlord
 
##
druid.emitter=logging

3.3 Overlord Node(Indexing Service)

在运行Overlord Node节点上:

cd $DRUID_HOME/config/overlord
vi runtime.properties

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
druid.host=node2
druid.port=8090
druid.service=druid /overlord
 
# Only required if you are autoscaling middle managers
druid.indexer.autoscale.doAutoscale= true
druid.indexer.autoscale.strategy=ec2
druid.indexer.autoscale.workerIdleTimeout=PT90m
druid.indexer.autoscale.terminatePeriod=PT5M
druid.indexer.autoscale.workerVersion=0
 
# Upload all task logs to deep storage
druid.indexer.logs. type =hdfs
druid.indexer.logs.directory=hdfs: //cdh5/tmp/druid/indexlog
 
# Run in remote mode
druid.indexer.runner. type =remote
druid.indexer.runner.minWorkerVersion=0
 
# Store all task state in the metadata storage
druid.indexer.storage. type =metadata

3.4 MiddleManager Node

在运行MiddleManager Node节点上:
cd $DRUID_HOME/config/middleManager
vi runtime.properties

1
2
3
4
5
6
7
8
9
10
druid.host=node2
druid.port=8091
druid.service=druid /middlemanager
 
druid.indexer.logs. type =hdfs
druid.indexer.logs.directory=hdfs: //cdh5/tmp/druid/indexlog
 
# Resources for peons
druid.indexer.runner.javaOpts=-server -Xmx2g -XX:+UseG1GC -XX:MaxGCPauseMillis=100 -XX:+PrintGCDetails -XX:+PrintGCTimeStamps
druid.indexer.task.baseTaskDir= /tmp/persistent/task/

3.5 Coordinator Node

在运行Coordinator Node节点上:
cd $DRUID_HOME/config/coordinator
vi runtime.properties

1
2
3
4
5
druid.host=node1
druid.port=8081
druid.service=coordinator
 
druid.coordinator.startDelay=PT5M

3.6 Historical Node

在运行Historical Node节点上:
cd $DRUID_HOME/config/historical
vi runtime.properties

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
druid.host=node1
druid.port=8082
druid.service=druid /historical
 
druid.historical.cache.useCache= true
druid.historical.cache.populateCache= true
 
druid.processing.buffer.sizeBytes=1073741824
druid.processing.numThreads=9
 
druid.server.http.numThreads=9
druid.server.maxSize=300000000000
 
druid.segmentCache.locations=[{ "path" : " /tmp/druid/indexCache" , "maxSize" : 300000000000}]
 
druid.monitoring.monitors=[ "io.druid.server.metrics.HistoricalMetricsMonitor" , "com.metamx.metrics.JvmMonitor" ]

3.7 Broker Node

在运行Broker Node节点上:
cd $DRUID_HOME/config/broker
vi runtime.properties

1
2
3
4
5
6
7
8
9
10
11
druid.host=node2
druid.port=8092
druid.service=druid /broker
 
druid.broker.http.numConnections=20
druid.broker.http.readTimeout=PT5M
 
druid.processing.buffer.sizeBytes=2147483647
druid.processing.numThreads=11
 
druid.server.http.numThreads=20

3.8 Real-time Node

在运行Real-time Node节点上:
cd $DRUID_HOME/config/realtime
vi runtime.properties

1
2
3
4
5
6
7
8
9
10
11
druid.host=node2
druid.port=8093
druid.service=druid /realtime
 
druid.processing.buffer.sizeBytes=1073741824
druid.processing.numThreads=5
 
# Override emitter to print logs about events ingested, rejected, etc
druid.emitter=logging
 
druid.monitoring.monitors=[ "io.druid.segment.realtime.RealtimeMetricsMonitor" , "com.metamx.metrics.JvmMonitor" ]

四、Druid集群启动

首次启动时候,可以遵循下面的启动顺序。

4.1 Broker Node

cd $DRUID_HOME/
cp run_druid_server.sh run_broker.sh
vi run_broker.sh

替换以下内容:

1
2
3
4
5
6
7
SERVER_TYPE=broker
 
# start process
JAVA_ARGS= "${JAVA_ARGS} -Xmx10g -Xms5g -XX:NewSize=2g -XX:MaxNewSize=2g -XX:MaxDirectMemorySize=24g -XX:+UseConcMarkSweepGC -XX:+PrintGCDetails -XX:+PrintGCTimeStamps"
JAVA_ARGS= "${JAVA_ARGS} -Duser.timezone=GMT+8 -Dfile.encoding=UTF-8"
JAVA_ARGS= "${JAVA_ARGS} -Djava.util.logging.manager=org.apache.logging.log4j.jul.LogManager -Djava.io.tmpdir=/tmp/druid"
JAVA_ARGS= "${JAVA_ARGS} -Dcom.sun.management.jmxremote.port=17071 -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Ddruid.extensions.localRepository=${MAVEN_DIR}"

执行./run_broker.sh启动Broker Node:

海量数据实时OLAP分析系统-Druid.io安装配置和体验

4.2 Historical Node

cd $DRUID_HOME/
cp run_druid_server.sh run_historical.sh

vi run_historical.sh

替换以下内容:

1
2
3
4
5
6
7
SERVER_TYPE=historical
 
# start process
JAVA_ARGS= "${JAVA_ARGS} -Xmx10g -Xms10g -XX:NewSize=2g -XX:MaxNewSize=2g -XX:MaxDirectMemorySize=16g -XX:+UseConcMarkSweepGC -XX:+PrintGCDetails -XX:+PrintGCTimeStamps"
JAVA_ARGS= "${JAVA_ARGS} -Duser.timezone=GMT+8 -Dfile.encoding=UTF-8"
JAVA_ARGS= "${JAVA_ARGS} -Djava.util.logging.manager=org.apache.logging.log4j.jul.LogManager -Djava.io.tmpdir=/tmp/druid"
JAVA_ARGS= "${JAVA_ARGS} -Ddruid.extensions.localRepository=${MAVEN_DIR}"

执行命令./run_historical.sh启动Historical Node:

海量数据实时OLAP分析系统-Druid.io安装配置和体验

4.3 Coordinator Node

cd $DRUID_HOME/
cp run_druid_server.sh run_coordinator.sh
vi run_coordinator.sh

替换以下内容:

1
2
3
4
5
6
7
SERVER_TYPE=coordinator
 
# start process
JAVA_ARGS= "${JAVA_ARGS} -Xmx10g -Xms10g -XX:NewSize=512m -XX:MaxNewSize=512m -XX:+UseG1GC -XX:+PrintGCDetails -XX:+PrintGCTimeStamps"
JAVA_ARGS= "${JAVA_ARGS} -Duser.timezone=GMT+8 -Dfile.encoding=UTF-8"
JAVA_ARGS= "${JAVA_ARGS} -Djava.util.logging.manager=org.apache.logging.log4j.jul.LogManager -Djava.io.tmpdir=/tmp/druid"
JAVA_ARGS= "${JAVA_ARGS} -Ddruid.extensions.localRepository=${MAVEN_DIR}"

执行命令./run_coordinator.sh启动Coordinator Node.

4.4 Middle Manager

cd $DRUID_HOME/
cp run_druid_server.sh run_middleManager.sh
vi run_middleManager.sh

替换以下内容:

1
2
3
4
5
SERVER_TYPE=middleManager
# start process
JAVA_ARGS= "${JAVA_ARGS} -Xmx64m -Xms64m -XX:+UseConcMarkSweepGC -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -Duser.timezone=GMT+8 -Dfile.encoding=UTF-8"
JAVA_ARGS="${JAVA_ARGS} -Djava.util.logging.manager=org.apache.logging.log4j.jul.LogManager -Djava.io.tmpdir= /tmp/druid  -Ddruid.extensions.localR
epository=${MAVEN_DIR}"

执行命令./run_middleManager.sh启动MiddleManager Node。

4.5 Overlord Node

cd $DRUID_HOME/
cp run_druid_server.sh run_overlord.sh
vi run_overlord.sh

替换以下内容:

1
2
3
4
5
6
SERVER_TYPE=overlord
# start process
JAVA_ARGS= "${JAVA_ARGS} -Xmx4g -Xms4g -XX:NewSize=256m -XX:MaxNewSize=256m -XX:+UseConcMarkSweepGC -XX:+PrintGCDetails -XX:+PrintGCTimeStamps"
JAVA_ARGS= "${JAVA_ARGS} -Duser.timezone=GMT+8 -Dfile.encoding=UTF-8"
JAVA_ARGS= "${JAVA_ARGS} -Djava.util.logging.manager=org.apache.logging.log4j.jul.LogManager -Djava.io.tmpdir=/tmp/druid"
JAVA_ARGS= "${JAVA_ARGS} -Ddruid.extensions.localRepository=${MAVEN_DIR}"

执行命令./run_overlord.sh启动Overlord Node:

海量数据实时OLAP分析系统-Druid.io安装配置和体验

4.6 Real-time Node

cd $DRUID_HOME/
cp run_druid_server.sh run_realtime.sh
vi run_realtime.sh
替换以下内容:

1
2
3
4
5
6
7
8
9
10
11
SERVER_TYPE=realtime
 
# start process
JAVA_ARGS="${JAVA_ARGS} -Xmx13g -Xms13g -XX:NewSize=2g -XX:MaxNewSize=2g -XX:MaxDirectMemorySize=9g -XX:+UseConcMarkSweepGC -XX:+PrintGCDetails -
XX:+PrintGCTimeStamps -XX:+HeapDumpOnOutOfMemoryError"
JAVA_ARGS= "${JAVA_ARGS} -Duser.timezone=GMT+8 -Dfile.encoding=UTF-8"
JAVA_ARGS= "${JAVA_ARGS} -Ddruid.realtime.specFile=/home/liuxiaowen/druid-0.8.1/examples/wikipedia/wikipedia_realtime.spec"
JAVA_ARGS= "${JAVA_ARGS} -Djava.util.logging.manager=org.apache.logging.log4j.jul.LogManager -Djava.io.tmpdir=/tmp/druid"
JAVA_ARGS="${JAVA_ARGS} -Dcom.sun.management.jmxremote.port=17072 -Dcom.sun.management.jmxremote.authenticate= false  -Dcom.sun.management.jmxremot
e.ssl= false "
JAVA_ARGS= "${JAVA_ARGS} -Ddruid.extensions.localRepository=${MAVEN_DIR}"

##特别需要注意参数:

-Ddruid.realtime.specFile=/home/liuxiaowen/druid-0.8.1/examples/wikipedia/wikipedia_realtime.spec

启动RealTime Node需要指定一个realtime数据源的配置文件,本文中使用example提供的wikipedia_realtime.spec,启动后,该数据源从irc.wikimedia.org获取实时数据。

关于RealTime Node的配置,后续文章将会详细介绍。

执行命令./run_realtime.sh启动RealTime Node。

五、Druid查询

第四部分中启动RealTime Node时候使用了例子中自带的配置文件wikipedia_realtime.spec,启动后,该RealTime Node会从irc.wikimedia.org获取实时数据,本章将以该数据源为例,学习几种最常见的查询。

5.1 select查询

首先编辑查询配置文件select_query.json

1
2
3
4
5
6
7
8
9
10
11
{
    "queryType" : "select" ,
    "dataSource" : "wikipedia" ,
    "dimensions" :[],
    "metrics" :[],
    "granularity" : "all" ,
    "intervals" : [
      "2015-11-01/2015-11-20"
    ],
    "pagingSpec" :{ "pagingIdentifiers" : {}, "threshold" :10}
  }

该配置文件的含义是从数据源”wikipedia”进行select查询所有列,时间区间为2015-11-01/2015-11-20,每10条记录一个分页。

执行命令查询:

curl -X POST ‘http://node2:8093/druid/v2/?pretty’ -H ‘content-type: application/json’ -d @select_query.json

瞬间返回结果:

海量数据实时OLAP分析系统-Druid.io安装配置和体验

5.2 基于时间序列的查询Timeseries query

编辑查询配置文件timeseries.json

1
2
3
4
5
6
7
8
9
10
{
     "queryType" : "timeseries" ,
     "dataSource" : "wikipedia" ,
     "intervals" : [ "2010-01-01/2020-01-01"  ],
     "granularity" : "minute" ,
     "aggregations" : [
         { "type" : "longSum" , "fieldName" : "count" , "name" : "edit_count" },
         { "type" : "doubleSum" , "fieldName" : "added" , "name" : "chars_added" }
     ]
}

该配置文件的含义是:从数据源” wikipedia”中进行时间序列查询,区间为2010-01-01/2020-01-01,按分钟汇总结果,汇总字段为count和added;

执行查询命令:

curl -X POST ‘http://node2:8093/druid/v2/?pretty’ -H ‘content-type: application/json’ -d @timeseries.json

同样瞬间返回结果:

海量数据实时OLAP分析系统-Druid.io安装配置和体验

5.3 TopN查询

编辑查询文件topn.json

1
2
3
4
5
6
7
8
9
10
11
12
13
{
   "queryType" : "topN" ,
   "dataSource" : "wikipedia" ,
   "granularity" : "all" ,
   "dimension" : "page" ,
   "metric" : "edit_count" ,
   "threshold"  : 10,
   "aggregations" : [
     { "type" : "longSum" , "fieldName" : "count" , "name" : "edit_count" }
   ],
   "filter" : { "type" : "selector" , "dimension" : "country" , "value" : "United States"  },
   "intervals" : [ "2012-10-01T00:00/2020-01-01T00" ]
}

该文件含义是:从数据源” wikipedia”进行TopN查询,其中N=10,维度为page,指标为edit_count,也就是,在page维度上将edit_count汇总后取Top 10.

执行查询命令:

curl -X POST ‘http://node2:8093/druid/v2/?pretty’ -H ‘content-type: application/json’ -d @topn.json

结果为:

海量数据实时OLAP分析系统-Druid.io安装配置和体验

六、后记

Druid目前已经有很多公司用于实时计算和实时OLAP,而且效果很好。虽然它的配置和查询都比较复杂和繁琐,但如果是真正基于海量数据的实时OLAP,它的威力还是很强大的。我将持续学习和分享Druid的相关技术,验证它在海量数据实时OLAP上的效果,敬请关注我的博客。

参考文章:

http://druid.io

http://www.youkuaiyun.com/article/2014-10-30/2822381/2

 

 

 

 

 

参考 http://www.infoq.com/cn/news/2015/04/druid-data/

http://druid.io/

http://www.open-open.com/lib/view/open1447852962978.html

大数据技术之Druid Druid 是一个分布式的支持实时分析的数据存储系统(Data Store)。美国广告技术公司MetaMarkets 于2011 年创建了Druid 项目,并且于2012 年晚期开源了Druid 项目。Druid 设计之初的想法就是为分析而生,它在处理数据的规模、数据处理的实时性方面,比传统的OLAP 系统有了显著的性能改进,而且拥抱主流的开源生态,包括Hadoop 等。多年以来,Druid 一直是非常活跃的开源项目。Druid 官方网站。 阅读详情

相关推荐

用友T3提示,年度[UFDATA_002_2017]并不存在,导致无法备份迁移。

用友T3提示,年度[UFDATA_002_2017]并不存在,导致无法备份迁移。现在都win11了某个年度账套不存在怎么办?

雨季余静的博客 3566

Druid使用步骤及详细案例(赞)

Druid(德鲁伊) 是什么? 与 c3p0 和 dbcp 类似,Druid 是阿里的 Druid 数据库连接池。 文章目录一、Druid 的使用步骤:1.1 导入 jar 包:1.2 定义配置文件:1.3 加载配置文件:1.4 从数据库连接池工厂中获取连接池对象:1.5 获取连接对象:二、Druid 在项目中的部分:2.1 导入 jar 文件:2.2 定义配置文件:2.3 加载配置文件:2.4 从数据库连接池工厂中获取连接池对象:2.5 获取连接对象:2.6 关闭数据库连接:三、帖子点赞数 完整项目:.

潘小蓝的博客 6354

C#利用S7netplus实现西门子S7_200_SMART PLC高效点位监控与操作

本文详细介绍了如何使用C#结合S7netplus开源库高效监控与操作西门子S7-200 SMART PLC的点位。内容涵盖从开发环境搭建、建立通信连接,到核心的点位读写、批量数据处理及字节与位数组转换等关键技术,并提供了构建稳定监控程序的架构与避坑指南,帮助开发者快速实现上位机与PLC的稳定数据交互。

rum55的博客 316

c# mysql 链接池溢出_Druid数据库连接池溢出

druid数据库连接溢出,导致应用宕机,数据库用的是阿里云的RDS,连接数允许8000连接池配置如下:tomcat错误日志:org.springframework.transaction.CannotCreateTransactionException: Could not open JDBC Connection for transaction; nested exception is com....

weixin_30146085的博客 711

嵌入式开发实战:如何用cJSON库在STM32上实现轻量级JSON通信(附完整代码)

本文详细介绍了如何在STM32嵌入式系统中使用cJSON库实现高效的JSON通信方案。针对嵌入式环境的内存限制,提供了内存优化策略、cJSON库的深度定制方法以及完整的通信流程实现代码,帮助开发者解决JSON解析效率低下和跨平台兼容性等核心挑战。

star5的专栏 475

Spring AI Alibaba实战训练营-16 NL2SQL (自然语言转 SQL)应用开发指南

本文介绍了一个基于AI的智能BI应用开发项目,主要实现自然语言转SQL(NL2SQL)功能,包含对话模块、MCP模块、向量数据管理模块。项目采用Spring AI Alibaba框架,集成通义千问大模型,支持内存向量库和AnalyticDB向量数据库两种存储方案。重点展示了chat模块的三个控制器实现:AnalyticNl2SqlController用于生产环境,SimpleChatController适用于开发测试,Nl2sqlForGraphController支持基于图的复杂对话流程。系统通过将业务知

program哲学 1590

招聘.net程序员2名和美工1名

本招聘信息下载地址:http://looon.net/xiazai/jobs.txt招聘.net程序员2名和美工1名一、招聘职位:岗位一:.net程序开发工程师 [2名] 职位要求描述:具有扎实的计算机基础理论知识;掌握ASP.NET开发,精通XHTML、JScript、AJAX、Xml语言;熟练Visual Studio 2005 环境者优先。熟悉Windows2003Server操

longxian8866的专栏 1226

YooAsset 学习

YooAssets使用教程

weixin_44884538的博客 1659

昨天我开除了一名程序员,因为简历造假!

点击上方蓝色字体,选择“标星公众号”优质文章,第一时间送达关注公众号后台回复pay或mall获取实战项目资料+视频作者 | Abrar Masum 译者 | 弯月责编 | 欧阳姝黎作为...

公众号-老炮说Java 756

4、LTE无人机认证:保障通信安全的新方案

本文针对LTE网络中无人机通信存在的安全风险,提出了一种基于可信第三方GCS的新型认证协议。该协议通过非对称加密和哈希函数保护IMSI等敏感信息,防止身份泄露、中间人攻击、拒绝服务攻击和位置追踪等威胁。利用Scyther工具对协议进行形式化分析,验证了其在机密性、一致性和活性等方面的安全属性,证明该方案能有效提升无人机在LTE网络中的通信安全性与隐私保护能力。

pink的博客 65

1小时读完100篇文献的正确打开方式

各位同仁好,我是七哥。一个在高校里从事人工智能 相关领域研究,钻研用大模型AI实操的学术人。可以和七哥交流学术写作或Gemini、GPT、Claude 等大模型 学术实操相关问题,多多交流,相互成就,共同进步。文献阅读与整理一般都是最先开始、却也最容易被低估的一步。很多学术同仁一开始就陷入越读越多、越读越乱的状态:论文下载了一大堆,但真正能用来支撑自己观点的内容却始终难以提炼出来。一方面,我们需要通过文献了解该研究领域的整体发展脉络,把握当前学界已经讨论到什么程度;

智能AI让学术科研更容易 50

北京招聘ASP.Net程序员

北京招聘ASP.Net程序员帮北京一朋友招聘两个ASP.Net(C#)程序员,基于1.1框架,待遇3500~5000.[注意:不提供食宿]能书写存储过程,基于三层模式开发,要有良好的书写习惯.主要开发一般企业电子商务网站.最最重要的是有作品.有效期为2007年1月7号----1月14号.请发邮件至:JavaProgramers@hotmail.com 

冷枫@优快云 2099

2025银行面试攻略:投行债权融资岗深度解析与面试剖析

债券融资业务岗聚焦于债券类产品的发行与承销,涵盖公司债、企业债、银行间市场债务融资工具等多种品种,要求从业者具备深厚的专业积累、丰富的项目实操经验、敏锐的政策洞察力以及卓越的沟通协调能力。

王国平的博客 426

企业招聘程序员都在35岁以下,35岁以上的程序员该何去何从!

龄对于程序员群体来说是绕不过去的话题,造成国内程序员职业生命周期较短的原因是多方面的。 ​ 首先,程序员的工作强度大、工作周期长,同时程序员还面临技术频繁更新带来的学习压力,不少年龄较大的程序员由于很多客观因素导致提前结束自己的职业生涯。 其次,不少科技公司的程序员岗位年轻化趋势明显,公司内部对于年龄较大的程序员会加强考核,这在一定程度上也逼迫大龄程序员提前转型。现在不少开发...

java276582434的博客 1679

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

忍不了!我辞退了一个学历造假的程序员。。。

点击上方“Java精选”,选择“设为星标”别问别人为什么,多问自己凭什么!下方留言必回,有问必答!每天08:00更新文章,每天进步一点点...作为首席执行官,辞退员工是一件非常困难的决...

Java精选 532

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

超全!程序员必备的20个学习网站,看这一篇就够了!

此篇对于新手程序员比较有用,技术老鸟们也可以查缺补漏。话不多说,纯纯干货呈上,赶紧收藏,以后会用得上!技术网站类。

Mr_HelloWorldx的博客 7698

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

辞退了一位简历造假的程序员

公众号关注“前端开发博客”设为 “星标”,每天分享一个前端知识点!【编者按】这个社会的竞争越来越激烈,为了能让自己得到一份高薪的工作,很多人都选择了走捷径,弄一份假的简历去面试,觉得这样...

前端开发博客 1万+

辞退了一位简历造假的程序员,简历美化可以,造假不可取!

转载:优快云 之前发过简历造假程序员的相关话题,很多人觉得简历不造假没有机会,也有部分人认为简历造假一生黑,但不管怎样,简历造假美化可以,造假不可取。以下为译文:作为首席执行官,辞退员工...

程序IT圈 922

千万不要做程序员!

关注公众号【程序猩球】,加入程序员交流群 最近我的外甥女参加完高考,问我她想去大城市打拼,报什么专业合适? 作为一个中年程序员,为了回答她这个问题,我在这里讨论一下互联网和程序员这个行业。 相信大家一定看过很多各行业薪资报告,其中IT和金融是前两名,IT更是长期逆袭获得第一名。 关于为什么这两个行业高薪,相信大家都能说出一系列理由,比如高智力密度、准入门槛高、行业创...

公众号:程序员云课堂 3979

忍不了,我辞退了一个简历造假的程序员。。

作为首席执行官,辞退员工是一件非常困难的决定。我们是一家小公司,只有20多个人,我与所有员工都很熟,因此解雇他们中的任何一个都会让我很难过。根据300多场面试的经历来看,我发现大约50~6...

hnjsjsac的博客 285

忍不了,我辞退了一个学历造假的程序员。

我还特意去网上搜索了一下这个话题,结果我发现,Checkster的一项调查表明,78%的求职者都会在招聘的过程中撒谎! 我将在本文后面讨论求职者简历中经常会出现的一些造假。不过,首先我们来谈一谈这位有问题的程序员。 1、造假内容 我没有直接参与他的技术面试。 我也是 《一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》无偿开源 威信搜索公众号【编程进阶路】 一名程序员,而且我喜欢编程。但是由于我必须承担很多管理任务,所以不得不牺牲这方面的工作。 这位程序员的工作经验和工作内

tt8889的博客 200

我辞退了一位简历造假的程序员

点击上方终端研发部,选择设为星标优质文章,及时送达这个社会的竞争越来越激烈,为了能让自己得到一份高薪的工作,很多人都选择了走捷径,弄一份假的简历去面试,觉得这样更容易通过招聘,找到好工...

这个时代,作为程序员可能要学习小程序 413

拉勾招聘:近8成程序员本科毕业生起薪过万 8成00后程序员已脱单

10月24日,拉勾招聘数据研究院发布《拉勾招聘2022程序员群体职场洞察报告》。报告显示,近8成本科毕业生起薪过万,他们跳槽首选智能汽车和芯片行业,此外,程序员婚恋市场抢手,8成00后已脱单。在程序员群体中,男性占比为79%,女性比例只有21%。性别比例悬殊主要与工作所需的专业背景有关,从事IT互联网工作的专业背景为计算机类,大学里相关专业的男性居多,女性偏少。此外,此类工作时间长,工作强度大,对很多女性而言吸引力不大。从薪酬水平来看,程序员看似光鲜,应届本科生的起薪普遍高于其他职业的平均薪资水平。

Yuki1127918的博客 326

招.net程序员

电子邮箱:henry@esunsoft.com.cn  发布日期:2007-05-09 工作地点:上海市 招聘人数:2 学    历:本科 工作年限:一年以上 薪水范围:面议 外语要求:英语 接受简历语言:中文或英文 地    址:上海市东大名路908号金岸大厦13楼A室 要求:.net程序员职位描述: 1.熟练C#,有一定的编程经验; 2.熟悉delphi者优先。3.熟悉SqlServer和Or

henryesun的专栏 519
上一篇: Kafka指定分区和offset消费。
下一篇: 通过上面的示例可以发现,相对于spring boot 1.4.x版本,1.5集成kafka主要是将以前需要手工编码进行设置的kafka配置改由spring配置文件定义。 注意 我使用的spring
王树民
博客等级 码龄10年 912粉丝 560原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值