墨衍会员
·
AI 创作全网分发
墨衍智能分发
本文由作者通过墨衍一键同步至各平台
1分发平台
300+累计阅读
361平均单平台
已同步平台
优快云
微信公众号
微博
知乎
掘金
百家号
博客园
抖音
小红书
你的文章也可以这样分发
墨衍会员 ¥399起/年，写一次发全网
我也要
优化查询性能和处理大量分词的问题：iK分词器的大数据排查记录
近期我们遇到了一个关于iK分词器的问题，涉及到查询速度较慢以及处理大量分词内容时的性能问题。为了解决这个问题，我们进行了一系列的排查和优化工作。本文将详细介绍我们的排查记录，并提供相关的源代码。
问题描述：
在处理大数据量和复杂分词内容的场景下，我们发现iK分词器的查询速度较慢，而且处理分词的性能也不尽如人意。为了解决这个问题，我们进行了以下的排查和优化工作。
// 针对索引结构的优化示例代码
Analyzer analyzer = new IKAnalyzer(true);Elasticsearch入门实战：从零搭建到中文搜索与集群配置
全文搜索引擎是现代数据处理架构中的核心组件，它通过倒排索引等机制，实现了对海量非结构化数据的毫秒级检索。其技术价值在于解决了传统数据库在模糊查询和复杂分析场景下的性能瓶颈，广泛应用于日志分析、站内搜索和实时监控等场景。Elasticsearch作为基于Lucene的分布式搜索与分析引擎，通过其强大的查询DSL和聚合功能，将这一价值发挥到极致。本文聚焦于Elasticsearch的基本用法，详细介绍了如何利用Docker快速部署单节点与集群环境，并深入解析了索引映射、文档CRUD、布尔查询等核心操作。针对中文
Elasticsearch查询实战：从match、term到bool组合与性能优化
在搜索引擎和数据分析领域，查询是核心功能，它决定了数据检索的准确性和效率。其原理基于倒排索引，通过词项匹配和相关性评分，实现从海量数据中快速定位信息。这项技术的价值在于支撑高并发、低延迟的搜索服务，是电商、日志分析、内容推荐等场景的基石。本文聚焦Elasticsearch这一流行搜索引擎，深入解析其查询DSL。针对常见的查询不精准和性能问题，文章详细对比了match查询（支持分词与语义理解）与term查询（精确匹配）的适用场景，并重点阐述了如何利用bool查询组合must、should、filter等子句构
加密数据模糊查询实战：从原理到工程实现
数据加密是保障敏感信息安全的核心技术，它通过密码学算法将明文转换为不可读的密文。其基本原理在于利用密钥对数据进行混淆，确保即使数据泄露，攻击者也无法直接获取有效信息。这项技术的核心价值在于满足日益严格的合规要求（如GDPR、等保2.0）与业务安全需求。然而，当业务需要对加密后的数据进行模糊查询（如根据手机号片段查找用户）时，传统方法便面临巨大挑战：直接在密文上使用LIKE操作完全失效，因为密文不具备明文的可匹配性。为了解决这一矛盾，业界衍生出多种工程实践方案，其中“分词组合加密存储”是目前平衡安全、性能与实
【Elasticsearch】一次 排查 iK 分词器 查询慢 分词多 内容大 的问题记录
1.概述 我的问题如下：1.ES中有1.2亿的数据，有些column是用来做聚合索引，有些是文本字段，用来做查询。 2.而且ES没有做集群，全部数据放在了一台服务器上，内存32G，如今在前端页面上进行条件匹配、搜索查询非常之慢，一条查询10几秒返回，想请教一下如何优化？问题出在哪里？ 大致就是一个索引mapping很长，这里只是一部分 PUT tb_wenshu_search_fix PUT tb_wenshu_search_fix/_mapping/_doc { "properties": { .
新华字典数据库实战：从表结构设计到查询优化全解析
在数据库设计与数据建模实践中，关系型数据库凭借高度的结构化特性和成熟的索引机制，成为词典类数据应用的首选方案。针对汉字、词语、成语、歇后语等混合数据类型，如何设计表结构、优化索引并处理模糊查询，是开发者面临的核心挑战。本文以中华新华字典数据库为案例，系统拆解了从数据清洗、编码处理到多表关联查询的完整流程，并对比了MySQL、PostgreSQL与达梦、人大金仓等国产数据库的迁移实践。同时，文章深入探讨了向量数据库与RAG技术在精确检索场景下的适用边界，帮助开发者理解传统数据库与新兴技术的分工协作。无论你是正
IkAnalyzer分词、词频、内链优化
IK 中文分词 版本 5.0，IkAnalyzer分词、词频、内链优化,可以自定义分词词库 看了这个项目你就可以熟练运用ik的分词了
k8s部署 普罗米修斯（Prometheus）监控
Prometheus是一个开源的服务监控系统和时序数据库其提供了通用的数据模型和快捷数据采集、存储和查询接口它的核心组件Prometheus服务器定期从静态配置的监控目标或者基于服务发现自动配置的目标中进行拉 取数据新拉取到啊的 数据大于配置的内存缓存区时，数据就会持久化到存储设备当中。
【DSP】【工程实战】从零构建C6678多核工程：CCS环境配置与启动模式详解
本文详细介绍了在CCS开发环境中从零构建TMS320C6678多核DSP工程的完整流程。内容涵盖KeyStone架构解析、工程创建、基础代码编写、链接命令文件配置、仿真器调试，并重点深入讲解了包括I2C EEPROM在内的多种一级启动模式原理与配置方法，为开发者提供了一套清晰、可复用的实战指南。
验证方法、符合性方法与设计保证的关系
未来，随着适航标准和工程实践的不断演进，验证与符合性方法将持续优化，以应对日益复杂的系统设计需求。设计保证过程中的验证活动具有双重作用，既用于设计过程的质量控制和风险管理，又作为适航符合性方法的重要支持材料。在未来的航空电子系统开发中，进一步优化设计保证与验证活动的协同作用，将有助于应对日益复杂的工程挑战，推动航空安全技术的发展。为了全面理解这二者之间的关系，本章将系统说明设计保证过程中的验证活动如何既服务于设计保证，又作为符合性方法中的核心证明材料。最终，通过功能测试和环境测试验证硬件的实际性能。
Spec Kit：GitHub 官方推出的规范驱动开发工具包，让 AI 编程真正可控、高效、高质量
先明确“做什么”和“为什么”，再考虑“如何做”。它通过一系列标准化命令（如/specify/plan/implement可验证的功能规格（spec）可执行的技术方案（plan）可追溯的开发任务（tasks）高质量的实现代码（code）最终实现“规范即代码，代码即规范”的闭环。📌项目地址许可证：MIT（完全开源，欢迎贡献）Spec Kit 代表了 GitHub 对AI 原生开发（AI-Native Development）AI 不应替代开发者，而应放大开发者的意图。
25、BDS-3卫星信号性能与PPP-B2b增强消息完整性分析
本文对BDS-3卫星信号性能及PPP-B2b增强消息的完整性进行了系统分析。评估了MEO、IGSO和GEO卫星的轨道与时钟精度，得出BDS-3总体SISRE为0.25 m，系统完整性可覆盖99.999%的误差。分析表明SIS中断主要由时钟调整和轨道机动引起，个别卫星存在因境外监测受限导致的非计划中断。通过自研解码软件对PPP-B2b增强消息进行采集与解析，实验结果显示BDS-3和GPS的平均历元完整性率均高于98.55%，其中卫星掩码和时钟校正消息的完整性率超过99.8%。研究还发现IGSO卫星相比MEO卫
UGUI合批杀手：Mask/RectMask2D为何必断合批？
颜色缓冲负责记录像素颜色；模板缓冲负责记录“这个像素的模板值”（一个小整数）；渲染时，你可以设定：只有模板值为 X 的地方才允许画；或者往某些区域写特定的模板值。类似于：先拿一支隐形笔在纸上画出一块区域，给它记一个编号“1”，后面的涂色动作只允许涂在“编号为1”的区域上。合批的前提：渲染状态不变，连续元素能一口气画完。材质、贴图、混合模式、Stencil、裁剪区域……都得一致。Mask / RectMask2D 的本质：在渲染状态上加规则——“只在某个区域内允许写像素”。
2025年GESP12月认证C++一级真题解析
摘要 本文包含13道C++编程选择题，每题2分，涉及语法、运算符、循环、条件判断等知识点。题目考察了变量命名规则、运算符优先级、赋值语句、循环控制、格式化输出等内容。部分题目解析与标答存在差异，例如第4题逗号表达式输出应为5但标答为4，第6题赋值运算结果应为4 4但标答为3 4等。这些题目适合用于检验基础编程能力，但需注意部分标答可能存在争议，建议结合具体编译环境验证。最后一题考察"漂亮数"判断，要求填写数字某位能被3整除的条件表达式。
潜望式长焦模组全解析：结构构造、光路设计与工程实战挑战
随着移动影像能力的不断进化，潜望式长焦模组成为旗舰手机实现 5x 甚至 10x 光学变焦的关键配置。相比传统横向堆叠镜组，潜望式结构通过反射棱镜实现纵向空间上的光路折叠，有效解决了模组厚度与变焦行程的矛盾问题。然而，高倍变焦模组不仅面临复杂的光学路径设计，还涉及反射损耗控制、防抖马达配合、模组热应力管控与 ISP 畸变校正等一系列工程难点。本文将结合主流机型的实战经验，深入解析潜望式长焦模组的结构构造与调试路径，为影像系统工程师提供完整的实战参考。
visio安装包
Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表，创建专业级图表以简化复杂的信息。
深度学习工具包 DeepLearningToolbox
深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[](https://bitdeli.com/free "Bitdeli Badge")
TMS_WebGMaps_1.9.8.0_Full_Source
TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder
华为的C语言编程规范.pdf
华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
订阅专栏 解锁全文
312
扫一扫
