lovewater-优快云博客

原创基于LLM智能问答系统【阿里云：天池比赛】

基于LLM智能问答系统【阿里云：天池比赛】1、分别识别问题及提供的资料文件中的公司名实体，有公司名的走语义检索，无公司名的走结构化召回2、结构化召回：Qwen根据问题生成sql，执行sql获取结果数值，把结果数值与问题给到Qwen生成最终结果3、语义检索：根据1中识别的公司名+比赛提供的数据文件集合找到对应的招股说明书文件、把该文件切分成段N个文本段、使用Qwen为每个文本段生成向量集合A、把问题生成向量B、使用余弦相似度比较2类向量并排序得到top5，把top5合并成一个文本T，把问题与文本T生

2024-12-09 21:02:35 633

原创【NLP】医学搜索Query相关性判断【阿里云：天池比赛】

V3版本:使用V2的代码，只要在参数中换个模型名称：ernie-3.0-xbase-zh。#windows版本paddlepaddle==2.6.1。排名：长期赛:148（本次）/ 23398（团体或个人）预训练模型:ernie-health-chinese。排名：长期赛:60（本次）/23398（团体或个人）#windows版本paddlenlp==2.6.0。预训练模型:ernie-3.0-xbase-zh。预训练模型:bert-base-chinese。排名：长期赛:272/23398。

2024-11-11 16:48:50 858

原创【NLP】医疗诊疗对话意图识别挑战赛【阿里云：天池比赛】

预训练模型:bert-base-chinese。排名：长期赛:193（本次）/1561。比赛地址：医疗诊疗对话意图识别挑战赛。方案：BERT/BERT+CNN。模型+配置：bert+cnn。

2024-11-06 17:43:38 579 1

原创中文NLP地址要素解析【阿里云：天池比赛】

比赛地址：中文NLP地址要素解析https://tianchi.aliyun.com/notebook/467867?spm=a2c22.12281976.0.0.654b265fTnW3lu长期赛：分数:87.7271方案：BERT-BiLSTM-CRF-NER预训练模型:bert-base-chinese训练结果：训练结果：F1 : 0.9040accuracy : 0.9313precision : 0.9012recall : 0.9068

2024-10-31 21:10:46 705

原创【政策】正文关键词提取总结

1. 项目背景 1.1 支持政策正文查询。对政策正文提取关键词2. 算法模型： 2.1 uie：预训练+微调

2024-11-15 21:09:01 379

原创企业国标行业分类总结

我们需要把几千万企业挂靠到一个或多个国家二级行业（企业在国民经济行业分类里隶属的行业类别，分类有农、林、牧、渔业等），使用当前的大模型或传统的BERT模型存在准确率低或性能差的问题，不能满足业务及系统要求。

2024-10-21 14:07:32 333

原创企业搜索精排总结

该文章为项目结束后的总结，没有完整的项目过程，主要介绍遇到的问题有如何解决的。后续重点优化方向：数据对齐（支持在线+静态特征）、高维特征、行业相关性。

2024-10-21 14:00:14 195

原创整数数组区间的插入与删除

【代码】整数数组区间的插入与删除。

2023-08-21 19:58:26 618

原创找出数组中最小K个数【最小堆】

设计一个算法，找出数组中最小的k个数。以任意顺序返回这k个数均可。

2023-08-21 19:37:09 576

原创完全二叉树O(1)插入

是每一层（除最后一层外）都是完全填充（即，节点数达到最大）的，并且所有的节点都尽可能地集中在左侧。// 返回 [1, 2, 3, 4]设计一种算法，将一个新节点插入到一个完整的二叉树中，并在插入后保持其完整。

2023-08-20 16:54:11 323

原创基于双向列表+HashMap实现LRU算法源码实现

最近最久未使用（Least Recently Used LRU）算法是⼀种缓存淘汰策略。该算法的思路是，将最近一段时间内最久未使用的页面置换出去。升级版LRUK算法见。基于LRU-K算法设计本地缓存实现流量削峰。

2023-08-18 17:30:06 161

原创 X系统高可用与高并发解决方案

一、平台介绍调用方：包括B端、C端、订单、分销、安伴、宫格等100多个系统并发：并发详情数据将整个主数据平台逐步划分成四个部分： • 房屋系统：负责对数据生产的建模，隔离数据生产对核心模型的影响。例如：商户上房、门店分配流程等。 • 核心模型：挖掘数据实体关系，提升模型能力。例如：商户多门店、房屋聚合等。 • 基础数据中心：面向交易系统的应用...

2020-04-17 19:07:22 382

转载悟空CRM java版(基于jfinal+vue+ElementUI的前后端分离CRM系统)

悟空CRM9.0（JAVA版）悟空软件长期为企业提供企业管理软件(CRM/HRM/OA/ERP等)的研发、实施、营销、咨询、培训、服务于一体的信息化服务。悟空软件以高科技为起点，以技术为核心、以完善的售后服务为后盾，秉承稳固与发展、求实与创新的精神，已为国内外上千家企业提供服务。悟空的发展受益于开源，也会回馈于开源。2019年，悟空CRM会继续秉承“拥抱开放、合作共赢、创造价值”的理念，在...

2020-01-21 23:56:01 680

转载 java + vue 的前后端分离的考试系统uexam

项目介绍学之思在线考试系统是一款 java + vue 的前后端分离的考试系统。主要优点是开发、部署简单快捷,可水平拓展在多台服务器上做负载均衡。考试功能齐全，目前有web端和微信小程序，能覆盖到pc机和手机等设备。开源版使用须知允许用于个人学习、毕业设计、教学案例、公益事业;开源版不适合商用，商用请购买商业版https://www.alvisu.com/buy.html;禁止...

2020-01-21 23:53:01 2111

转载 Spring Boot vue完整的外卖系统，手机端和后台管理api 源码赠送

flash-waimai是一个完整的外卖系统，包括手机端，后台管理，api。基于spring boot和vue的前后端分离的外卖系统。包含完整的手机端，后台管理功能技术选型核心框架：Spring Boot 数据库层：Spring data jpa/Spring data mongodb 数据库连接池：Druid 缓存：Ehcache 前端：Vue.js 数据库：mysql5.5以...

2020-01-21 23:49:11 2496

原创基于LRU-K算法设计本地缓存实现流量削峰

2018-09-18 00:53:55 5224 3

转载 JVM源码分析之Metaspace解密

概述metaspace，顾名思义，元数据空间，专门用来存元数据的，它是jdk8里特有的数据结构用来替代perm，这块空间很有自己的特点，前段时间公司这块的问题太多了，主要是因为升级了中间件所致，看到大家讨论来讨论去，看得出很多人对metaspace还是模棱两可，不是很了解它，因此我觉得有必要写篇文章来介绍一下它，解开它神秘的面纱，当我们再次碰到它的相关问题的时候不会再感到束手无策。通过这篇...

2018-09-10 23:37:10 1596

原创单元测试(junit+dubbo+mockito)

关于单元测试请先回忆下面几个问题：1）单元测试是否依赖网络？如果依赖网络，当没有网的时候怎么办？2）单元测试是否支持多次可重复执行？3）dubbo接口怎么单元测试？4）如何计算单元测试对代码的覆盖率？在回答上面几个问题前请先看下面介绍：1、准备测试环境1）引入依赖包： <dependency> <groupI...

2018-09-06 22:33:10 15021 2

转载发布或重启线上服务时抖动问题解决方案

一、问题描述在发布或重启某线上某服务时（jetty8作为服务器），常常发现有些机器的load会飙到非常高（高达70），并持续较长一段时间（5分钟）后回落（图1），与此同时响应时间曲线（图2）也与load曲线一致。注：load飙高的初始时刻是应用服务端口打开，流量打入时（load具体指什么可参考http://www.cnblogs.com/amsun/p/3155246.html）。...

2018-08-28 23:52:55 1131

转载 java并发（上）

目录1，基本概念2，volatile3，atom4，ThreadLocal5，CountDownLatch和CyclicBarrier6，信号量7，Condition8，Exchanger 在Java中，JVM、并发、容器、IO/NIO是我认为最重要的知识点，本章将介绍其中的并发，这也是从“会Java”到精通Java所必须经历的一步。本章承接上一张《Java...

2018-08-24 00:23:35 362

转载 JVM监控与调优

一、JVM内存模型及垃圾收集算法 1.根据Java虚拟机规范，JVM将内存划分为： New（年轻代） Tenured（年老代）永久代（Perm）其中New和Tenured属于堆内存，堆内存会从JVM启动参数（-Xmx:3G）指定的内存中分配，Perm不属于堆内存，有虚拟机直接分配，但可以通过-XX:PermSize -XX:MaxPermSiz...

2018-08-23 23:31:04 373

转载提高Ubuntu音效

For highest sound quality use jackd + xmms + jack-rack. Also install cmt, ladspa and caps plugins: there are hundreds available, for free !As for MP3, consider using a lossless audio compression enc

2017-10-02 12:40:22 3584

原创 openjdk8最新源码编译及使用(ubuntu16.04)

1、准备环境sudo apt-get install -y build-essential libx11-dev libxext-dev libxrender-dev libxtst-dev libxt-dev libcups2-dev libfreetype6-dev libasound2-dev ccache gawk m4 openjdk-7-jdk libasound2-dev libxr

2017-07-30 13:35:29 3796

原创 SpringMvc 3分钟集成swagger2

swagger：restful管理项目API工具1、引入最新版本的swagger依赖，低版本的有一些bug。如hidden注解的字段不生效  <dependency> <groupId>io.springfox</groupId> ...

2016-11-07 19:30:48 22189 3

原创亿级订单数据分库分表的一些想法

前提：公司年1亿～10亿订单，需要满足未来3～5年数据存储。所有物理或性能上的提高都无法满足业务需求。思路：使用多个库创建多张表，如1024张表（单库或少量库会存在TPS瓶颈），这样每张表只要保存约100万数据。解决方案： 1、快速查询用户所有订单数据（单用户的所有订单数据在一张表中）根据用户id进行hash得到hash_code，然后...

2016-09-21 12:06:09 6769

原创 Linux(kubuntu)下面使用Thunderbird连接Exchange邮件服务器

1、在Thunderbird界面菜单中依次选择并打开工具 -> 附加组件2、在搜索中输入 Exchange 进行搜索3、找到并安装 ExQuilla for Microsoft Exchange4、在Thunderbird界面菜单中依次选择并打开工具 -> “ExQuilla for Microsoft Exchange” -> “Add Microsoft Ex...

2016-06-14 17:59:44 6945

原创 kafka 及 kafka-Manager问题记录

1、org.apache.kafka.common.errors.TimeoutException: Batch Expired解决方法：配置kafka（config/server.properties）参数，把advertised.host.name设置成ip地址advertised.host.name=<broker public IP address>2、执行sbt ...

2016-02-22 14:58:30 19161

原创（ubuntu环境下）浏览器（通过cgi）调用外部程序

（ubuntu环境下）浏览器（通过cgi）调用外部程序境：Ubuntu+Apache2+cgi+python

2015-12-30 15:56:04 2598

原创动态调整（springMVC+slf4j）log等级（DEBUG/INFO/WARN/ERROR）

1、logback.xml<pre name="code" class="html"><?xml version="1.0" encoding="UTF-8"?><configuration>  <property name="AP

2015-12-01 13:12:23 10929 1

原创 ajax异步获取数据后动态向表格中添加数据(行)

因为某些原因，项目中突然需要做自己做个ajax异步获取数据后动态向表格中添加数据的页面，网上找了半天都没有看到现成的，决定自己写个例子1、HTML页面<html xmlns="http://www.w3.org/1999/xhtml"><head> <meta charset="utf-8"> <title>xx信息查询...

2015-09-15 15:38:46 58363 1

原创 linux shell scripts：Syntax error: Bad for loop variable

linux shell scripts：Syntax error: Bad for loop variablesh add.sh 报错：add.sh: 4: Syntax error: Bad for loop variable代码没有错误，Ubuntu为了加快开机速度，用dash代替bash。解决办法：取消dash，使用bash：sudo dpkg-reconfigure dash选择No选项。

2014-11-18 15:16:44 1270

原创 Kubuntu（14.04）共享wifi（热点）

笔记本（kubuntu14.04）通过有线上网，共享本机无线给手机、平板及其它通过wifi上网的设备。以前在网上找过各种方法，下载了很多软件都不能在本机上实现wifi共享，下面这种方法目前相对简单可行。

2014-11-17 12:09:53 1952

翻译 Idea 12&13 注册码生成器

Idea 12&13 注册码生成器

2014-10-13 12:35:15 1838

原创 ubuntu(linux) 下 svn 使用kdiff3 merge主干

在linux下面不能使用小乌龟（TortoiseSVN），idea不能使用svn merge主干代码，每次merge代码时启动虚拟机。按下面的方法操作，可以像小乌龟（TortoiseSVN）一样merge代码了

2014-09-19 12:53:57 3240

原创 (K)Ubuntu中libreoffice汉化简单方法

(K)Ubuntu中libreoffice汉化简单方法：sudo apt-get install libreoffice-l10n-zh-cn libreoffice-help-zh-cn如果提示没有软包，添加源，然后更新：sudo add-apt-repository ppa:libreoffice/ppasudo apt-get update

2014-09-10 21:45:20 3095 1

原创 Linux下面安培星际译王-Stardict

因为网上找的网址都打不开或下载不了词库，现分享我的词库下载安装说明：1：sudo apt-get install stardict2：下载附件中的文件，解压看附件中的说明3：sudo mv temp/* /usr/share/stardict/dic3：重启星际译王

2014-09-04 18:03:03 1812

原创 KUbuntu/Ubuntu 14.04 （降级）安装 svn 1.7

nstall SVN 1.7Step 1: Add following lines to source.listsudo add-apt-repository "deb http://extras.ubuntu.com/ubuntu saucy main"sudo add-apt-repository "deb http://de.archive.ubuntu.com/ubun

2014-08-27 21:26:56 2357

转载 ssh登录　The authenticity of host 192.168.0.xxx can't be established.　的问题

用ssh登录一个机器（换过ip地址），提示输入yes后，屏幕不断出现y，只有按ctrl + c结束错误是：The authenticity of host 192.168.0.xxx can't be established. 以前和同事碰到过这个问题，解决了，没有记录，这次又碰到了不知道怎么处理，还好有QQ聊天记录，查找到一下，找到解决方案：执

2014-08-27 12:07:18 6424

原创 Spring+Mybatis开发示例

写下来留个纪念（^~^）大神可飘过1,实现Spring+Mybatis+数据源的配置2,实现枚举到数据库TINYINT类型的转换3,slf4j日志配置方法4,数据库增+删+改+查操作5,实现效果界面+项目配置目录树 6,关键代码：a）控制器 package com.fresh.lyh.simple.controller;import co...

2014-07-16 17:22:26 1486

转载 [Google Guava] 1.1-使用和避免null

[Google Guava] 1.1-使用和避免null原文链接译文链接译者: 沈义扬 Doug Lea 说，“Null 真糟糕。” 当Sir C. A. R. Hoare 使用了null引用后说，”使用它导致了十亿美金的错误。”轻率地使用null可能会导致很多令人惊愕的问题。通过学习Google底层代码库，我们发现95%的集合类不接受null值作为元

2014-07-11 14:36:32 723

基于LLM智能问答系统【阿里云：天池比赛】

基于LLM智能问答系统学习赛打榜源码，baseline=大模型说的队，语义/向量这块自研

2024-12-09

NLP医学搜索Query相关性判断【阿里云：天池比赛】包括V1+V2+V3 3个版本的代码

比赛地址：【NLP】医学搜索Query相关性判断 https://tianchi.aliyun.com/competition/entrance/532001/introduction?spm=a2c22.12281925.0.0.684a71371ZOgK4 V1版本：长期赛：分数:0.8258 排名：长期赛:272/23398 方案：BERT 预训练模型:bert-base-chinese 训练结果： Val P: 0.758, Val R: 76.6730%, Val F1: 0.7595, Val Acc: 81.7135%, Time: 0:01:28 V2版本：长期赛：分数:0.8534 排名：长期赛:148（本次）/ 23398（团体或个人）方案：BERT 预训练模型:ernie-health-chinese 训练结果： loss: 0.50159, accu: 0.82927 V3版本:使用V2的代码，只要在参数中换个模型名称：ernie-3.0-xbase-zh 长期赛：分数:0.8703 排名：长期赛:60（本次）/23398（团体

2024-11-11

比赛地址：医疗诊疗对话意图识别挑战赛 BERT/BERT+CNN

比赛地址：医疗诊疗对话意图识别挑战赛方案：BERT/BERT+CNN 预训练模型:bert-base-chinese

2024-11-06

比赛地址：中文NLP地址要素解析方案：BERT-BiLSTM-CRF-NER

比赛地址：中文NLP地址要素解析 https://tianchi.aliyun.com/notebook/467867?spm=a2c22.12281976.0.0.654b265fTnW3lu 长期赛：分数:87.7271 排名：长期赛:56（本次）/6990（团体或个人）方案：BERT-BiLSTM-CRF-NER 预训练模型:bert-base-chinese 训练结果： F1 : 0.9040681554670564 accuracy : 0.9313805261730405 precision : 0.901296612724897 recall : 0.9068567961165048 运行脚本： python run_bert_lstm_crf.py

2024-10-31

X系统高可用&高并发解决方案.pptx

在有限的物理资源下，如果实现服务的高可用性与稳定性。主要解决如下一些问题： 1、高并发下服务稳定性。流量削峰：LRUK(自动识别&存储热点数据，QPS增加4倍，响应时间未见变化)、被动限流降压(中间层A系统并发平均降了14w/分钟，最高降了23w/分钟，回收了7台虚拟机(共21台)) 、操作异步化、分流、服务发布防抖动。 2、整体高可用。业务拆分&物理隔离(解决各业务线相互影响)、数据隔离(分库分表)、使用本地缓存&缓存压缩提高系统吞吐量(核心接口平均响应时间降低98.6%，redis并发|流量|存储空间降低64%|37%|35%)。优化后单机压测qps理论值由2300上升至3700。 3、数据一致性。解决数据库主从延迟，数据库与redis缓存，跨系统&跨数据库，本地缓存与redis缓存数据，同库多表冗余数据等问题；实现数据最终一致性。

2020-04-17

Anaconda3-5.3.1-Linux-x86_64.sh

Anaconda是Python的一个开源发行版本，主要面向科学计算。我们可以简单理解为，Anaconda是一个预装了很多我们用的到或用不到的第三方库的Python。而且相比于大家熟悉的pip install命令，Anaconda中增加了conda install命令。当你熟悉了Anaconda以后会发现，conda install会比pip install更方便一些。比如大家经常烦恼的lxml包的问题，在Windows下pip是无法顺利安装的，而conda命令则可以，后面会详细展示。

2019-04-10

lurk-cache源码.txt

1、背景介绍 1.1、现象 QPS突然增长2倍以上(45w~60w每分钟) 将产生下面一些问题： 1）响应接口响应时长增加了5倍(qps增加了2倍)； 2）机房局域网交换机带宽报警(1kM带宽使用了900多M)； 3）从redis获取数据接口响应时长增加等。 1.2、原因 1）某业务线对有限的产品进行推广； 2）在短时间内有大量重复数据查询请求； 3）短时间从redis获取大量数据。 1.3、解决方案大量请求获取同一份数据，在本地存储这些数据。其优点如下： 1）直接从内存取数据，降低响应时间； 2）不走redis，减少服务与redis之间的交互流量； 3）最终实现流量削峰。。。详情见:https://blog.youkuaiyun.com/love254443233/article/details/82598381

2018-09-18

jdk-10.0.2_windows-x64_bin.exe

https://www.oracle.com/technetwork/java/javase/downloads/jdk10-downloads-4416644.html

2018-09-08

jdk-10.0.2_osx-x64_bin.dmg

https://www.oracle.com/technetwork/java/javase/downloads/jdk10-downloads-4416644.html

2018-09-08