- 博客(45)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 transformers实践:基于BERT训练自己的NER模型
文章目录transformers实践:基于BERT训练自己的NER模型数据集处理训练过程模型的调用和使用附：两个数据集说明：附：参考transformers实践:基于BERT训练自己的NER模型基于训练好的BERT进行迁移NER的原理如下：官方样例集成的很好，直接运行run_ner.py即可，下面对几个步骤(数据预处理、运行参数、模型调用)做下补充说明数据集处理run_ner.p中train_file要求的格式样例，如https://github.com/huggingface/transfo
2021-08-27 10:10:30
4680
2
原创 实施经验-利用nginx保障web服务安全
文章目录1.前言2. 常见安全问题3.最终方案3.1. 如果是多个域名，采用下列方法3.2. 利用Referer防盗链参考1.前言记得刚来项目组时，每隔一段时间就报几个安全漏洞，然后就和团队小伙伴花一两天时间处理下，一会儿改java代码一会儿改前端，前前后后也用去了很多时间。复盘整理下思路，发现走了不少弯路，大多数的安全漏洞都可以由nginx拦截，极少会涉及到后端业务代码调整。安全问题属于系统架构级问题，要用系统架构的思维去解决 ，通过nginx配置，可以减少对后端业务开发的要求，而且现场实施人员，
2021-07-28 11:20:03
490
原创 实施经验-https证书理解
文章目录先从一个需求案例说起流程梳理在https协议中是如何使用证书的概念梳理openssl参数说明参考：先从一个需求案例说起给甲方的web服务需要使用https，是部署在内网的，连域名也没有用ip访问，大家又不想花钱，于是自己生成一个https证书，参考【HTTPS】自签CA证书 && nginx配置https服务数字证书系列–将证书绑定到多个URL以及IP,过程如下：1、创建自签CA证书(根证书)openssl genrsa -out CA_Key.key 2048 # 创
2021-07-23 10:31:25
432
原创 实施经验-网络开通策略小案例
网络开通策略小案例场景这是我项目实施中一个经典的网络开通策略场景，作为一个系统（下面称为系统A），需要调用的服务比较多，需要提供的服务也比较多，涉及的网络区域也比较多具体要求说明提供的服务：面向互联网的患者提供患者端服务面向内部医生提供医生端服务调用的服务：调用第三方的用户信息服务，如公众号身份认证调用HIS和LIS的接口涉及的网络区域比较多：面向互联网面向医院内网区DMZ区(Demilitarized Zone隔离区/非军事化区)开通策略因此一个完整的网络开通策
2021-07-23 10:28:10
5747
1
原创 docker-network常见问题和用法总结
网络冲突问题(docker和docker-compose)启动docker-compose时，网络冲突现象：dokcer引擎启动时使用了--bip参数，但是该参数被docker-compose忽略，在 docker0 之外，有启动了一个桥接接口，名称为br-3d2f2e1ebfc7，导致与本机的网段冲突[root@yuwenzhen build]# ifconfigbr-3d2f2e1ebfc7: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> m
2021-07-20 17:51:32
1689
原创 一次通过容器管理工具修改数据库的奇特经历
需求场景要修改mysql数据库中的数据，且只能通过容器管理工具(portainer)过程记录**step1: ** 通过portainer工具登录mysql容器的控制台mysql -uroot -pmysql> use eladminDatabase changedmysql> select * from dw_bzkss_xh;+-----+-------------+----------+------------+----------+------------+--
2021-07-20 13:13:09
136
原创 docker生态-对象存储服务minio
介绍和原理业内较为主流的开源存储框架MinIO、Ceph、SeaweedFS, 在github上MinIO的star是最多的，远超其它框架MinIO完全兼容S3标准接口，客户端和服务端之间通过http/https进行通信。MinIO提供客户端mc（MinIO Client）以支持UNIX命令，同时支持多语言的客户端SDK。docker方式安装说明特别说明：通过命令行方式安装使用MinIO快速入门指南mkdir /home/minio-datadocker run -d --name mini
2021-07-01 16:17:43
517
原创 docker生态-容器管理工具portainer
文章目录介绍安装部署汉化说明初始密码说明最终的docker-compose通过nginx代理时的小注意参考：介绍Portainer是Docker的图形化管理工具，提供状态显示面板、应用模板快速部署、容器镜像网络数据卷的基本操作（包括上传下载镜像，创建容器等操作）、事件日志显示、容器控制台操作、Swarm集群和服务等集中管理和操作、登录用户管理和控制等功能。功能十分全面，基本能满足中小型单位对容器管理的全部需求。通过portainer服务端，连接agent，达到管理agent节点上docker容器的目的
2021-07-01 14:43:14
1128
原创 docker生态-mysql客户端phpAdmin
介绍phpMyAdmin是一个非常受欢迎的基于web的MySQL数据库管理工具。它能够创建和删除数据库，创建/删除/修改表格,删除/编辑/新增字段，执行SQL脚本等。在我们的工作环境中，通过docker-compose一键完成整个服务集群的部署，包含java、nginx、mysql等。基于docker部署的phpMyAdmin可以配合一同部署的mysql，提供运维人员一种客户端访问方式，便于运维人员在快速部署后立即进入工作状态。快速启动docker化https://github.com/phpmy
2021-06-28 11:37:05
1040
原创 linux系统管理-locale语言环境
文章目录概念理解变量说明命令常见问题解决问题:ssh登录报错“manpath: can't set the locale; make sure $LC_* and $LANG are correct”问题：终端时的中文乱码问题问题：用xshell查看中文正常，但是vim是乱码，原因可能是xshell工具的编码问题问题：Mac环境下vim遇到的语言问题参考linux下语言环境的问题，一般不太会碰到，要是真遇到字体问题也是挺烦人的，不解决看到系统乱码和错误提示挺膈应人，解决后就清爽多了。linux的语言环境是
2021-06-25 15:37:56
2245
原创 automl框架:AutoGluon介绍
文章目录automl框架:AutoGluon介绍原理安装案例加载数据集测试通过leaderboard查看各个学习器参考automl框架:AutoGluon介绍原理大部分automl框架是基于超参数搜索技术，例如基于贝叶斯搜索的hyperopt技术等AutoGluon则依赖融合多个无需超参数搜索的模型，三个臭皮匠顶个诸葛亮stacking: 在同一份数据上训练出多个不同类型的模型，这些模型可以是KNN、tree、核方法等，这些模型的输出进入到一个线性模型里面得到最终的输出，就是对这些输出做加权求和
2021-06-07 20:41:08
18567
5
原创 docker部署规范-目录结构与辅助工具
文章目录docker部署规范-目录结构与辅助工具规范部署目录结构辅助工具解决功能介绍参考docker部署规范-目录结构与辅助工具本规范根据多个项目实践，总结如下规范部署目录结构目录结构的规划基于下面几点考虑：一个主机上可以部署多套系统一个系统应该是”自洽“的，具有完整的逻辑性，系统涉及的所有文件是自包含的目录结果尽量简单，便于管理(不再执行dockcer-compose up --build命令)，本地的配置修改通过volumes文件夹或文件挂载的方式进行容器内文件覆盖完成目录结构如下所
2021-06-07 19:22:41
527
原创 如何替换https证书(nginx独立启动模式)
如何替换https证书(nginx独立启动)如何替换https证书(nginx独立启动)先确认证书，正常情况下有两个文件一个.key结尾，另一个是.crt或者.pem结尾，先查看.crt或者.pem的内容openssl x509 -in STAR_lcz_com.crt -text把证书上传到服务器，例如 /etc/nginx/cert/目录修改部署nginx.conf,如server { listen 443 ssl; server_name x.abc.com; #
2021-06-04 10:22:12
744
原创 如何替换https证书(docker-compose部署模式)
如何替换https证书(docker-compose部署模式)先确认证书，正常情况下有两个文件一个.key结尾，另一个是.crt或者.pem结尾，先查看.crt或者.pem的内容openssl x509 -in STAR_lcz_com.crt -text把证书上传到服务器部署目录(例如/home/build/my_deploy)的cert文件夹检查部署目录下的Dockerfile文件，确认cert目录下的证书拷贝到镜像中,例如FROM my_xxx_webCOPY nginx.con
2021-06-04 10:19:21
719
原创 docker部署规范-服务命名和端口分配
文章目录docker部署规范-服务命名和端口分配服务命名端口命名服务间的引用docker部署规范-服务命名和端口分配本规范根据多个项目实践总结,服务命名和端口分配都体现在docker-compose.yml的配置中服务命名一个产品会包含多个服务，每个服务的命名如下:优先采用中间件名称、语言名称对服务进行命名，如下mysqlmongojavapythonweb如果同一类型服务有多个，则采用中横线命名方式进行区分，如下:java-auth :java鉴权服务web-auth:
2021-06-02 13:01:39
816
原创 docker部署规范-目录结构与辅助工具（旧）
文章目录docker部署规范-目录结构与辅助工具规范部署目录结构自动镜像打包工具自动版本打包工具自动升级工具参考docker部署规范-目录结构与辅助工具本规范根据多个项目实践，总结如下规范部署目录结构目录结构的规划基于下面几点考虑：一个主机上可以部署多套系统一个系统应该是”自洽“的，具有完整的逻辑性，系统涉及的所有文件是自包含的当系统需要本地二次构建时，速度要够快（docker-compose.yml所在目录不能有太多无关文件，否则会影响docker up --build执行速度）目录结
2021-06-02 13:00:20
289
原创 docker部署规范-与gitlab-ci集成
文章目录docker部署规范-与gitlab-ci集成持续集成的工程目录结构构建镜像build.shDockerfile说明web服务的Dockerfilejava服务的Dockerfilepython服务的Dockerfile与CI集成的.gitlab-ci.yml参考docker部署规范-与gitlab-ci集成本规范根据多个项目实践，总结如下持续集成的工程目录结构一个完整产品会包含多个服务，比如web服务、java服务、python服务等而且每个服务的代码都会对应不同的代码工程，工程目录结构
2021-06-02 12:40:28
341
1
原创 kafka实践小结
原理zookeeper分布式系统就是在不同地域分布的多个服务器，共同组成的一个应用系统来为用户提供服务，在分布式系统中最重要的是进程的调度分布式协调技术主要是用来解决分布式环境当中多个进程之间的同步控制，让他们有序的去访问某种共享资源，防止造成资源竞争（脑裂）的后果协调器就是分布式系统中经常提到的那个“锁”,通过这个“锁”机制，就可以保证分布式系统中多个进程能够有序的访问该共享资源。把这个分布式环境下的这个“锁”叫作分布式锁，布式锁就是分布式协调技术实现的核心内容。比较流行的是，Google的
2021-06-01 21:09:01
952
4
原创 查询每天某个时间段的数据
利用eval动态构造函数和mongodb的$wherevar h1 = 8, h2=12; //小时范围var a = "(function() {\n" +" var hh = this.createdAt.getHours();\n" +" if (hh >= "+h1 + "&& hh <= "+h2 +" )\n" +"
2016-12-21 11:32:41
1955
原创 mongoose克隆对象的问题
mongoose克隆对象的问题mongoose克隆对象的问题问题说明研读mongoose源代码经验教训附录完整的测试用例@(技术笔记)[mongodb]问题说明通过mongoose进行克隆一个对象，就跟如何把大象放到冰箱一样，分为三步 1. 查到docoment 2. 修改docoment的id； 3. 存docoment代码如下，运行过程没有异常，但是在数据库中却找不到对应记录。更诡
2016-09-19 20:09:43
666
原创 利用mac的launchd,开机后定时启动shell脚本
利用mac的launchd开机后定时启动shell脚本shell脚本mac开机启动概念配置Mac开机后定时启动参考文档利用mac的launchd,开机后定时启动shell脚本 利用mac os x的launchd,开机后定时启动shell脚本，并且周期执行shell命令 shell脚本内容：先检测ssh代理是否被使用，如没有使用，则重启本地ssh代理shell脚本#!/bin/
2015-07-19 18:12:52
1417
原创 机器学习课程4-题1-2
- 经典线性回归- 主成分分析 - 预测各样本的主成分的值，根据主成分值做线性回归 - 主成分系数如何转换为原变量的系数 - 数据公式，计算原理 - 提取主成分对应的特征向量 - 数据的标准差 - 数据的均值- 线性回归与主成分的区别 - 相同点都是降维 - 线性回归是直接选择变量，舍弃某些变量 - 主成分是根
2015-07-13 09:17:23
644
原创 机器学习课程4-题1-1
薛毅书例9.2 解答过程：输入数据#### 输入数据, 按下三角输入, 构成向量x<-c(1.00, 0.79, 1.00, 0.36, 0.31, 1.00, 0.96, 0.74, 0.38, 1.00, 0.89, 0.58, 0.31, 0.90, 1.00, 0.79, 0.58, 0.30, 0.78, 0.79, 1.00
2015-07-12 21:31:16
668
原创 如何在业务设计中优雅地使用JAVA反射
java反射之前接触比较多，但仅技术方面思考的多；这次主要是从业务角度出发，思考java反射在业务模块设计中如何发挥更高效的作用，以提高生产率。1.业务需求要处理银行回单票据，提取出付款人、收款人及对应银行和业务信息，每个银行的格式都不统一。所以需要对各家银行的格式进行预处理，规整为标准格式后，交由后续模块处理。 对于预处理格式化，这个需求的实现方案，有多种：2.方案选型 做法 适用场景
2015-07-07 18:34:12
546
原创 机器学习3-课后题:使用岭回归与lasso算法选择变量
1.题目分别使用岭回归和Lasso解决薛毅书第279页(PDF为p331)例6.10的回归问题 2.准备2.1.准备安装和加载包使用到R语言的函数和对应包 函数 功能 包 lm.ridge 提供岭回归函数 ridge linearRidge 自动进行岭参数选择,Cule(2012) MASS lars 提供最小角回归、lasso等回归模型 lars说
2015-06-28 19:51:19
6729
原创 关于通过线性回归来实现线程池的自动调优的讨论
一个人提议引起这虾子(153193053) 10:05:01 想写个工具类来实现线程池的自动调优，大概就是采集一些相关指标，然后利用线性回归来预测最优设置，你们觉得这个靠谱不。和木的建议1、收集数据； 2、数据建模； 3、用R语言快速验证，得出回归模型 4、用Weka的包引入到监控程序线性回归到不复杂，不过要收集原始数据，维度比较多；有些是分类变量或者多余参数，就涉及到哑变量和多重共线性的
2015-06-26 10:09:03
802
原创 机器学习课程3-笔记
课程3课程3大纲多元线性回归的最小二乘解1几何解释2广义逆的奇异性3无偏估计岭回归1几何意义2岭回归的性质3的选择原则4用岭回归选择变量5岭回归存在的问题6通过R演练LASSO1LASSO vs 岭回归11弹性网2求解过程LAR算法1.大纲扔给你一堆数据，可能有成百上千各变量,怎样变量选择，怎样排除多重共线性问题： 要么丰厚的业务知识丰富，根据经验来选择；要么
2015-06-26 10:05:20
1101
原创 机器学习课程2-笔记
课程2课程2归纳回归就是变量之间的关系相关系数RSS线性回归通过R语言多元线性模型虚拟变量哑变量多元线性回归模型回归诊断广义线性模型一元以及多元的线性回归，统计学东西比较多，统计学术语一堆堆的《大数据的统计学基础》基础的基础logistic回归，划入广义线性回归模型。变量筛选，从一堆变量中求解出来，以及降维。1.归纳拟合，一般选择直线或者次数比较低得曲线。（测试有误差，曲
2015-06-26 10:03:16
715
原创 json使用笔记
开源项目org.json 这个项目比较弱，但是不少项目在引用Gson 这个之前一直用，后来Fastjson出来后，看别人用的多，也就改用Fastjson了Fastjson 网上说速度比较快，对速度还不敏感，但其接口用起来比Gson更简洁定制化，可以通过@JSONField解决JSON名称中包含下划线、大小写等不规范问题甚至还可以定制哪个字段是否输出规范开始参考了json规范，这个文
2015-06-17 17:54:30
1674
原创 JAVA几种日志组件的兼容
几种日志组件介绍jul转log4j的桥接关系1maven 依赖文件2SLF4JBridgeHandler要在代码中引用3log4jxml样例调试遇到的问题1slf4j存在多个绑定时出错11意外验证调整引用顺序竟然也对了2官方文档解释2log4jWARN 元素类型为 log4jconfiguration 的内容必须匹配JAVA有多款日志组件介绍如jul，common-logging
2015-06-17 14:15:19
1739
原创 maven笔记-插件
入门常用命令变量Maven插件与生命周期关系图解与执行样例各插件介绍1appassembler11appassemblerassemble12appassemblercreate-repository13appassemblergenerate-daemons14assemble模式样例15deamon样例插件管理入门1.常用命令mvn -Dmaven.test.skip
2015-06-17 11:58:41
2868
转载 join概述
别人的一篇文章，感觉讲的不错，分享下Join绝对是关系型数据库中最常用一个特性，然而在分布式环境中,跨分片的join确是最复杂的，最难解决一个问题。 下面我们简单介绍下各种Join操作。 1：INNER JOIN 内连接，也叫等值连接，inner join产生同时符合A表和B表的一组数据。 如图： 2:LEFT JOIN 左连接从A表(左)产生一套完整的记录,与匹配的B表记录(右表) .
2015-04-28 17:17:19
477
原创 Java性能调优-简单总结
Java性能调优-简单总结自带命令行宝典可参考总结：http://blog.youkuaiyun.com/lichangzhen2008/article/details/45242273这是别人整理的文档，也不错的。参考阅读JVM性能调优监控工具jps、jstack、jmap、jhat、jstat、hprof使用详解其它工具简介远程方法jdwp个人没有用过，参考文档Java远程调试方法XrunjdwpJMX+J
2015-04-24 09:30:45
858
原创 Java Performance笔记一
Java Performance笔记一java监控工具jps 查看java进程号jcmd 打印java进程的基本类、线程、VM信息jhat 后加工工具，分析内存dumpjmap 可以在线dump内存jinfo 查看jvm系统参数，可以动态设置参数jstat 可以查看gc和类加载情况jstack 查看线程堆栈情况jconsole 傻瓜式工具jvisualvm 傻瓜式工具，功能更强
2015-04-24 09:23:36
3097
原创 MyCAT线程模型
MyCAT线程介绍IO和业务类线程TimerTimerExecutor线程池NIOConnect主动连接事件分离器Server被动连接事件分离器Manager被动连接事件分离器NIOReactor读写事件分离器BusinessExecutor线程池一个SQL请求的线程切换MyCAT的线程快照Cobar线程介绍TimerTimerExecutor线程池Server被动连接事件
2015-04-23 22:58:46
1177
原创 中间件开发技能要求-图形化展示
对中间件开发技能进行图形化展示，方便团队内各成员业余时间自学相关技能，其中 - 多线程、网络编程、JVM调优是无止境的，能多熟就多熟 :) - 流程控制需要个人多思考，对于高性能框架，就是引入很多异步逻辑，进行碎片化编程 - 不能一碰到需求就加一段代码而不管整体的融合性，不要只加不减，不时重构下结构删些代码多做些乘法 - 各种理论知识要跟实践相结合，理论算法一个表现形式，真正落地时代码上则可
2015-04-22 14:17:36
871
AIX入门与提高(全)
2010-06-11
UNIX环境高级编程(上).rar
2008-11-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人