- 博客(76)
- 资源 (12)
- 收藏
- 关注
RSS订阅原创 开源大模型发展汇总
经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 虽然规模不及千亿模型，但大大降低了推理成本，提升了效率，并且已经能生成相当符合人类偏好的回答。MOSS 是一个支持中英双语和多种插件的开源对话语言模型， moss-moon 系列模型具有 160 亿参数，在 FP16 精度下可在单张 A100/A800 或两张 3090 显卡运行，在 INT4/8 精度下可在单张 3090 显卡运行。自训练模型的初衷起源于，上面3个问题。
2023-07-14 14:51:24
1703
1
原创 读书记录（三）
2022：《启示录2-打造优秀的产品团队》 Marty Cagan，Chris Jones 著， 蒋楠 译一本介绍产品的书，听同事说不错，借来看看。内容上无太多收获，偏“术”层面，介绍了一些实现好产品的团队该有的特征，以及通过一些成名产品主管的献身说法来做例证产品经理应该具备的5个知识：用户和客户知识 数据知识 行业和领域知识 业务和公司知识 产品运营知识产品经理应该具备的4个流程方法：产品探索方法 产品优化方法 产品交付方法 产品开发流程提出了一个亚马逊产品实践方
2022-03-02 15:00:52
493
原创 设计模式-- 依赖倒置DIP（例解-从编码到服务级解耦）
原定义：高层模块不应该依赖低层模块，两者都应该依赖其抽象；抽象不应该依赖细节，细节应该依赖抽象（High level modules shouldnot depend upon low level modules.Both should depend upon abstractions.Abstractions should not depend upon details. Details should depend upon abstractions）其核心思想是：要面向接口编程（IOP），而不是面向
2021-10-26 17:16:46
609
原创 技术详设文档化的重要性
优秀详设能达到的效果让不了解这个项目的人通过文档能完整的了解整个事件（项目），包括：项目的前因后果（问题域）；准备怎么做，为了表述清楚怎么做，通常按技术相关维度度展开（解决方案域）；配套我们的解决方案，可能会存在什么样的风险。详设的现实意义1.为了我们自己详设要求我们做之前是想清楚了的，这里的清楚包括：a. 问题空间（需求）想清楚。从用户、产品角度去想，想的比产品多，才有能力拒绝需求（拒绝需求也是一种能力）。觉得产品提的就这样，出了问题也不管我的事？no, no, no, 关老大的事了，
2021-10-25 22:12:53
705
转载 【架构案例-依赖倒置】循环依赖解耦
一、循环依赖有哪些首先我们要讲清楚什么是循环依赖，以及循环依赖的在程序设计层面、软件产品设计层面、顶层架构设计层面上可能出现的场景。从概念模型上讲，只要两个或多个元素产生相互依赖关系，就可以看成产生了循环依赖：上图是两个依赖关系正确的示例：A元素正常工作依赖于B元素的正常工作，或者A元素的正常工作依赖于B、C、D元素的正常工作。这里的A、B、C、D四个元素可以指代四段代码，也可以指代一个业务系统中四个功能模块，还可以指代顶层架构设计中的4个独立工作的业务系统。循环依赖在逻辑层面上是一个有
2021-10-20 20:49:49
1428
原创 DDD如何设计落地？（库存，产品账示例）
一.背景本文预算管控服务建设作为一个DDD设计的例子介绍，目标是是呈现一次DDD设计的过程，为了减少绘图和描述的工作量，文中会对预算管控业务需求和功能做简化。请重点关注设计的流程，这是我们想传达的重点，忽略设计细节的合理性。另外，对于预算管控服务来讲，不一定要用DDD来进行分析设计，基于传统的数据驱动就完全可以满足需求，但作为介绍DDD实施过程，预算管控是一个不错的例子（不需要画太多的图）。在这里我们不讨论什么类型项目合适DDD，可以参考：大致的共识为复杂度高的业务适合DDD。而复杂...
2021-06-12 22:20:26
23491
9
原创 微服务设计模式（系列）-分布式事务（Saga模式）
这里写自定义目录标题SagaSaga每个Saga由一系列sub-transaction Ti 组成每个Ti 都有对应的补偿动作Ci，补偿动作用于撤销Ti造成的结果可以看到，和TCC相比，Saga没有“预留”动作，它的Ti就是直接提交到库。Saga可能的行为T1, T2, T3, …, TnT1, T2, …, Tj, Cj,…, C2, C1，其中0 < j < nSaga的 恢复策略backward recovery，向后恢复，补偿所有已完成的事务，如果任一子事务失败
2020-05-26 12:08:48
1242
翻译 微服务设计模式（系列）-微服务拆分
软件模式-微服务拆分：按业务能力分解微服务场景基于业务分解的原则场景如果你正准备将你的单体架构（Monolithic architecture）应用改造为微服务架构，并希望使用微服务架构将应用程序构造为一组松耦合的服务。那么第一个要面对的问题就是如何进行服务的拆分。上图展示了微服务的架构优势，主要包括两方面：简化测试并允许独立部署将工程组织结构化为一组小型（6-10名成员）的自治团队，每个团队负责一个或多个服务这些好处不会自动得到保证。相反，它们只能通过合理的服务分解为实现。服务必须足够
2020-05-25 19:49:37
565
原创 技术管理哪些事（三）落实“以人为本”的管理
许多思想和理念都是耳熟能详的，说起来人人都能理解和认同。但往往这些“简单的事”，能做好的却很少。所以说，知易行难。本次就想从执行的角度谈谈。为什么“以人为本”的思想重要人力资本论认为：人力资源是一切资源中最主要的资源 在经济增长中，人力资源作用大于物资资本作用 人力资本的核心是提高人口质量，教育投资是人力投资的主要部分同时，知识型工作在我们日常工作中的占比越来越大，而考虑到知识型...
2019-08-13 20:21:39
418
原创 技术管理那些事（二）“人剑合一”的团队
离上次整理过去大半年了，今天重拾笔记。上次谈了对于“管理的进阶”的看法，这次谈谈团队的状态。什么是“人剑合一”作为团队的管理者（TL），需要带领整个团队，是选择目标、指引方向的 “人”，而整个团队就像管理者手中的“剑”。挥剑的过程，就是管理者调动团队去完成一个目标的过程，而团队行动的响应力、执行结果的好坏就是衡量团队管理质量的标杆。在这个过程中，无疑，目标的选择、管理、甚至“包装”，对团队...
2019-08-10 19:37:29
674
原创 技术管理那些事（一）管理的进阶
算是阶段性总结记录一下个人对于技术团队管理的一点思考。在此之前我所涉及团队管理相关的工作场景还不算单一，所以这里是对多种场景的一些汇总思考。团队管理能力与专业技能是两条平行的技能线。作为过来人，相信大家都很重视自己的专业技能提高，但当角色转变为TL后，我们对于管理技能的重视程度又如何？就我观察到的而言，大多数是将其放在次要位置的。不管是因为重视程度不够，还是缺少指导，我认为这是国内普遍的现象（...
2018-12-02 21:44:13
3196
翻译 From URL to Interactive（四）---从var到及时编译（Var to JIT）
这是《From URL to Interactive》系列文章的第一篇《Server to Client》。《From URL to Interactive》是个引子就不译了，文章主要基于windows自带的浏览器Eage为基础介绍现代浏览器对HTML从请求、链接、加载、解析、渲染、交互的过程。分阶段介绍：From URL to Interactive（一）---从服务器到客户端（Server...
2018-12-01 15:04:01
400
翻译 From URL to Interactive（三）---从大括号到像素（Braces to Pixels）
这是《From URL to Interactive》系列文章的第一篇《Server to Client》。《From URL to Interactive》是个引子就不译了，文章主要基于windows自带的浏览器Eage为基础介绍现代浏览器对HTML从请求、链接、加载、解析、渲染、交互的过程。分阶段介绍：From URL to Interactive（一）---从服务器到客户端（Server...
2018-11-29 21:24:15
715
翻译 From URL to Interactive（二）---从标签到DOM（Tags to DOM）
这是《From URL to Interactive》系列文章的第一篇《Server to Client》。《From URL to Interactive》是个引子就不译了，文章主要基于windows自带的浏览器Eage为基础介绍现代浏览器对HTML从请求、链接、加载、解析、渲染、交互的过程。分阶段介绍：From URL to Interactive（一）---从服务器到客户端（Server...
2018-11-19 19:42:11
438
翻译 From URL to Interactive（一）---服务器到客户端（Server to Client）
最近想比较系统的关注一下国外的技术博客。顺带将一些文章翻译下。这是《From URL to Interactive》系列文章的第一篇《Server to Client》。《From URL to Interactive》是个引子就不译了，文章主要基于windows自带的浏览器Eage为基础介绍现代浏览器对HTML从请求、链接、加载、解析、渲染、交互的过程。分阶段介绍：From URL to...
2018-11-18 22:48:47
458
原创 读书记录（二）
2018《终极智能》阿米尔-侯赛因 赛迪研究院专家组 译对《未来简史》有些相似的类容，大多是初级介绍，科普性概述，和个人观点的陈述。之前我对于人工智能还是很担忧的，是属于禁止派的，看完后有所改变。确实人类无法阻止智能的进步，总有机构或个人会私下做相应的研究，与其让小部分人躲在角落偷偷研究而不被外界知道，还不如让所有人都产于，让整个产业更透明化。另外一个有意思的观点是认为，整个人类社会...
2018-10-28 20:46:05
730
原创 Jenkins tomcat自动部署脚本
强制关闭tomcat进程，并拷贝包并重新启动tomcat： export JAVA_HOME=/yougo/java echo ‘尝试关闭tomcat…’ sh bin/shutdown.sh; tom_pid=ps -ef|grep group-new|grep -v grep| awk '{print $2}' #如果tom_pid长度不为零 not-zero
2016-09-13 12:35:59
3838
原创 jenkins+git+ maven 配置注意事项（坑）
jenkins+git+ maven 配置注意事项最近需要配置一套jenkins环境，将手上的一个项目整合。配置过程中遇到一些坑，以前也遇到过但没有记录下来，现在想不起具体原因，所以又把所以的坑踩了一遍花了大概半天时间。这次准备把问题点都记录一下。以下描述可能不完全准确，因为有些部分是我的猜测，并未深入确认，仅作为解决问题的实际方案描述。全局配置项（Global Tool Configuration
2016-09-13 12:26:23
3326
转载 塞缪尔《青春》
YOUTH[1] Samuel UllmanYouth is not a time of life; it is a state of mind; it is not a matter ofrosy cheeks, red lips and supple knees; it is a matter of the will, aquality of the imagi
2014-09-10 17:54:18
1298
转载 交互设计工具现状[1]
原文：https://medium.com/@pasql/the-state-of-interaction-design-tools-f755c6515368The state of Interaction Design toolsThe current state of tools is decent, but how they fit together is less than
2014-06-26 20:27:18
1096
原创 类加载器泄露（tomcat ） 文章收集
专家访谈:Tomcat 7的内存泄漏保护http://developer.51cto.com/art/201006/204956.htm
2014-04-14 11:29:51
877
原创 什么事SVM中的VC维
年 9 月 23 日在机器学习里我们常常看到这样的说法：一般而言,VC维越大, 学习能力就越强,学习也越复杂；可以通过VC维计算学习风险的上界。但进一步对VC维的介绍却不多，例如，VC维是什么？如何计算VC维？等根据百度百科：VC维（Vapnik-Chervonenkis Dimension）的概念是为了研究学习过程一致收敛的速度和推广性，由统计学理论定义的有关函数集学习...
2013-09-23 20:45:35
3575
翻译 Hash 函数的现状，2012
看到一篇介绍hash的文章不错，所以翻译了一下。原文：http://blog.reverberate.org/2012/01/state-of-hash-functions-2012.html经典的非加密hash函数在最近几年取得了迅速的发展，最近搜索相关信息，高兴的发现又有前沿的hash函数发布了，虽然离上一次看到新hash函数的时间才半年或一年。非加密hash函数以一个
2013-09-22 19:54:43
2309
转载 数据分析与挖掘的企业应用路在何方（谈分水岭）
-----------前言---------近期有不少朋友感言数据分析和挖掘应用的商业价值问题，一是说数据分析和挖掘在企业，如果只有知识发现，知识应用没有搞起来，企业还是没有体会到数据的价值；二是说数据分析和挖掘，是否看在多么牛的互联网巨头工作的背景，还是要有扎实的数据变现能力？ 第一个问题，还得从第三方数据分析服务，与企业内部数据分析分开来说，否则没有意义。第二个问题，就
2013-09-02 19:24:05
1354
原创 读书记录（一）
由于文章太长，现分贴记录突然发现记录下自己曾经读过的书, 也是很有意义的事, 也许某天会惊讶于这张list。如果你无意间也看到这篇文章，也请你也记下自己的成长历程吧。更早：《编译器和链接器》《Effective C++》《More Effective C++》《Essential c++》《 Effective STL》《C++ Template》《Inside...
2013-08-23 14:26:17
1825
原创 [代码] 如何处理添加和删除文档请求
who got updateRequest first?the answer is SolrDispatchFilter. let's look a graph first:1. .doFilter receive any update request first. doFilter will choice a right core for this request.
2013-07-05 21:04:11
1343
原创 [代码]solrcloud中 SolrCore 初始化
SolrCore init The main procedure list as above.1. initListeners() : the listeners is defined in the solrconfig.xml. for defaute there are tow seaerch listeners:listener
2013-07-05 20:59:20
2085
原创 [代码] solrcloud/solr4.0的启动步骤
This page show the major procedures in the progress of Solr4.0 startup SolrDispatchFilter.init(FilterConfig config) init the CoreContainer firstly. public void init(FilterCon
2013-07-05 20:53:52
1563
原创 SolrCloud Transaction Log 是如何工作的？
本内容由我的同事Hans Tan 提供，在此感谢Hans 分享如下内容WHY TRANSACTION LOG?A transaction log records all operations performed on an Index between two hard commitsEach hard commit starts a new transaction log be
2013-07-05 20:47:38
2196
原创 SolrCloud Capability Test
solrcloud 测试的一些中间产物。原记录在内部wiki上，现share出来environment| SolrCloud servers: X.X.X.251, X.X.X.252, X.X.X.253. each with Mem:16G CPU:8 core 2.57GHz; zook
2013-07-05 20:37:10
1592
原创 SolrCloud Performance 测试（query-fetch）
由wiki粘过来，稍微改了下格式。还是有点乱，将就看看，主要看数据Base on the the SolrCloud Performance Test. and ElasticSearch Performance Test, we see that the search performance of solrcloud is not as good as we expected com
2013-07-05 17:37:00
1593
原创 Solr4.0(SolrCloud) & ElasticSearch(ES) 比较（三）：查询方式(query_then_fetch)
this article provide by my co-worker Miles LiElasticSearch VS Solr in searching1 Solr is slower than ElasticSearch in searching through testing. We try to find root cause. The following
2013-07-05 17:16:12
3634
1
原创 各种开源搜索引擎
C/C++语言： Zettair、lucy、XMLSearch、Omega、Xapian（支持多语言）、Swish++、 Swish—E、SphinxJava：Lucene（相关项目支持多语言）、solr、elasticsearch、Katta 、MG4J(Managing Gigabytes for Java)、Egothor、OpenSearchServer、HSearch、campa
2013-07-04 17:50:01
3764
原创 SolrCloud Architecture 架构
本文图片由我的同事 邓晓涛整理，再此感谢他为大家提供了solrcloud的一个overhead picture
2013-07-01 16:04:40
2065
原创 请在 64位 系统上使用 lucene MMapDirectory
本文引用自 http://blog.thetaphi.de/2012/07/use-lucenes-mmapdirectory-on-64bit.html文章从如下几个方面介绍了为什么我们需要使用 MMapDirectory来管理索引文件1. 什么是虚拟内存及其工作原理2. 为什么RAMDirectory or NIOFSDirectory 不是索引管理的最佳选择3
2013-07-01 15:12:48
2577
原创 Solrcloud/solr4.0/solr4.2/solr4.3/solr4.x （实时搜索）NRT及commit 相关问题
http://www.tnove.com/?p=331 本文主要介绍solr4.0 之后使用NRT的方法和需要的配置，同时介绍下commit相关的一些命令的使用效果NRT 1 为了使用NRT ，我们需要配置solrconfig.xml。其中两个地方需要修改 a. 600000 false 这里需要将hard
2013-06-28 14:55:39
3117
原创 Eclipse + Tomcat7.0（jsvc） 进行远程debug
http://www.tnove.com/?p=313背景： 最近需要对一个分布式项目进行debug，在本地部署分布式环境始终还是不够理想。所以决定使用remote debug功能。 开发环境：eclipse 应用部署环境为：jdk7.0 、tomcat7.0 使用jsvc启动（特殊需要，本应用必须使用jsvc）操作：
2013-04-23 19:45:31
2524
原创 数据挖掘：Top 10 Algorithms in Data Mining(七)AdaBoost
Adaboost 是boosting算法的变形，全称为adaptive boosting（自适应增强）。该方法主要是通过多个弱分类器的集合来使得分类误差达到足够小。理论上通过adaboost方法可以使得分类误差为0。但我们知道通常情况下训练分类器误差为0时会过拟合。 关于boosting算法参考《Boosting Foundations and Algorithms》以及wik
2013-03-03 13:06:41
1650
原创 数据挖掘：Top 10 Algorithms in Data Mining(六)PageRank
Pagerank因google的快熟发展并提供高质量搜索结果而受到广泛关注。Pagerank的主要目标是评价网页的重要程度，并以此作为网页的排名依据。算法主要参考网页被引用的数量，及引用者的权威性。参考下面的简单的网页引用模型： 首先我们需要一个合适的数据结构来表示这个网络结构。这涉及到图的表示，我们在数据结构课程中学过，常用的方法是邻接矩阵法和链接法。实际中不会单独的只使用某一种
2013-03-03 12:59:36
1619
2020最新Scrum官方培训PPT（Mick-Cohn）.ppt
2020-09-14
OpenGL 库（包括辅助库）
2010-05-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人