- 博客(124)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 什么是BERT？工程快速入门
全称是Bidirectional Encoder Representations from Transformers。BERT翻译成中文通常被称为“双向编码器表征法”或简单地称为“双向变换器模型是双向神经网络，这个在学习 RNN 时候我们就了解到如何使用双向 RNN 让每一个词视野更加广阔，不但可以看到其前面词还能看到其后面的词。说明 BERT 是编码器。BERT 是完成词的表征的任务的模型，之前我们已经学过了了 word2vec。
2024-08-18 23:26:42
523
原创 maven包依赖分析
1.mavne 包依赖路径分析笔记在开发java及scala过程中使用maven 经常就遇到很多路径依赖的问题，故在此对路径依赖做一个梳理分析关于maven 的Dependency机制相见maven官网：https://maven.apache.org/guides/introduction/introduction-to-dependency-mechanism.html#Transitive_Dependencies众所周知，maven的包路径依赖有最短路径原则与最先声明原则，下面分别对
2020-10-25 22:41:26
1690
原创 java guava local cache +Map深浅拷贝
笔者使用guava的local cache遇到一个坑，查了很长时间，最终顺利解决。1.问题阐述1.定义缓存private LoadingCache<String, Map<Long, Float>> liveCenterLRFeatureCache;2.获取缓存处：Map<Long, Float> feature = this.liveCenterLRFeatureCache.getUnchecked(anchorFeatureKey))3.操.
2020-10-15 10:30:29
1738
原创 推荐系统embedding
1.什么是embedding？直观含义：比如[0.3,0.5]2个元素，2维embedding，[0.2,0.3,0.4......,0.5,0.7] 1000个元素，1000维embedding物理意义：可解释的embedding 代表兴趣强度用户embedding.[0.8,0.3] 这个人喜欢 0.8强度的喜剧，喜欢0.3强度的动作；电影embedding.[0.4,0.6] 这个电影0.4强度是喜剧片，0.6的强度是动作片；求余旋函数[0.8,0.3],[0.4,0.6]
2020-09-19 10:15:33
719
原创 HDFS存储机制
1.hdfs是如何存储数据的呢？众所周知，hdfs分为namenode & datanode，NN 复制集群的元数据管理，DN的管理等2.hdfs写文件流程https://www.processon.com/view/link/5f3de2e0f346fb06decec33f3.hdfs 读文件流程4.hdfs 容错机制...
2020-08-20 11:45:13
2063
原创 hive中order by 语句跟mysql order by 语句的区别
笔者使用hive 语句的过程中发现一些问题，故做简单分析1.问题起因hive 查询语句:主要逻辑：A表LEFT JOIN B表 然后按照A表中某个字段排序后取指定limit的数据；错误的执行语句如下：select A.id, A.tag,A.is_jingpin,A.is_time_sensitive,A.first_publish_time from( select data['id'] as id, data['intf_qiwen_vertical_level1_cate..
2020-08-13 18:26:12
377
原创 Flink知识学习链接整理
Flink 知识https://juejin.im/post/5d46d79f6fb9a06b2b475ccfhttp://www.54tianzhisheng.cn/2018/09/18/flink-install/#https://juejin.im/post/5c4f16dbe51d454f342fb7e7#heading-5
2019-10-16 14:34:38
233
原创 ES新建、索引和删除文档
ES新建、索引和删除文档的节点执行情况以下是在主副分片和任何副本分片上面 成功新建，索引和删除文档所需要的步骤顺序：客户端向 Node 1 发送新建、索引或者删除请求。节点使用文档的 _id 确定文档属于分片 0 。请求会被转发到 Node 3，因为分片 0 的主分片目前被分配在Node 3 上。Node 3 在主分片上面执行请求。如果成功了，它将请求并行转发到 Node 1 和 No...
2019-10-11 16:35:29
780
原创 How to resolve unassigned shards in Elasticsearch
How to resolve unassigned shards in ElasticsearchElastic search 分片原理es具有丰富的扩容机制，能够实现文档的分布式存储。分片通过reroute api 重新分配replica到指定的节点##解决unassigned shardsPOST _cluster/reroute?retry_failed=true{ "co...
2019-10-11 14:23:54
206
原创 IllegalStateException: Connection pool shut down
https://blog.youkuaiyun.com/sinat_27143551/article/details/84257154https://stackoverflow.com/questions/25889925/apache-poolinghttpclientconnectionmanager-throwing-illegal-state-exceptionhttp request hea...
2019-09-11 20:53:12
1538
原创 spring cannot resolve property key
1.spring-boot项目现象spring-mongo.xml中的<property name="servers" value="${mongo.servers}"/> <property name="port" value="${mongo.port}"/> <property name="authDatabase" val...
2019-08-02 10:56:33
845
原创 springboot 整合redis 报错NoUniqueBeanDefinitionException
一、错误描述java.lang.IllegalStateException: Failed to load ApplicationContext at org.springframework.test.context.cache.DefaultCacheAwareContextLoaderDelegate.loadContext(DefaultCacheAwareContextLoade...
2019-07-11 11:51:01
887
转载 java.lang.NoClassDefFoundError错误分析
怎么解决java.lang.NoClassDefFoundError错误https://www.codelast.com/%E5%8E%9F%E5%88%9B-java-lang-noclassdeffounderror-%E7%9A%84%E8%A7%A3%E5%86%B3%E6%96%B9%E6%B3%95%E4%B8%80%E4%BE%8B/https://javarev...
2019-07-02 13:24:02
188
原创 Elastic Search 初探
1. ES 基础知识Elasticsearch使用Lucene作为其核心来实现所有索引和搜索的功能，它通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单。文档型数据库倒排索引：时间序列数据库的秘密 (2)——索引Elasticsearch－基础介绍及索引原理分析面向文档：{ "email": "john@smith.c...
2019-04-07 22:36:02
288
原创 数据挖掘常用学习网站
https://zhuanlan.zhihu.com/p/24738832https://site.douban.com/182577/room/2177971/http://www.cnblogs.com/jerrylead/ 对线性回归，logistic回归和一般回归的认识 判别模型、生成模型与朴素贝叶斯方法 支持向量机SVM（一） 支持向量机SVM（二） 支持向量机（三）核函...
2018-11-21 15:26:16
684
转载 activeMq简单介绍
一. MQ的基本概念1) 队列管理器队列管理器是MQ系统中最上层的一个概念，由它为我们提供基于队列的消息服务。2) 消息在MQ中，我们把应用程序交由MQ传输的数据定义为消息，我们可以定义消息的内容并对消息进行广义的理解，比如：用户的各种类型的数据文件，某个应用向其它应用发出的处理请求等都可以作为消息。消息有两部分组成：消息描述符(Message Discription或Message Header...
2018-05-25 22:57:02
4900
转载 视频专辑：炼数成金 hadoop 视频教程
Hadoop视频教程http://blog.youkuaiyun.com/likun557/article/details/16840277
2016-11-06 23:08:17
750
转载 JAVA assertThat用于测试
assertThat详解 ---来自http://yingfangming.blog.163.com/blog/static/165802470201092964526324/㈠ 一般匹配符1、allOf 匹配符表明如果接下来的所有条件必须都成立测试才通过，相当于“与”（&&） assertThat( testedNumber, allOf(
2016-07-27 14:00:45
2477
原创 IDEA Debug问题
在IDEA 中debug的时候出现如下错误：有两种方式可以解决此问题：1.查看run_jetty.sh中的端口是否与调试中的端口一致。2.查看是否启动应用。在terminal中运行应用 ./run_jetty.sh
2016-07-22 15:22:38
779
转载 Gson and Json
json解析：[1]gson解析jsonGson是谷歌推出的解析json数据以及将对象转换成json数据的一个开源框架. 现在json因其易读性和高效率而被广泛的使用着. 相对于java以及其它json的解析框架,Gson非常的好用.简单来讲就是根据json的数据结构定义出相应的javabean --->"new"出Gson的实例gson---->gson.fr
2016-07-21 15:48:50
473
转载 JAVA 注解的几大作用及使用方法详解（完）
java 注解，从名字上看是注释，解释。但功能却不仅仅是注释那么简单。注解（Annotation） 为我们在代码中添加信息提供了一种形式化的方法，是我们可以在稍后 某个时刻方便地使用这些数据（通过 解析注解 来使用这些数据），常见的作用有以下几种：生成文档。这是最常见的，也是java 最早提供的注解。常用的有@see @param @return 等跟踪代码依赖性，实现替代配置文件功能
2016-07-20 16:37:33
1773
转载 JAVA开发工具Intellij Idea 破解
在注册时选择 License server ，填 http://www.iteblog.com/idea/key.php ，然后点击 OK
2016-07-15 22:45:00
646
原创 MBTI职业性格测试
INTJ 专家型——追求能力与独立报告接收人:才储成员8120015日期:2016/4/24一、你的MBTI图形http://www.apesk.com/mbti/dati.asp MBTI倾向示意图(类型：INTJ 总倾向：29.7) 外向（E）
2016-04-24 13:03:31
4062
转载 理解Windows内核模式与用户模式
1、基础运行 Windows 的计算机中的处理器有两个不同模式：“用户模式”和“内核模式”。根据处理器上运行的代码的类型，处理器在两个模式之间切换。应用程序在用户模式下运行，核心操作系统组件在内核模式下运行。多个驱动程序在内核模式下运行，但某些驱动程序在用户模式下运行。当启动用户模式的应用程序时，Windows 会为该应用程序创建“进程”。进程为应用程序提供专用的“
2016-04-07 20:50:50
1421
转载 线程同步的几种方式
进程中线程同步的四种常用方式：一、 临界区（CCriticalSection）当多个线程访问一个独占性共享资源时，可以使用临界区对象。拥有临界区的线程可以访问被保护起来的资源或代码段，其他线程若想访问，则被挂起，直到拥有临界区的线程放弃临界区为止。具体应用方式：1、 定义临界区对象CcriticalSection g_CriticalSection;2、 在访问共享
2016-04-07 18:48:39
1039
转载 0-1背包问题
简介 背包问题已经是一个很经典而且讨论很广泛的算法问题了。最近学习到这一部分，打算结合自己思考和编码的过程做一个思考总结。这里主要讨论的0-1背包问题和部分背包问题解决方法背后其实隐藏了两种我们比较常见的算法解决思路，动态规划和贪婪算法。正好通过这两个问题的讨论可以好好的加深一下理解。 问题描述 假设我们有n件物品，分别编号为1, 2...n。其中编号为
2016-04-05 23:13:59
467
转载 javaweb--Servlet开发
一、Servlet简介 Servlet是sun公司提供的一门用于开发动态web资源的技术。 Sun公司在其API中提供了一个servlet接口，用户若想用发一个动态web资源(即开发一个Java程序向浏览器输出数据)，需要完成以下2个步骤： 1、编写一个Java类，实现servlet接口。 2、把开发好的Java类部署到web服务器中。 按照一种约定俗成的称呼习惯，通
2016-03-25 19:15:09
448
转载 JAVA程序员必看11本书籍
http://developer.51cto.com/art/201512/503095.htm学习的最好途径就是看书“，这是我自己学习并且小有了一定的积累之后的第一体会。个人认为看书有两点好处：1.能出版出来的书一定是经过反复的思考、雕琢和审核的，因此从专业性的角度来说，一本好书的价值远超其他资料2.对着书上的代码自己敲的时候方便“看完书之后再
2016-03-25 11:05:16
3728
转载 Servlet 工作原理解析
Web 技术成为当今主流的互联网 Web 应用技术之一，而 Servlet 是 Java Web 技术的核心基础。因而掌握 Servlet 的工作原理是成为一名合格的 Java Web 技术开发人员的基本要求。本文将带你认识 Java Web 技术是如何基于 Servlet 工作，你将知道：以 Tomcat 为例了解 Servlet 容器是如何工作的？一个 Web 工程在 Servlet 容器中是
2016-03-25 10:57:17
687
转载 J2EE领域的一些技术框架结构图
1.Spring 架构图Spring 是一个开源 框架，是为了解决企业应用程序开发复杂性而创建的。框架的主要优势之一就是其分层架构，分层架构允许您选择使用哪一个组件，同时为J2EE 应用程序开发提供集成的框架。Spring 框架的功能可以用在任何J2EE 服务器中，大多数功能也适用于不受管理的环境。Spring 的核心要点是：支持不绑定到特定J2EE 服务的可重用业务和数据访问对象。这样的
2016-03-25 10:25:43
663
转载 Java EE开发四大常用框架(1)
我们对Java EE的框架有过很多介绍， 本文将对Java EE中常用的四个框架做一下系统的归纳，希望大家喜欢。 Struts Struts是一个基于Sun Java EE平台的MVC框架，主要是采用Servlet和JSP技术来实现的。 Struts框架可分为以下四个主要部分，其中三个就和MVC模式紧密相关： 1、模型 (Model)，本质上来说在Strut
2016-03-25 10:22:21
917
转载 深入浅出Java三大框架SSH与MVC的设计模式
转自：http://www.educity.cn/java/1382738.html现在许许多多的初学者和程序员，都在趋之若鹜地学习Web开发的宝典级框架：Struts2， Spring，Hibernate。似乎这些框架成为了一个人是否精通Java，是否会写J2EE程序的唯一事实标准和找工作的必备基础。 然而，如果在面试的时候问这些程序员，你们为什么要学习这些框架？这些
2016-03-25 10:20:24
440
转载 JAVA 三大框架 Struts+Hibernate+Spring
常听人提起三大框架，关于三大框架，做了如下了解: 三大框架：Struts+Hibernate+Spring Java三大框架主要用来做WEN应用。 Struts主要负责表示层的显示 Spring利用它的IOC和AOP来处理控制业务（负责对数据库的操作） Hibernate主要是数据持久化到数据库 再用jsp的servlet做网页开发的时候有个web.xml的映射
2016-03-25 10:18:33
759
转载 LeetCode总结
本文转自http://blog.youkuaiyun.com/lanxu_yy/article/details/17848219最近完成了www.leetcode.com的online judge中151道算法题目。除各个题目有特殊巧妙的解法以外，大部分题目都是经典的算法或者数据结构，因此做了如下小结，具体的解题思路可以搜索我的博客：LeetCode题解题目算法数据
2016-03-14 22:52:33
505
转载 OpenGL 渲染管线理论
这几天稍微看了一些关于GLSL的顶点着色以及片元着色的一些相关知识.目前来讲还有一个着色器则是Geometry_shader..我的显卡用不了这个功能..当然有点遗憾>_ 在看了一些之后,大概了解了一些关于OpenGL渲染管线的知识.看了这个之后对于OpenGL的学习我想应当是很有帮助.关于这么一篇的原文则是GLSL-LIGHTSOURCE 教程一个开篇部分.原文地址:是英
2016-03-09 20:39:43
474
转载 基于Spark的异构分布式深度学习平台
http://geek.youkuaiyun.com/news/detail/58867导读：本文介绍百度基于Spark的异构分布式深度学习系统，把Spark与深度学习平台PADDLE结合起来解决PADDLE与业务逻辑间的数据通路问题，在此基础上使用GPU与FPGA异构计算提升每台机器的数据处理能力，使用YARN对异构资源做分配，支持Multi-Tenancy，让资源的使用更有效。深层神经
2016-03-05 21:05:24
1491
转载 HDFS原理分析（一）—— 基本概念
http://my.oschina.net/shiw019/blog/92771HDFS是Hadoop Distribute File System 的简称，也就是Hadoop的一个分布式文件系统。一、HDFS的主要设计理念1、存储超大文件 这里的“超大文件”是指几百MB、GB甚至TB级别的文件。2、最高效的访问模式是 一次写入、多次读取(流式数据
2016-03-05 20:52:13
500
原创 OpenGL中显示列表的创建
1.glGenLists()会生成一组连续的空的显示列表，其原型如下： GLuint glGenLists(GLsizei range); 其中range表示这一组显示列表的数目。void glDeleteLists( GLuint list, GLsizei range );其中list是要删除的显示列表序列的第一个，range是要删除的显示列表的数目。
2016-03-03 18:05:43
710
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人