- 博客(52)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Logistic Regression为什么使用sigmoid
今天看到一个面试题，问的是为什么Logistic Regression使用sigmoid函数？有什么优点和缺点？为什么不使用其他函数，搜了一天，终于理清了一些头绪。1、 为什么使用sigmoid函数？ 发现了一篇文章，写得特别好。从广义现行模型和最大熵的角度分别解释了为什么会有sigmoid函数。原文 https://blog.youkuaiyun.com/baidu_15238925/arti...
2018-12-12 17:27:49
1449
转载 机器学习常用的5个回归函数
目录均方误差平均绝对值误差（也称L1损失）MSE（L2损失）与MAE（L1损失）的比较从图中可以知道什么？应当如何选择损失函数？根据不同情况选择损失函数为何要使用Huber损失？Log-Cosh损失分位数损失分位数回归与最小二乘回归理解分位数损失函数对比研究原文链接https://www.jiqizhixin.com/articles/2018-06...
2018-09-18 14:49:54
12465
转载 机器学习中的五种回归模型及其优缺点
原文链接 https://towardsdatascience.com/5-types-of-regression-and-their-properties-c5e1fa12d55e【导读】近日，机器学习工程师 George Seif 撰写了一篇探讨回归模型的不同方法以及其优缺点。回归是用于建模和分析变量之间关系的一种技术，常用来处理预测问题。博文介绍了常见的五种回归算法和各自的特点，其中不仅...
2018-09-18 14:31:29
22483
转载 HBase中的 -ROOT-和.META.表
原文转自：1. https://blog.youkuaiyun.com/dlutbrucezhang/article/details/500120132. https://songlee24.github.io/2015/08/15/root-and-meta-table-structure/ 在HBase中，大部分的操作都是在RegionServer完成的，Client端想要插入，删除，查询数据都需要先找到...
2018-04-18 14:53:37
2049
转载 spark读取hbase报错：java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration
原文地址：http://mangocool.com/1437009997261.html用sbt打包Spark程序，并未将所有依赖都打入包中，把Spark应用放到集群中运行时，出现异常：?1234567891011121314151617181920Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoo...
2018-04-13 15:15:11
3658
转载 关于logistic regression的思考
参考原文来自 http://www.cnblogs.com/549294286/p/3273296.htmlhttp://www.hanlongfei.com/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0/2015/08/05/mle/1. logistic regression为什么能对线性问题进行预测？ 我们都知道logistic regression可以用来处理线...
2018-03-23 15:31:03
273
原创 scala学习笔记——apply方法
apply方法类似于java中类的初始化，在 Object（参数1，参数2，... ,）时会自动调用apply方法，无需使用new 关键字。scala中的apply方法会出现在两个地方： 一是伴生对象，另一是类。一 伴生对象中的apply方法当对象以函数的方式进行调用（直接在单例对象后面添加参数）时，scala会隐式地将调用改为在该对象上调用apply方法。例如XX("hello")实际调用的是X...
2018-03-15 19:11:26
601
原创 scala乱炖
1、 scala中可以使用的log框架 scala-logging https://github.com/lightbend/scala-logging
2018-03-08 11:45:59
159
原创 在intellij idea利用sbt插件远程调试spark程序
最近在用spark，写的spark代码必须在集群中才能执行，在调试时候，每修改一次代码都要submit到spark集群上，在调试的时候非常不方便。经过几天的搜索，发现可以将jar包放在集群上，但是可以在本地单步运行spark程序，只需要很少的设置就可以实现。由于仅用作示例，我仅仅提供简单的scala代码，没有涉及到sparkcontext。但是步骤是一样的。1、新建scala object
2018-02-06 09:20:18
1645
原创 spark学习指南
第一步 安装scala环境第二步 学习scala spark最权威的scala入门教程 https://github.com/databricks/scala-style-guide第三步 学习spark RDD https://spark.apache.org/docs/latest/rdd-programming-guide.html第四步 学习spark其他 https://s
2018-01-26 10:04:33
305
原创 log4j2.yaml找不到配置文件问题
在使用log4j 2.10.x时候，如果只是添加 log4j-core.2.10.x.jar和log4j-api-2.10.x，同时配置文件采用 .yaml文件，则会报错：RROR StatusLogger No log4j2 configuration file found. Using default configuration: logging only errors to the cons
2018-01-17 14:03:54
2270
原创 slf4j的使用
常见的日志框架：如果是单一的应用，直接使用日志框架就足够了。log4jlogbackj.u.l (java.util.logging)常见的日志门面：如果编写的应用是作为libraries或者其他embedded component提供给其他人使用，则需要使用slf4j作为日志门面。因为你无法预测使用你libraries或component的用户使用过的是什么日志框架。
2018-01-16 16:03:16
1001
转载 为什么要使用SLF4J而不是Log4J
原文： http://www.importnew.com/7450.html虽然是很久之前的文章，但是讲的很透彻，而且通俗易懂每一个Java程序员都知道日志对于任何一个Java应用程序，尤其是服务端程序是至关重要的，而很多程序员也已经熟悉各种不同的日志库如java.util.logging、Apache log4j、logback。但如果你还不知道SLF4J（Simple lo
2017-10-20 10:39:08
405
原创 FQCN是什么鬼
最近在调一个日志的bug，公司的日志对slf4j进行了封装，阅读源码是发现有个boolean型变量FQCN，没有注释，也不知道它是什么意思，好苦恼，用了大谷歌之后找到这样一篇文章 https://power2build.wordpress.com/2015/04/06/javalog4j-what-in-the-world-is-fqcn/ 点进去之后才发现 FQCN= Full Qualifie
2017-10-18 10:40:57
4453
原创 python3基础语法一
注释单行注释： # 多行注释：三个单引号 ` ` `。 ``` 这里是第一行注释 这里是第二行注释 ```多行语句用反斜线( \ )来实现。total = val1 + \ val2 + \ val3数据类型python中的数有4种类型：整数、长整数、浮点数和复数 整数：相当于C中的long , 最大值由系统决定，32bit和64bit不
2017-10-11 11:06:50
322
翻译 Kamon文档翻译（七）--Trace Metrics
Trace Metrics一旦你的应用程序开始在组件之间跟踪trace和segment，你就要享受trace和segment metrics的好处。trace和 segment metric中没有什么特殊的，他们都是十分简单的实体，就像在核心metric小节中描述的那样。但是，当你使用这些metrics时，以下使一些需要注意的：测量的实体类别是trace 和trace-segment 记录tra
2017-09-29 09:21:47
714
1
翻译 kamon文档翻译（六）--操作TraceContext
操作 TraceContext收集trace信息全都在于与tracing API以及当前的存储了信息的TraceContext交互，因为他是由你的应用程序产生的。这一节将教你能创建的所有基本的操作，并实关闭一个TraceContext和与它有关的segment。 注意：即使你了解到如何操作TraceContext很重要，一些kamon模块如Akka,Scala,Spray和Play!模块也已经提供
2017-09-28 20:32:51
1528
翻译 kamon文档翻译（五）--考虑线程模型
考虑线程模型如trace context manipulation 一节中所描述的，我们总是使用Tracer 伴随对象存储和接收当前trace的 TracerContext 。反过来，Tracer 也会结束存储局部线程变量的TraceContext.。目前为止，这是最简单和最可预测的方式存储TraceContext，也是第三方库交互TraceContext的方式。为了使得=这种方式能够发挥作用，你需
2017-09-28 19:41:57
328
翻译 kamon文档翻译（四）--trace订阅协议
trace订阅协议当你给你的应用程序配置使用“Simple Tracing”级别时，每当一个trace被选择和报告时，你能够订阅tracing模块，并接收TraceInfo 信息。订阅使用Kamon.tracer.subscribe(...) 方法，如下所示：Scala：Kamon.tracer.subscribe(subscriber)Java:Kamon.tracer().subscribe(s
2017-09-28 18:33:18
482
翻译 kamon文档翻译（三）--Tracing-核心概念
Tracing 模块Tracing 模块提供基本的API让你能够记录你的应用程序中有用的功能点信息，允许你获取你的应用程序运行时更深层次的和更精确的数据，以及内部组件的运行状态。 在metrics模块引导你监测你的应用程序中特定的模块时，tracing模块工作在更高的层次，当组建之间的交互，提供具体的面向用户的功能是关系的主题。在这里，主要目的是了解功能X和功能Y的行为方式，如果可能，并知道这些组
2017-09-28 17:11:42
528
翻译 kamon文档翻译（二）--配置kamon
配置KamonKamon使用Typesafe Config库管理kamon的所有配置，就像许多JVM项目已经使用的那样。这个配置库有清晰和使用的应用程序定义并且，Typesafe Config库的设置可以很容易的理解和扩展。如果你已经很熟悉这个库了，请跳到下一节。 Typesafe Config的标准工作状态直观，我们为你阐述：当你用ConfigFactory.load()方法创建一个配置对象时，
2017-09-28 11:48:10
776
翻译 kamon文档翻译（一）
从kamon开始kamon以一个核心模块和一些可选模块发布。核心模块由具有所有metric recording和trace manipulation 功能的API构成，可选模块提供了字节码形式的基本组建，并且可以报告你的应用程序的性能。你可以在你的应用程序中将所有模块作为简单的库添加到依赖中，此外，如果你使用的是基本组建模块（可选模块），当你在运行应用时，需要将AspectJ Weaver agen
2017-09-28 09:03:37
945
原创 [cloudera hadoop]用sqoop将数据从mysql迁移到hbase中出现的错误
背景简述最近做的项目是将数据从mysql迁移到hbase中，使用的环境是cloudera的CDH5，hbase在web界面读写数据都没有问题，在linux terminal 手动建表、添加数据都没有问题，但是，在使用sqoop从mysql中读数据写入hbase中却出现了一下问题：出现的问题17/05/15 17:38:06 INFO zookeeper.ZooKeeper: Sessi
2017-05-15 20:03:10
848
原创 使用YUM在Linux(CentOS 7)下安装mysql 5.7.18
项目需要使用mysql，由于以前都是在windows下傻瓜式安装，基本没有遇到什么问题，但是这次是在服务器上安装，由于到linux上安装软件不熟悉，走了不少弯路，耽误了好多时间。总结下来，以免下次再走弯路。一、各种环境：linux版本：CentOS Linux release 7.2.1511 （core） mysql版本：community sercer 5.7.
2017-05-10 10:21:03
2300
原创 设置bing为chrome的默认搜索引擎
在新的电脑上安装chrome浏览器之后，默认的google由于墙的原因不能使用，现在将其换成微软的bing。在设置--搜索--管理搜索引擎--其他搜索引擎 中设置bing搜索的网址为 http://cn.bing.com/search?q=%s 即可。注意：search?q=%s 是必须的，否则无法将其设置为默认所有引擎。
2017-04-13 14:34:52
44949
2
原创 《剑指offer》-二进制中1的个数
二进制中1的个数题目描述输入一个整数，输出该数二进制表示中1的个数。其中负数用补码表示。思路：1、模2，直到 n 为零。得到的所有模2中余数为1的个数，2、n&(n-1)可以将二进制表示的 n 的最右边的 1 置为0，如此循环，直到 n为0.循环的次数就是n二进制表示中1的个数。public class Solution { public int Num
2016-06-30 23:35:56
376
原创 《剑指offer》-04重建二叉树
重建二叉树题目描述输入某二叉树的前序遍历和中序遍历的结果，请重建出该二叉树。假设输入的前序遍历和中序遍历的结果中都不含重复的数字。例如输入前序遍历序列{1,2,4,7,3,5,6,8}和中序遍历序列{4,7,2,1,5,3,8,6}，则重建二叉树并返回。思路：1、前序遍历的第一个元素是二叉树的根元素，根据根元素在中序遍历中将中序遍历数组划分左子树和右子树。2
2016-06-30 11:51:23
299
原创 《剑指offer》003-反转链表
题目描述输入一个链表，从尾到头打印链表每个节点的值。 输入描述:输入为链表的表头输出描述:输出为需要打印的“新链表”的表头/*** public class ListNode {* int val;* ListNode next = null;** ListNode(int val) {
2016-06-29 20:32:41
314
原创 《剑指offer》-02字符串替换
题目描述请实现一个函数，将一个字符串中的空格替换成“%20”。例如，当字符串为We Are Happy.则经过替换之后的字符串为We%20Are%20Happy。public class Solution { public String replaceSpace(StringBuffer str) { int strLen = str.length(); fo
2016-06-29 20:01:52
316
原创 Java对象的创建及访问
在Java中创建对象只是一个new关键字而已，如 Object Obj=new Object();但是在虚拟机中，这是一个复杂的过程。整个对象的创建分为四步。 第一步：加载类。 Java虚拟机遇到一条new指令时，先去检查这个指令的参数（即：类名）是否能在常量池中定位到这个类的符号引用，并检查这个符号所代表的类是否已经备加载、解析和
2015-10-08 15:39:49
554
原创 java笔记--Java内存模型与线程
1、Java内存模型 Java内存模型规定了所有的变量都存储在主内存中。每个线程还有自己的工作内存，线程的工作内存中保存了被该线程使用到的变量的主内存的副本，线程对变量的所有操作都必须在工作内存中进行，而不能直接读写主内存中的变量。不同的线程之间也无法访问对方工作内存中的变量，线程间变量值得传递均需要通过主内存来完成。2、内存间的交互操作 主内存和工作而内存
2015-10-07 16:10:41
426
原创 Java笔记--线程安全与锁优化
1、首先要保证并发的正确性，然后在此基础上实现高效。2、线程安全 1、什么是线程安全？ 所谓线程安全是指：当多个线程访问一个对象时，如果不用考虑这些线程在运行环境下的调度和交替执行，也不需要额外的同步，或者在调用方进行任何其他的协调操作，调用这个对象的行为都可以获得正确的结果，那么这个对象是线程安全的。 2、Java中是如何实现线程
2015-10-07 14:30:01
881
原创 大话设计模式--笔记
4、开放——封闭原则开放--封闭原则，即：软件实体（类、模块、函数等）应该可以扩展，但是不能修改。即，对于扩展是开放的，对于修改是封闭的。原因：在做任何系统的时候，系统的需求都不是一开始就确定的，在需求发生变化时，软件可以容易修改。设计人员必须对他设计的模块应该对哪种变化封闭做出选择。他必须猜测出最后可能发生变化的种类，然后构造抽象隔离
2015-05-29 18:37:31
383
原创 java中的static关键字
有几次面试问道了static关键字的用法，由于当时没有回答上来，现在整理一下。一、static的用法static，顾名思义，是“静态的”意思，静态的就是不动的，不动并不是说static修饰的变量、方法不能改变，而是被static修饰的变量、方法不会因为对象（实例）的改变二改变。《Java编程思想》上这样说：static方法就是没有this的方法。在static方法内部不能调用非静态方法，反
2015-05-16 19:08:55
374
原创 Java中的多线程
Java中创建主线程有两种方法一、通过继承Thread类1、创建一个类，让其继承Thread类，然后复写该类的run（）方法。2、建立Thread子类对象的同时，线程也被创建。3、通过调用子类的start（）方法执行该子线程。start（）方法在执行时会调用run（）方法。不能直接调用子类run（）方法。如果直接调用子类run（）方法，则创建的线程没有执行，run（）方
2015-05-15 19:21:58
362
原创 Java中的异常机制
一、编译期间并不能找出所有的错误，余下的问题必须在运行期间解决。这就需要错误源能够通过某种方式把适当的信息传递给某个接受者，该接受者知道将如何处理这个问题。“异常”这个词有“我对此感到意外”的意思。问题出席那了，也许你不知道该如何处理，应该把这个问题教导更高级别的环境中，在这里将作出正确的决定。可能出现的问题和错误：1、用户输入错误。如需要输入数字却输入了字符等2、设备错误。硬件出
2015-04-16 16:51:06
412
原创 Java中的访问权限修饰符
Java中只有三个访问权限修饰符public，protected和private。1、如果不写任何修饰符，默认的是“包访问权限”。相当于对包内的所有其他类和方法是public，而对于包外的类和方法都是private的。由于一个编译单元（一个Java文件）之恩给你隶属于一个包，所以经由包访问权限，处于同一编译单元中的所有类彼此之间都是自动可访问的。（这就是一个包存在的原因）2、继承来的类既可
2015-04-16 15:49:41
650
1
转载 java中final修饰符的用法
final，字面上的意思是“最后的，最终的”，在Java中表示同样的含义。final可以用来修饰变量、方法和类。1.final修饰类final修饰类时表示此类是“最后的、最终的”，即不能被继承，不能拥有自己的子类。如果试图对一个已经用final修饰的类进行集成，则会在编译期间发生错误。
2015-04-16 14:49:30
1711
原创 Java中基础知识点（一）
1、Java对大小写敏感，如 String和string表示不同的字符2、Java的main方法必须声明为public。3、每次调用println()都会在新的一行显示,而print()会接着上一次显示的位置开始显示。4、以/**开始，以*/结束的注释会自动生成文档。5、Java是一种强类型语言，必须为每一个变量生命一种类型。6、Java的整型数据共有4种，分别为byte，sh
2015-04-11 09:18:28
567
原创 Android 中广播实现机制
1、什么是广播（broadcast）？所谓广播（broadcast）就是发送消息。问题1：什么是发送消息？答：发送消息，实质上是Android系统中的一种通信方式。这种通信方式可以用于（1）不同APP之间、（2）同一APP不同线程之间、（3）Android系统与APP之间。问题2：为什么要发送消息？答：因为需要通信。在Android系统中，有一些操作完成以后，会发送广播，比如说
2015-03-16 21:45:13
958
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人