<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[ban2413的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/ban2413</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; ban2413]]></copyright><item><title><![CDATA[Python爬虫相关技巧]]></title><link>https://blog.youkuaiyun.com/ban2413/article/details/101671390</link><guid>https://blog.youkuaiyun.com/ban2413/article/details/101671390</guid><author>ban2413</author><pubDate>Thu, 27 Dec 2018 17:14:00 +0800</pubDate><description><![CDATA[get请求

1 kv = {
2     'Cookie': 'ccpassport=ec081bd592c086d4057c3442b43b7998; wzwsconfirm=52277a99b139398795c925c264b5cf54; wzwstemplate=OQ==; wzwschallenge=-1;
3     'User-Agent': 'Mozilla/5...]]></description><category></category></item><item><title><![CDATA[SQL优化总结]]></title><link>https://blog.youkuaiyun.com/ban2413/article/details/101671396</link><guid>https://blog.youkuaiyun.com/ban2413/article/details/101671396</guid><author>ban2413</author><pubDate>Tue, 20 Mar 2018 15:58:00 +0800</pubDate><description><![CDATA[本文主要介绍SQL查询的性能优化及其替代方案。
1.避免in，disdinct，用exists代替。用NOT EXISTS替代NOT IN
例如：select num from a where num in(select num from b) 代替成：
select num from a where exists(select 1 from b where num=a.num)...]]></description><category></category></item><item><title><![CDATA[利用主成分PCA进行特征提取]]></title><link>https://blog.youkuaiyun.com/ban2413/article/details/101671391</link><guid>https://blog.youkuaiyun.com/ban2413/article/details/101671391</guid><author>ban2413</author><pubDate>Wed, 31 Jan 2018 20:21:00 +0800</pubDate><description><![CDATA[本文将介绍主成分分析（Principal Component Analysis，PCA）原理，并且它如何在分类问题中发挥降维的作用。译自
Feature extraction using PCA。
简介
本文将介绍主成分分析（Principal Component Analysis，PCA）原理，并且它如何在分类问题中发挥降维的作用。
在前面我们讲到过维度灾难，分类器容易对高维的...]]></description><category></category></item><item><title><![CDATA[维度灾难&&bias和variance]]></title><link>https://blog.youkuaiyun.com/ban2413/article/details/101671386</link><guid>https://blog.youkuaiyun.com/ban2413/article/details/101671386</guid><author>ban2413</author><pubDate>Tue, 30 Jan 2018 15:39:00 +0800</pubDate><description><![CDATA[维度灾难
维度增多主要会带来高维空间数据稀疏化问题，
也就是说，数据会更加的分散，因而就需要更大的数据量才能获得较好的bias和variance，达到较好的预测效果。
此处，最典型的是对于KNN的预测。
更详细的见：怎样理解"curse of dimensionality"，
另一方面看，当维度增加时，也可能导致过拟合现象：训练集上表现好，但是对新数据缺乏泛化能力。高维空间训练...]]></description><category></category></item><item><title><![CDATA[R语言caret包的学习（四）--建立模型及验证]]></title><link>https://blog.youkuaiyun.com/ban2413/article/details/101671387</link><guid>https://blog.youkuaiyun.com/ban2413/article/details/101671387</guid><author>ban2413</author><pubDate>Wed, 17 Jan 2018 15:25:00 +0800</pubDate><description><![CDATA[本文介绍caret包中的建立模型及验证的过程。主要涉及的函数有train()，predict()，confusionMatrix()，以及pROC包中的画roc图的相关函数。
建立模型
在进行建模时，需对模型的参数进行优化，在caret包中其主要函数命令是train。

train(x, y, method = "rf", preProcess = NULL, ...,
  ...]]></description><category></category></item><item><title><![CDATA[R语言caret包的学习（三）--数据分割]]></title><link>https://blog.youkuaiyun.com/ban2413/article/details/101671381</link><guid>https://blog.youkuaiyun.com/ban2413/article/details/101671381</guid><author>ban2413</author><pubDate>Tue, 16 Jan 2018 13:16:00 +0800</pubDate><description><![CDATA[本文将就caret包中的数据分割部分进行介绍学习。主要包括以下函数：createDataPartition()，maxDissim()，createTimeSlices()，createFolds()，createResample()，groupKFold()等
基于输出结果的简单分割
createDataPartition函数用于创建平衡数据的分割。如果函数中的参数y是一个因子向量...]]></description><category></category></item><item><title><![CDATA[R语言caret包的学习（二）--特征选择]]></title><link>https://blog.youkuaiyun.com/ban2413/article/details/101671383</link><guid>https://blog.youkuaiyun.com/ban2413/article/details/101671383</guid><author>ban2413</author><pubDate>Tue, 16 Jan 2018 13:14:00 +0800</pubDate><description><![CDATA[在进行数据挖掘时，我们并不需要将所有的自变量用来建模，而是从中选择若干最重要的变量，这称为特征选择（feature selection）。本文主要介绍基于caret包的rfe()函数的特征选择。
一种算法就是后向选择，即先将所有的变量都包括在模型中，然后计算其效能（如误差、预测精度）和变量重要排序，然后保留最重要的若干变量，再次计算效能，这样反复迭代，找出合适的自变量数目。这种算法的一...]]></description><category></category></item><item><title><![CDATA[R语言caret包的学习（一）--数据预处理]]></title><link>https://blog.youkuaiyun.com/ban2413/article/details/101671332</link><guid>https://blog.youkuaiyun.com/ban2413/article/details/101671332</guid><author>ban2413</author><pubDate>Mon, 15 Jan 2018 18:45:00 +0800</pubDate><description><![CDATA[caret包（Classification and Regression Training）是一系列函数的集合，它试图对创建预测模型的过程进行流程化。本系列将就数据预处理、特征选择、抽样、模型调参等进行介绍学习。
本文将就caret包中的数据预处理部分进行介绍学习。主要包括以下函数：model.matrix()，dummyVars()，nearZeroVar()，findCorrela...]]></description><category></category></item><item><title><![CDATA[R语言tm包文本挖掘的学习]]></title><link>https://blog.youkuaiyun.com/ban2413/article/details/101671379</link><guid>https://blog.youkuaiyun.com/ban2413/article/details/101671379</guid><author>ban2413</author><pubDate>Tue, 09 Jan 2018 21:09:00 +0800</pubDate><description><![CDATA[分词之后，便是创建文档-词条矩阵了。
本文便是针对于此。正式学习tm（text mining）包
数据读入
在tm 中主要的管理文件的结构被称为语料库（Corpus），代表了一系列的文档集合。语料库是一个概要性的概念，在这里分为动态语料库（Volatile Corpus，作为R 对象保存在内存中）和静态语料库（Permanent Corpus，R 外部保存）。所对应的函数分别是V...]]></description><category></category></item><item><title><![CDATA[R语言jiebaR包的分词学习]]></title><link>https://blog.youkuaiyun.com/ban2413/article/details/101671309</link><guid>https://blog.youkuaiyun.com/ban2413/article/details/101671309</guid><author>ban2413</author><pubDate>Mon, 08 Jan 2018 19:58:00 +0800</pubDate><description><![CDATA[实训中的自然语言处理部分，首先就是要分词了，学习一下！
上手jiebaR
使用jiebaR的第一步当然是安装jiabaR包并加载咯
安装：install.packages("jiebaR")  加载：library(jiebaR)
三种分词语句的写法：

wk = worker()
#方法1
wk["我希望未来会很好"]

#方法2
wk&lt;="我...]]></description><category></category></item><item><title><![CDATA[将JSON数据转存为RDF格式文件+RDF知识库查询]]></title><link>https://blog.youkuaiyun.com/ban2413/article/details/101671380</link><guid>https://blog.youkuaiyun.com/ban2413/article/details/101671380</guid><author>ban2413</author><pubDate>Mon, 08 Jan 2018 14:53:00 +0800</pubDate><description><![CDATA[本文将实现JSON数据到RDF格式文件的转化，并基于RDF知识库进行查询，从而实现一个简易的知识图谱。
本文采取的数据是openkg上的微观经济学知识库，microeco.json。
首先实现JSON到RDF的转化

import json
import rdflib

with open("microeco.json","rb") as jsonfile:
    da...]]></description><category></category></item><item><title><![CDATA[LSTM(long short term memory)长短期记忆网络]]></title><link>https://blog.youkuaiyun.com/ban2413/article/details/101671375</link><guid>https://blog.youkuaiyun.com/ban2413/article/details/101671375</guid><author>ban2413</author><pubDate>Wed, 03 Jan 2018 11:26:00 +0800</pubDate><description><![CDATA[bags of word(WOE)
它的基本思想是假定对于一个文本，忽略其词序和语法、句法，仅仅将其看做是一些词汇的集合，而文本中的每个词汇都是独立的

循环神经网络(recurrent neural networks)
会考虑到词序，基于对先前所见词的理解来推断当前词的真实含义
当相关的信息和预测的词位置之间的间隔是非常小时，RNN 可以学会使用先前的信息。但是，在这...]]></description><category></category></item><item><title><![CDATA[Echarts入门]]></title><link>https://blog.youkuaiyun.com/ban2413/article/details/101671378</link><guid>https://blog.youkuaiyun.com/ban2413/article/details/101671378</guid><author>ban2413</author><pubDate>Sat, 23 Dec 2017 22:55:00 +0800</pubDate><description><![CDATA[引用Echarts
方法1：下载echarts.js后，进行引用，如 &lt;script src="echarts.min.js"&gt;&lt;/script&gt;
方法2：在线引用，在线网址可为http://echarts.baidu.com/dist/echarts.min.js

R语言中有相应的R包，统计之都版的recharts包的教程可见：
https...]]></description><category></category></item><item><title><![CDATA[关于JSON]]></title><link>https://blog.youkuaiyun.com/ban2413/article/details/101671372</link><guid>https://blog.youkuaiyun.com/ban2413/article/details/101671372</guid><author>ban2413</author><pubDate>Sat, 23 Dec 2017 14:02:00 +0800</pubDate><description><![CDATA[JSON语法
JSON 的语法主要有以下5点：

数组（Array）用方括号(“[]”)表示。
对象（Object）用大括号（”{}”）表示。
名称/值对（name/value）之间用冒号（”：”）隔开。
名称（name）置于双引号中，值（value）有字符串、数值、布尔值、null、对象和数组。
并列的数据之间用逗号（“,”）分隔

验证自己的 JSON 格式是否正确...]]></description><category></category></item><item><title><![CDATA[D3进阶--读取csv文件]]></title><link>https://blog.youkuaiyun.com/ban2413/article/details/101671376</link><guid>https://blog.youkuaiyun.com/ban2413/article/details/101671376</guid><author>ban2413</author><pubDate>Sat, 23 Dec 2017 13:50:00 +0800</pubDate><description><![CDATA[在 D3.js 中提供了 d3.csv() 函数来读取 CSV 文件。函数 API 可参见：https://github.com/mbostock/d3/wiki/CSV

d3.csv("table.csv",function(error,csvdata){
        
   if(error){
       console.log(error);
   }
...]]></description><category></category></item><item><title><![CDATA[D3入门系列(4)--D3中的各种图]]></title><link>https://blog.youkuaiyun.com/ban2413/article/details/101671371</link><guid>https://blog.youkuaiyun.com/ban2413/article/details/101671371</guid><author>ban2413</author><pubDate>Fri, 22 Dec 2017 16:48:00 +0800</pubDate><description><![CDATA[D3 总共提供了 12 个布局：饼状图（Pie）、力导向图（Force）、弦图（Chord）、树状图（Tree）、集群图（Cluster）、捆图（Bundle）、打包图（Pack）、直方图（Histogram）、分区图（Partition）、堆栈图（Stack）、矩阵树图（Treemap）、层级图（Hierarchy）。

饼状图

 1 //创建画布
 2 var svg=...]]></description><category></category></item><item><title><![CDATA[D3入门系列(3)--简单的交互与动态]]></title><link>https://blog.youkuaiyun.com/ban2413/article/details/101671370</link><guid>https://blog.youkuaiyun.com/ban2413/article/details/101671370</guid><author>ban2413</author><pubDate>Fri, 22 Dec 2017 16:46:00 +0800</pubDate><description><![CDATA[首先，介绍一下D3中三个非常重要的概念Update、Enter、Exit 。
如果数组为 [3, 6, 9, 12, 15]，将此数组绑定到三个 p 元素的选择集上。可以想象，会有两个数据没有元素与之对应，这时候 D3 会建立两个空的元素与数据对应，这一部分就称为Enter。而有元素与数据对应的部分称为Update。如果数组为 [3]，则会有两个元素没有数据绑定，那么没有数据绑定的...]]></description><category></category></item><item><title><![CDATA[D3入门系列(2)--简单的条形图、折线图、散点图和文本换行]]></title><link>https://blog.youkuaiyun.com/ban2413/article/details/101671373</link><guid>https://blog.youkuaiyun.com/ban2413/article/details/101671373</guid><author>ban2413</author><pubDate>Fri, 22 Dec 2017 16:43:00 +0800</pubDate><description><![CDATA[SVG画布
HTML 5 提供两种强有力的“画布”：SVG和Canvas。
SVG的特点：

SVG 绘制的是矢量图，因此对图像进行放大不会失真
基于 XML，可以为每个元素添加 JavaScript 事件处理器
每个图形均视为对象，更改对象的属性，图形也会改变
不适合游戏应用

Canvas特点：

绘制的是位图，图像放大后会失真
不支持事件处理器
能够以...]]></description><category></category></item><item><title><![CDATA[D3入门系列(1)--元素选择、增删与数据绑定的基本用法]]></title><link>https://blog.youkuaiyun.com/ban2413/article/details/101671368</link><guid>https://blog.youkuaiyun.com/ban2413/article/details/101671368</guid><author>ban2413</author><pubDate>Fri, 22 Dec 2017 16:42:00 +0800</pubDate><description><![CDATA[本系列参考学习自http://www.ourd3js.com 非常感谢博主的分享！
使用D3
在网页中使用D3有两种方法：
1. 下载D3.js文件后本地引用
  下载地址https://github.com/mbostock/d3/releases/download/v3.4.8/d3.zip
2. 在线引用
  &lt;script src="htt...]]></description><category></category></item><item><title><![CDATA[常用的几种距离的优劣]]></title><link>https://blog.youkuaiyun.com/ban2413/article/details/101671335</link><guid>https://blog.youkuaiyun.com/ban2413/article/details/101671335</guid><author>ban2413</author><pubDate>Sun, 10 Dec 2017 13:54:00 +0800</pubDate><description><![CDATA[欧式距离
欧式距离想必很熟悉了，就是两个特征向量长度平方和的平方根嘛
优势：简单直观
劣势：若某些特征比其他特征值大很多，精度就会比较差。此外，若有很多特征值为0，也就是所谓的稀疏矩阵，结果也不准确。总之，稳定性不是很好
曼哈顿距离
曼哈顿距离是两个特征在标准坐标系中绝对轴距之和（没有使用平方距离），又称街区距离。
优势：在某些情况下具有更高的稳定性
劣势：若数据集中某些特...]]></description><category></category></item></channel></rss>