<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[baixiaofu的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/baixiaofu</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; baixiaofu]]></copyright><item><title><![CDATA[数据处理pandas常用的函数]]></title><link>https://blog.youkuaiyun.com/baixiaofu/article/details/80756479</link><guid>https://blog.youkuaiyun.com/baixiaofu/article/details/80756479</guid><author>baixiaofu</author><pubDate>Thu, 21 Jun 2018 17:04:08 +0800</pubDate><description><![CDATA[这一部分主要是数据处理中常用的一些函数

最近突然要处理大量的数据，而且都是基本统计相关的操作，这些都是可以在excel中实现的只是实现起来不能auto，所以使用Python进行操作来实现自动化。先来熟悉一波函数，在实际的操作中使用到如下所示。




  函数名/方法/属性
  参数
  返回值
  其他



  方法groupby()
  groupby(columns,axis=)
  G...]]></description><category></category></item><item><title><![CDATA[Python数据的合并]]></title><link>https://blog.youkuaiyun.com/baixiaofu/article/details/80734817</link><guid>https://blog.youkuaiyun.com/baixiaofu/article/details/80734817</guid><author>baixiaofu</author><pubDate>Tue, 19 Jun 2018 15:45:50 +0800</pubDate><description><![CDATA[数据的合并有两种形式：一种是按照列进行合并；一种是按照行进行合并


列合并 
merge(data1,data2,how=’left’,out,inner,on=’userid’) 
当合并的两个表都没有相同的列名的时候也可以合并，通过制定left_on ,right_on 来进行合并。 
merge(df1,df2,left_on = ,right_on=)
行合并 
pandas中使用con...]]></description><category></category></item><item><title><![CDATA[Python各种数据类型索引和分片]]></title><link>https://blog.youkuaiyun.com/baixiaofu/article/details/80731811</link><guid>https://blog.youkuaiyun.com/baixiaofu/article/details/80731811</guid><author>baixiaofu</author><pubDate>Tue, 19 Jun 2018 14:52:32 +0800</pubDate><description><![CDATA[什么是索引？ 
其本质特征是只揭示内容出处或文献线索 ，并不直接提供事实、资料本身。主要功能是为人们准确、迅速地获得文献资料提供线索性指引。常见的索引主要有报刊论文资料索引、文集篇目索引、语词索引、文句索引、关键词索引、专名索引、主题索引等。


list数据类型的索引 
列表中元素的位置是从0开始进行标记的。索引可以按照如下形式进行


#a为list
a[0]
a[-1] #获取最后一个元素
...]]></description><category></category></item><item><title><![CDATA[python和数据库postgresql连接]]></title><link>https://blog.youkuaiyun.com/baixiaofu/article/details/80728752</link><guid>https://blog.youkuaiyun.com/baixiaofu/article/details/80728752</guid><author>baixiaofu</author><pubDate>Tue, 19 Jun 2018 10:32:50 +0800</pubDate><description><![CDATA[两者之间的连接需要使用到一个包：psycopg2。



建立连接

这个包中的包含着我们建立连接需要的主要函数有connect函数，这个函数的作用是建立连接。也就是两者之间的一个借口，通过这个借口我们可以在Python中可以进行我们在数据库postgresql中所能进行的查询工作。这个函数的主要参数如下：

connection=connect(host='主机',import='端口',use...]]></description><category></category></item><item><title><![CDATA[python数据框中列进行条件查询替换]]></title><link>https://blog.youkuaiyun.com/baixiaofu/article/details/80708742</link><guid>https://blog.youkuaiyun.com/baixiaofu/article/details/80708742</guid><author>baixiaofu</author><pubDate>Fri, 15 Jun 2018 18:16:40 +0800</pubDate><description><![CDATA[Python中数据框的方法map(function or dict)

Python中的数据框，在进行数据分析的时候或者建模的时候，可能会遇到某列的数据取值是字符串的形式。但是我们想把这种数据转变为数值型，方便我们下一步的建模需求。比如：在df数据框中存在一列名为 ‘age’，但是取值为 “中年”、“青年”、“老年”。我们想把这种字符串转换为1,2,3.



data['age1']=data[...]]></description><category></category></item><item><title><![CDATA[背包问题]]></title><link>https://blog.youkuaiyun.com/baixiaofu/article/details/80705573</link><guid>https://blog.youkuaiyun.com/baixiaofu/article/details/80705573</guid><author>baixiaofu</author><pubDate>Fri, 15 Jun 2018 15:31:08 +0800</pubDate><description><![CDATA[背包问题

已知有n个物品组成的集合为S，每个物品的重量是weightiweightiweight_i。一个背包能装重量是weight的东西。问能从S中挑选出几件物品重量之和恰好为weight。如果存在就说这个背包问题有解，如果不存在该背包问题无解。

把背包问题写成符号的形式：bag(weight,n)bag(weight,n)bag(weight,n) 
可以从最后一个物品来看看什么情况，当选...]]></description><category></category></item><item><title><![CDATA[不同模型代价函数的梯度下降算法]]></title><link>https://blog.youkuaiyun.com/baixiaofu/article/details/80118031</link><guid>https://blog.youkuaiyun.com/baixiaofu/article/details/80118031</guid><author>baixiaofu</author><pubDate>Sat, 28 Apr 2018 17:13:27 +0800</pubDate><description><![CDATA[梯度下降

reprat:θj=θj−α∂J(θ0,θ1⋯θn)∂θjforj=0,1⋯,nreprat:θj=θj−α∂J(θ0,θ1⋯θn)∂θjforj=0,1⋯,nreprat:
	\theta_j=\theta_j-\alpha\frac{\partial J(\theta_0,\theta_1\cdots\theta_n)}{\partial \theta_j} 
	\\
	for \...]]></description><category></category></item><item><title><![CDATA[Python--异常]]></title><link>https://blog.youkuaiyun.com/baixiaofu/article/details/80042907</link><guid>https://blog.youkuaiyun.com/baixiaofu/article/details/80042907</guid><author>baixiaofu</author><pubDate>Tue, 24 Apr 2018 00:01:00 +0800</pubDate><description><![CDATA[异常



创建异常和引发异常

什么是异常？

异常即是一个事件，该事件会在程序执行过程中发生，影响了程序的正常执行。 
在Python中异常一旦发生，将会终止程序运行。 
如何引发异常？ 
使用raise语句自己触发异常 
raise [Exception [, args [, traceback]]] 
def functionName( level ): 
    if level &amp;lt...]]></description><category></category></item><item><title><![CDATA[SQL中的count(1)]]></title><link>https://blog.youkuaiyun.com/baixiaofu/article/details/80047384</link><guid>https://blog.youkuaiyun.com/baixiaofu/article/details/80047384</guid><author>baixiaofu</author><pubDate>Mon, 23 Apr 2018 14:36:15 +0800</pubDate><description><![CDATA[count(1)的作用，就是统计在分组中，每一组对应的行数或项数。效率和作用和count(*)相同。 
Count（）中的表达式是否为NULL，如果为NULL则不计数，而非NULL则会计数。 
也就是说count(1) 和count（‘anything’）的效果是一样的。 
 
select count(null)  
from temp.table 
//结果是0 
 
此时不管temp.tab...]]></description><category></category></item><item><title><![CDATA[Python之面向对象-简介概述]]></title><link>https://blog.youkuaiyun.com/baixiaofu/article/details/80041996</link><guid>https://blog.youkuaiyun.com/baixiaofu/article/details/80041996</guid><author>baixiaofu</author><pubDate>Sun, 22 Apr 2018 21:00:48 +0800</pubDate><description><![CDATA[Python的主要对象类型是：数、字符串、列表、元组和字典。众多的内置【buildins】函数和标准库，还可以自己创建自定义函数。 
自定义对象：是指一系列数据（属性）以及一套访问和操做这些数据的方法。 
使用对象不是使用全局变量和函数的原因是：对象具有多态，封装和继承。 
多态，就是对不同类型的对象执行相同的操作。这些操作就像施了魔法一样能够正常运行。 
封装：对外部隐藏有关对象工作原理的细节。...]]></description><category></category></item><item><title><![CDATA[2018/4/11]]></title><link>https://blog.youkuaiyun.com/baixiaofu/article/details/79889710</link><guid>https://blog.youkuaiyun.com/baixiaofu/article/details/79889710</guid><author>baixiaofu</author><pubDate>Wed, 11 Apr 2018 18:00:44 +0800</pubDate><description><![CDATA[聚类

k-means 聚类



聚类分析的代价函数：

J(c(1),⋯,c(m),μ1,⋯,μK)=1m∑i=1m||X(i)−μ(i)c||2J(c(1),⋯,c(m),μ1,⋯,μK)=1m∑i=1m||X(i)−μc(i)||2J(c^{(1)},\cdots,c^{(m)},\mu_1,\cdots,\mu_K)=\frac{1}{m}\sum_{i=1} ^m||X^{(i)}-\...]]></description><category></category></item><item><title><![CDATA[2018/4/10]]></title><link>https://blog.youkuaiyun.com/baixiaofu/article/details/79878134</link><guid>https://blog.youkuaiyun.com/baixiaofu/article/details/79878134</guid><author>baixiaofu</author><pubDate>Tue, 10 Apr 2018 17:53:51 +0800</pubDate><description><![CDATA[python基础教程



列表 and 方法

print(list(“hello”)) 
lst=list(“hellpo”) 
print(lst.clear()) 
print(“I”,”wish”,’to’,’register’,’a’,’complaint’,sep=’_’)

x==y 
x is y     //x和y是同一个对象 
x in y   //x是容器y的成员 
x n...]]></description><category></category></item><item><title><![CDATA[密度聚类]]></title><link>https://blog.youkuaiyun.com/baixiaofu/article/details/77075279</link><guid>https://blog.youkuaiyun.com/baixiaofu/article/details/77075279</guid><author>baixiaofu</author><pubDate>Thu, 10 Aug 2017 23:49:52 +0800</pubDate><description><![CDATA[密度聚类一些核心概念
核心对象
密度直达
密度可达
密度相连  核心对象：若 xjx_j 的ϵ−\epsilon-邻域内至少包含MinPtsMinPts个样本，即|Nϵ(xj)|≥MinPts|N_\epsilon(x_j)|\ge MinPts，那么就可以说 xjx_j是一个核心对象。 
  密度直达：若xjx_j位于 xix_i的ϵ\epsilon邻域内，并且 xix_i是一个核心对象，那么就说]]></description><category></category></item><item><title><![CDATA[R实现类似EXCEL中数据的透视功能：数据的行列转换]]></title><link>https://blog.youkuaiyun.com/baixiaofu/article/details/75174773</link><guid>https://blog.youkuaiyun.com/baixiaofu/article/details/75174773</guid><author>baixiaofu</author><pubDate>Sat, 15 Jul 2017 17:11:22 +0800</pubDate><description><![CDATA[先介绍下融合和重铸能实现什么样的功能： 
例子：想把表1—->>转换成为表2 
表1： 
 
表2： 
R实现数据的透视功能，使用reshape2包中的melt()函数和dcast()函数。在《R语言实战》这本书中有着详细的介绍。我在这里引用了其中的一些内容。 
首先是融合函数，融合顾名思义就是把原先的数据进行融化合并，具体melt()函数会融合成什么样的形式呢？ 
Library(reshape2]]></description><category></category></item><item><title><![CDATA[SQL]]></title><link>https://blog.youkuaiyun.com/baixiaofu/article/details/72869646</link><guid>https://blog.youkuaiyun.com/baixiaofu/article/details/72869646</guid><author>baixiaofu</author><pubDate>Mon, 05 Jun 2017 17:49:51 +0800</pubDate><description><![CDATA[substring(expression,start,length) 
其中expression是字符串。start是开始街区字符串的地方，length为街区字符串的长度。start and length 都是int型 
patindex(‘%pattern%’,expression) 
返回pattern在expression中首次出现的位置的值。返回值是int型select distinct t]]></description><category></category></item><item><title><![CDATA[数据探索和预处理可能涉及到的算法]]></title><link>https://blog.youkuaiyun.com/baixiaofu/article/details/72630725</link><guid>https://blog.youkuaiyun.com/baixiaofu/article/details/72630725</guid><author>baixiaofu</author><pubDate>Mon, 22 May 2017 22:07:21 +0800</pubDate><description><![CDATA[相关性分析； 
主成分分析，用较少的变量来反映较多变量，这些较少的变量能反映原始变量的大部分信息，且彼此之间是线性无关的。 
周期性分析:在时间序列预测时，经常要对样本数据进行周期性分析，以更好的理解样本数据变化的特点，为时序预测分析提供指导依据。 
缺失值分析：样本数据中经常会出现一些缺失值，在进行建模预测前，需要对缺失值按照某些规则进行处理。处理的方法有:删除和数据补齐。 
坏数据处理：如果抽取]]></description><category></category></item><item><title><![CDATA[数据分析和数据挖掘]]></title><link>https://blog.youkuaiyun.com/baixiaofu/article/details/72593778</link><guid>https://blog.youkuaiyun.com/baixiaofu/article/details/72593778</guid><author>baixiaofu</author><pubDate>Sun, 21 May 2017 08:09:24 +0800</pubDate><description><![CDATA[数据分析( Data Analysis)是一个检查、清理、转换和建模数据的过程，目的是发现有用的信息，得出结论和推动决策制定。 
Analysis of data is a process of inspecting, cleansing, transforming, and modeling data with the goal of discovering useful information,]]></description><category></category></item><item><title><![CDATA[the difference between data mining and meachine learning]]></title><link>https://blog.youkuaiyun.com/baixiaofu/article/details/71910598</link><guid>https://blog.youkuaiyun.com/baixiaofu/article/details/71910598</guid><author>baixiaofu</author><pubDate>Sat, 13 May 2017 23:27:57 +0800</pubDate><description><![CDATA[机器学习和数据挖掘的区别 
数据挖掘有几种不同的概念定义： 
数据挖掘是从大量数据中抽取挖掘出未知的、有价值的模式或规律等知识的复杂过程。 
数据挖掘，又称为数据库中知识发现（Knowledge Discovery of Database，KDD），它是一个从大量数据中获取有效的、新颖的、潜在有用的、最终可理 
解的模式的非平凡过程。 
数据库的知识发现：数据库—>目标数据—>（数据预处理）—>变换]]></description><category></category></item></channel></rss>