<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[sd116460的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/sd116460</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; sd116460]]></copyright><item><title><![CDATA[A/B测试]]></title><link>https://blog.youkuaiyun.com/sd116460/article/details/113865421</link><guid>https://blog.youkuaiyun.com/sd116460/article/details/113865421</guid><author>sd116460</author><pubDate>Fri, 19 Feb 2021 15:31:21 +0800</pubDate><description><![CDATA[A/B测试

A/B测试是促进业务持续增长的最实用，最有效的方式

产生迭代想法-&gt;论证迭代想法（A/B测试）-&gt;实施迭代想法

A/B测试可以解决那些常见的业务问题：产品迭代：改变用户的交互界面来提升用户体验，优化新用户的注册流程来提高转化率，确定产品优惠券的最有价值，增加产品功能来提升用户留存

算法优化：通过提高推荐系统算法的准确度来提高用户粘性，通过提高搜索排名算法的准确度来提升结果的点击率，通过提高广告显示算法的精确度来提升广告的点击率

市场营销：确定最优的营销内容，确定最优的营销时]]></description><category></category></item><item><title><![CDATA[python链接kafka]]></title><link>https://blog.youkuaiyun.com/sd116460/article/details/113128207</link><guid>https://blog.youkuaiyun.com/sd116460/article/details/113128207</guid><author>sd116460</author><pubDate>Mon, 25 Jan 2021 18:05:36 +0800</pubDate><description><![CDATA[python链接kafka，向本地写入数据

这是一个简单的demo，学习kafka的一小步，同理可用到向数据库的数据读写，还有数据分析伪流式数据读取，用生产者来读取指定位置的数据，消费者进行数据的处理


from kafka import KafkaProducer,KafkaConsumer
import json
import datetime
import time


# 生产者 存储json数据
producer = KafkaProducer(
            value_seria]]></description><category></category></item><item><title><![CDATA[数据分析：数据量级不平衡的数据进行处理]]></title><link>https://blog.youkuaiyun.com/sd116460/article/details/111316942</link><guid>https://blog.youkuaiyun.com/sd116460/article/details/111316942</guid><author>sd116460</author><pubDate>Thu, 17 Dec 2020 15:42:03 +0800</pubDate><description><![CDATA[对于不平衡数据（事件）的balance处理



对小概率事件进行预测（判断）的时候，一定要对数据做balance处理，不然会使得模型天然的倾向于大概率的结果。



处理方式：

1.上采样少数类别：上采样是从少数类别中随机扶着观测样本以增强其信号的过程，最常见的集中试探法是使用简单的放回抽样的方式重采样，从sklearn中导入重采样模块 这种处理方式会导致准确率急转而下，但是性能指标更有意义



2.下采样多数类别：下采样包括从多数类别中随机的一处观测样本，防止他的信息主导学习算法，其中最常见...]]></description><category></category></item><item><title><![CDATA[python操作clickhouse 删除指定数据]]></title><link>https://blog.youkuaiyun.com/sd116460/article/details/111310867</link><guid>https://blog.youkuaiyun.com/sd116460/article/details/111310867</guid><author>sd116460</author><pubDate>Thu, 17 Dec 2020 11:01:52 +0800</pubDate><description><![CDATA[python操作clickhouse删除指定数据


def info_del2(i):
    client = click_client(host='地址', port=端口, user='用户名', password='密码',
                          database='数据库')
    sql_detail='alter table SS_GOODS_ORDER_ALL delete where order_id='+str(i)+';'
    try:
     ]]></description><category></category></item><item><title><![CDATA[linux复制文件至本地]]></title><link>https://blog.youkuaiyun.com/sd116460/article/details/109077018</link><guid>https://blog.youkuaiyun.com/sd116460/article/details/109077018</guid><author>sd116460</author><pubDate>Wed, 14 Oct 2020 16:24:09 +0800</pubDate><description><![CDATA[命令如下：

scp 服务器用户名@ip地址:文件绝对路径__本地文件绝对路径

这里的__横线指的是空格

有一个坑。。。在你执行这条命令时，必须是在本地的一个终端执行的，而不是在已经登陆的服务器终端执行的，之前在服务器执行这条命令，一直提示找不到对应路径。。。找到原因后差点笑死，因为在服务器执行就代表了把服务器的文件下载到服务器，因为这里的本地指的是登录的终端的地址
...]]></description><category></category></item><item><title><![CDATA[python 数组内字符串转数字]]></title><link>https://blog.youkuaiyun.com/sd116460/article/details/108774708</link><guid>https://blog.youkuaiyun.com/sd116460/article/details/108774708</guid><author>sd116460</author><pubDate>Thu, 24 Sep 2020 15:07:20 +0800</pubDate><description><![CDATA[row='1,2,3.0,nan'

#字符串转数组，并去除特殊符号，去掉.0转为格式上的整数

list(row.replace('nan','0').replace('.0','').split(','))

['1', '2', '3','0']

#将格式上的整数，转换为类型上的整数

list(map(int,list(row.replace('nan','0').replace('.0','').split(',')) ))

[1, 2, 3]



方法：

list(map(int,st.]]></description><category></category></item><item><title><![CDATA[python上传文件至指定服务器]]></title><link>https://blog.youkuaiyun.com/sd116460/article/details/108710345</link><guid>https://blog.youkuaiyun.com/sd116460/article/details/108710345</guid><author>sd116460</author><pubDate>Mon, 21 Sep 2020 14:46:54 +0800</pubDate><description><![CDATA[import paramiko

#创建ssh对象
ssh = paramiko.SSHClient()
#ssh.load_host_keys("C:/Users/Administrator/.ssh/known_hosts")
#允许连接不在know_hosts文件的主机上
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
filename = ['artist_followby_user.tsv','artist.tsv','acti.]]></description><category></category></item><item><title><![CDATA[pandas展示所有列]]></title><link>https://blog.youkuaiyun.com/sd116460/article/details/108710293</link><guid>https://blog.youkuaiyun.com/sd116460/article/details/108710293</guid><author>sd116460</author><pubDate>Mon, 21 Sep 2020 14:44:00 +0800</pubDate><description><![CDATA[pandas在进行数据展示时，优势因为列数过多，会将中间的列压缩为省略号。

添加语句：


pd.set_option('display.max_columns', None)

可以展示所有数据
]]></description><category></category></item><item><title><![CDATA[python X[；,0],X[:,1:]的含义]]></title><link>https://blog.youkuaiyun.com/sd116460/article/details/108367758</link><guid>https://blog.youkuaiyun.com/sd116460/article/details/108367758</guid><author>sd116460</author><pubDate>Wed, 02 Sep 2020 18:31:15 +0800</pubDate><description><![CDATA[X=result[:,1:]

表示：x是result中取下标（字段下标）从1到全部的数据列

X[:,0]

表示;xx是result中取下标（字段下标）为0的数据列
]]></description><category></category></item><item><title><![CDATA[多项式贝叶斯分类算法]]></title><link>https://blog.youkuaiyun.com/sd116460/article/details/108367412</link><guid>https://blog.youkuaiyun.com/sd116460/article/details/108367412</guid><author>sd116460</author><pubDate>Wed, 02 Sep 2020 18:09:21 +0800</pubDate><description><![CDATA[# 中文文本分类
import os
import jieba
import warnings
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn import metrics

warnings.filterwarnings('ignore')

def cut_words(file_path):
    """
   .]]></description><category></category></item><item><title><![CDATA[python操作es进行数据的查找，删除]]></title><link>https://blog.youkuaiyun.com/sd116460/article/details/108096715</link><guid>https://blog.youkuaiyun.com/sd116460/article/details/108096715</guid><author>sd116460</author><pubDate>Wed, 19 Aug 2020 11:37:24 +0800</pubDate><description><![CDATA[python操作ES的基础都依赖于python的


from elasticsearch import Elasticsearch 包



from elasticsearch import Elasticsearch
import json
import pandas as pd
import re

es = Elasticsearch(hosts="xxxxx", port=xxxx)

if __name__ == '__main__':
    query = {'query': {'matc]]></description><category></category></item><item><title><![CDATA[使用pandas计算分组前十名并排序]]></title><link>https://blog.youkuaiyun.com/sd116460/article/details/107912631</link><guid>https://blog.youkuaiyun.com/sd116460/article/details/107912631</guid><author>sd116460</author><pubDate>Mon, 10 Aug 2020 14:38:32 +0800</pubDate><description><![CDATA[result.loc[:,'count_sub']=result['last_week_count']-result['llast_week_count']
    print(result.head())
    result.sort_values(['artist_third_id','count_sub'],ascending=False,inplace=True) #按照评论增长数排序
    result=result.groupby('artist_third_id').head(1...]]></description><category></category></item><item><title><![CDATA[python数据处理/包含字典的数组]]></title><link>https://blog.youkuaiyun.com/sd116460/article/details/107780769</link><guid>https://blog.youkuaiyun.com/sd116460/article/details/107780769</guid><author>sd116460</author><pubDate>Tue, 04 Aug 2020 10:38:57 +0800</pubDate><description><![CDATA[从mongo提取数据的时候，遇到了一类让人有点头疼的数据，数据类型是一个数组，数组内包含的是字典，大致如下：



在处理的过程中想了半天办法，也学了不少东西：先说说怎么处理这类数据，再来说我中间用到的几种新的方法，虽然没有起到特别大的作用，但是学到了不少新东西。

解决办法算是用了比较暴力的方法：

使用mongo的aggregate方法筛选数据，这里的col是我已经创建好了的一个指定mongo的表


pipline = [
    {'$match': {"$and": [{"crawl_time":]]></description><category></category></item><item><title><![CDATA[python 链接ES(elasticsearch)]]></title><link>https://blog.youkuaiyun.com/sd116460/article/details/107530544</link><guid>https://blog.youkuaiyun.com/sd116460/article/details/107530544</guid><author>sd116460</author><pubDate>Thu, 23 Jul 2020 10:25:25 +0800</pubDate><description><![CDATA[python链接ES进行数据操作

首先需要安装ES相关的python包


pip install elasticsearch

安装完成后开始进行链接操作：

代码如下：


from elasticsearch import  Elasticsearch
# es = Elasticsearch()    # 默认连接本地elasticsearch
# es = Elasticsearch(['xxx.xx.xx.xx:9200'])  # 连接指定9200端口
es = Elasticsearch.]]></description><category></category></item><item><title><![CDATA[python 执行定时脚本]]></title><link>https://blog.youkuaiyun.com/sd116460/article/details/107414803</link><guid>https://blog.youkuaiyun.com/sd116460/article/details/107414803</guid><author>sd116460</author><pubDate>Fri, 17 Jul 2020 18:18:39 +0800</pubDate><description><![CDATA[from apscheduler.schedulers.background import BackgroundScheduler
import os
import time
import datetime


def task_list_info():
    """
    :return:
    """
    # 你的脚本存储位置
    os.system('python /home/...........')



if __name__ == "__main__":
    sch...]]></description><category></category></item><item><title><![CDATA[基于密钥登录的sftp数据传输python脚本]]></title><link>https://blog.youkuaiyun.com/sd116460/article/details/106683262</link><guid>https://blog.youkuaiyun.com/sd116460/article/details/106683262</guid><author>sd116460</author><pubDate>Thu, 11 Jun 2020 10:45:42 +0800</pubDate><description><![CDATA[# daily_learn_note

#### 介绍

日常学习总结

####sftp使用密钥进行文件传输

import datetime

import paramiko

# 该包需要安装

my_key = paramiko.RSAKey.from_private_key_file('密钥存储位置')

transport = paramiko.Transport(('地址',端口号))

transport.connect(username='账户名',pkey=my_key)

s...]]></description><category></category></item><item><title><![CDATA[mysql特殊语法]]></title><link>https://blog.youkuaiyun.com/sd116460/article/details/103262019</link><guid>https://blog.youkuaiyun.com/sd116460/article/details/103262019</guid><author>sd116460</author><pubDate>Tue, 26 Nov 2019 18:22:08 +0800</pubDate><description><![CDATA[#增加自增长主键
alter table table_name
    add COLUMN id bigint not NULL primary key auto_increment;


#去表内的空格和换行符号
UPDATE table_name
SET id_type = REPLACE(REPLACE(id_type,char(10), ''), char(13), '');


#去...]]></description><category></category></item><item><title><![CDATA[使用python发送邮件]]></title><link>https://blog.youkuaiyun.com/sd116460/article/details/103261768</link><guid>https://blog.youkuaiyun.com/sd116460/article/details/103261768</guid><author>sd116460</author><pubDate>Tue, 26 Nov 2019 18:06:38 +0800</pubDate><description><![CDATA[import smtplib
from email.mime.text import MIMEText
from email.header import Header


# 发件人邮箱账号
sender = '发件人'


# 收件人 可多人
receiver = ['收件人']
ccreceiver = ['抄送者']


# 标题

subject = '标题'
smtpserver = ...]]></description><category></category></item><item><title><![CDATA[Tableau Reader与Tableau的文件互相打开问题]]></title><link>https://blog.youkuaiyun.com/sd116460/article/details/97396226</link><guid>https://blog.youkuaiyun.com/sd116460/article/details/97396226</guid><author>sd116460</author><pubDate>Fri, 26 Jul 2019 16:56:32 +0800</pubDate><description><![CDATA[使用Tableau创建的文件，为了让其他人也能够看到但是不能够修改数据，为了达到这一目的可以让阅读者使用Tableau Reader来阅读文件，但是有一个前提，当我们使用Tableau创建好了文件之后，要先进入工作簿或者进入仪表盘（具体看你使用哪个）将我们使用的所有的数据源的数据提取一次，点击上方的数据选项，选择使用到的数据库，右键选择提取数据，然后保存，对所有的你是用的数据源都要这样操作一次，然...]]></description><category></category></item><item><title><![CDATA[Tableau的安装与下载]]></title><link>https://blog.youkuaiyun.com/sd116460/article/details/95044067</link><guid>https://blog.youkuaiyun.com/sd116460/article/details/95044067</guid><author>sd116460</author><pubDate>Mon, 08 Jul 2019 10:07:34 +0800</pubDate><description><![CDATA[http://www.ddooo.com/softdown/138984.htm

这里是Tableau的安装与下网载站，按照步骤来就可以了，很简单的过程
]]></description><category></category></item></channel></rss>