weixin_43139613的博客

Kettle简介Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。Kettle是“Kettle E.T.T.L. Envirnonment“只取首字母的缩写，这意味着它被设计用来帮助你实现你的 ETTL 需要：抽取、转换、装入和加载数据；翻译成中文名称应该叫水壶，名字的起源是开发者希望把各种数据放到一个壶里然后以一种指定的格式流出。Spoon 是一个图形用户界面，它允许你运行转换或者任务，其中转换是用 Pan 工具来运行，任务是用

本文参考https://blog.youkuaiyun.com/y1534414425/article/details/90699532除上文外要补充的有AccessKey ID和AccessKey Secret可以使用子账号只需要添加一个AliyunECSReadOnlyAccess权限就可以了需要路由器上虚拟机服务设计端口映射完事就可外网访问了...

前言Superset 是 Airbnb开源的数据探查与可视化平台，是个轻量级的BI工具，开发者可以在其开源代码上根据需要进行二次开发。最近在探索数据分析平台的应用，就来试一试，然而superset更新迭代的速度太快，里面也有太多的坑，花了两天的时间踩完，下面就把流程以及相应的坑分享~superset github地址：https://github.com/apache/incubator-superset官方文档：http://superset.apache.org/installation.html

import requestsfrom requests.exceptions import ConnectionErrorfrom pyquery import PyQuery as pqimport operatorfrom functools import reduceimport reimport jsonimport pandas as pdimport numpy as npheaders = { 'Host':'club.jd.com', '

记录安装ubuntu系统的mysql和samba共享服务的坑1.安装mysql8.0的话，需要先安装一个mysql-apt-config_0.8.15-1_all.deb的文件，dpkg -i mysql-apt-config_0.8.15-1_all.deb2.然后sudo apt install mysql-server3.按部就班的安装，MySQL8.0采用了新的加密方式，一定要注意，正是因为这个加密方式才导致Ubuntu18.04用设置的root密码登录不了MySQL，因为Ubuntu18.0

1.使用“|””对字符串进行分隔，然后可以筛选出保函有的品类m = "|".join(list(pbpd['品牌信息']))uhpb['种类'] = uhpb['商品信息'].str.findall(m)2.多张Excel合成为一张，并加入A列以区分dfs = []p = os.listdir(r'D:\xml\............')for i in range(len(p)...

最值归一化 Normalization# 最值归一化 Normalizationimport numpy as npx = np.random.randint(1,100,size=100)#进行最值归一化x = (x - np.min(x)) / (np.max(x) - np.min(x))#多维数组的最值归一化X = np.random.randint(1,100,(50,...

from sklearn import datasetsiris = datasets.load_iris()x = iris.datay = iris.targetfrom sklearn.model_selection import train_test_splitx_train, x_test,y_train, y_test = train_test_split(x,y,te...

from pyecharts.faker import Fakerfrom pyecharts import options as optsfrom pyecharts.charts import Mapfrom selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdri...

多难兴邦，希望疫情尽快结束，等待春暖花开from pyecharts.faker import Fakerfrom pyecharts import options as optsfrom pyecharts.charts import Mapfrom selenium import webdriverfrom selenium.webdriver.common.by import By...

import os import pandas as pdhhye = os.listdir(r'C:\Users\18352\Desktop\Python\read_Excel\01-天猫行业数据分析')for k in range(len(hhye)): wwdu = os.listdir(r'C:\Users\18352\Desktop\Python\read_Excel...

class MulLayer: def __init__(self): self.x = None self.y = None def forward(self,x,y): self.x = x self.y = y out = x*y return out ...

import pymongoimport requestsfrom requests.exceptions import ConnectionErrorfrom pyquery import PyQuery as pqimport timeclient = pymongo.MongoClient('localhost')db = client['tmmc']#PROXY_POOL...

受到~wangweijun的20行Python代码爬取王者荣耀全英雄皮肤的启发我去试试同样的方法爬取LOL皮肤，果然方法大同小异，毕竟都是腾讯系的首先进入LOL官网进入资料库获取全英雄的详细列表，包括ID、绰号、英文名、中文名等等url = 'https://game.gtimg.cn/images/lol/act/img/js/heroList/hero_list.js'herol...

# -*- coding: utf-8 -*-from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.common.keys import Keysfrom selenium.webdriver.support import expected_condi...

# -*- coding: utf-8 -*-"""Created on Fri Dec 6 09:33:51 2019@author: 18352"""from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.common.keys impo...

from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.common.keys import Keysfrom selenium.webdriver.support import expected_conditions as ECfrom seleniu...

清洗Kobe数据import pandas as pdimport matplotlib.pyplot as pltimport matplotlib.cm as cmimport numpy as npraw = pd.read_csv('.\data\kobe_data.csv')print(raw.shape)kobe = raw[pd.notnull(raw['shot_...

Supervised Learning In-Depth: Random Forests(随机森林)以前，我们看到了一个强大的判别分类器** Support Vector Machines **。在这里，我们将探讨激励另一个强大的算法。 这是一种称为“随机森林”的非参数算法。%matplotlib inlineimport numpy as npimport matplotlib.pyp...

深度监督学习:支持向量机之前，我们介绍了有监督的机器学习。有许多监督学习算法可用。 在这里，我们将简要介绍最强大且有趣的方法之一：支持向量机（SVM）。%matplotlib inlineimport numpy as npimport matplotlib.pyplot as pltfrom scipy import statsplt.style.use('seaborn')...

机器学习的基本原则在这里，我们将深入探讨机器学习的基本原理，以及如何通过Scikit-Learn API使用它们。在简要介绍scikit-learn的Estimator对象之后，我们将介绍有监督的学习，包括分类和回归问题，以及无监督的学习，包括降维和聚类问题。%matplotlib inlineimport numpy as npimport matplotlib.pyplot as p...

Scikit-Learn简介：使用Python进行机器学习本课程将涵盖Scikit-Learn的基础知识，Scikit-Learn是一个受欢迎的软件包，其中包含用Python编写的机器学习工具集合。 有关更多信息，请访问http://scikit-learn.org。大纲主要目标：介绍机器学习的中心概念，以及如何使用Scikit-learn软件包将其应用在Python中。机器学习的定义s...

scikit-learn简介：Python中的机器学习本教程的目标介绍机器学习的基础知识，以及一些在实践中有用的技能。介绍scikit-learn的语法，以便您可以使用可用的丰富工具集。时间表：预备课程：设置和介绍（15分钟）确保您的计算机已安装机器学习和Scikit学习界面的基本原理（45分钟）什么是机器学习？机器学习数据布局监督学习分类回归衡量绩效无监督学习聚类...

选择位置添加备份文件，然后点击确定备份然后随便插入一些内容在数据库属性选择单用户模式，确定选择原设备勾上覆盖，点确定完成

import xlrdimport pymssqlimport datetime # 连接本地sql server 地址 用户名 密码 数据库conn = pymssql.connect("192.168.**.***", "sa", "********", "*****")# 建立cursor...

# -*- coding: utf-8 -*-#定向爬取淘宝商品页面import requestsimport reimport pymongoclient = pymongo.MongoClient('localhost')db = client['taobao']headers = { 'Cookie':'thw=c9B567C18', 'Ho...

import pymongoimport requestsfrom requests.exceptions import ConnectionErrorfrom pyquery import PyQuery as pqclient = pymongo.MongoClient('localhost')db = client['zhihu']base_url = 'https://...

# -*- coding: utf-8 -*-"""Spyder EditorThis is a temporary script file."""import pymongoimport requestsfrom requests.exceptions import ConnectionErrorfrom pyquery import PyQuery as pqclient...

Jupyter Notebook深度学习2最后检查: 上星期二09:41(自动保存)Current Kernel LogoPython 3FileEditViewInsertCellKernelWidgetsHelpimport sys , osimport sys , ossys.path.append(os.pardir)sys.path.append(os....

跃迁函数简单说就是大于0返回1，否则返回0import numpy as np0def setp_function(x): y = x > 0 return y.astype(np.int)x = np.array([-1,1,2])psetp_function(x)array([0, 1, 1])import matplotlib.pylab as plt...

# -*- coding: utf-8 -*-"""Created on Mon Aug 19 14:14:01 2019@author: Administrator"""#!/usr/bin/env python# -*- coding:utf-8 -*- #Android国际化： 将excel中的内容转化到xml中 #! encoding=utf-8 import x...

#导入忽视警告模块import warningswarnings.filterwarnings('ignore')import pandas as pdimport numpy as npimport matplotlib.pyplot as plt#显示中文字符plt.rcParams['font.sans-serif'] = ['SimHei']#显示负号plt.rcPa...

import matplotlib.pyplot as plt%matplotlib notebook%matplotlib inlineplt.plot([1,2,3,4],[1,4,9,16],'m')plt.ylabel('y')plt.plot([1,2,3,4],[1,4,9,16],'ro')import numpy as npt = np.arange(0.,...

1.pyproj2.geos3.matplotlib4.basemap (base on geos)https://www.lfd.uci.edu/~gohlke/pythonlibs/#basemappip install basemap-1.2.0-cp37-cp37m-win64.whl5.下载 shapefile of chinahttps://gadm.org/downlo...

list(map(lambda x:x if x%2 == 0 else x+1000 if x == 3 else x+1,[i for i in range(20)]))[0, 2, 2, 1003, 4, 6, 6, 8, 8, 10, 10, 12, 12, 14, 14, 16, 16, 18, 18, 20]如果能被2整除就是本身，如果 = 3 就加1000 否则就加一...

Jupyter Notebook Untitled Last Checkpoint: an hour ago (autosaved) Python 3Python 3FileEditViewInsertCellKernelWidgetsHelpimport numpy as npa = np.linspace(1,10,50)aarray([ 1. , ...

# -*- coding: utf-8 -*-"""Created on Fri May 24 16:39:35 2019@author: Administrator"""# -*- coding: utf-8 -*-# by Damon import pyautogui,time,xlrd #i = int(wwhu('which group you want to...

# -*- coding: utf-8 -*-"""Spyder EditorThis is a temporary script file."""import pyautoguia = 0 s = 2 #一次性录入的个数，最多应该是27个吧m = 460 #erp其实高度n = 1 #已经录入的个数#切换到excelpyautogui.moveTo(x=607...