newas3的博客

转载 多标签分类

多标签分类

原创 深度学习之图像

CV：CV是计算机视觉，作为算法岗火爆先锋部队，在五年前吃到了一大波红利。算法岗的落地场景我认为在搜索、广告、推荐、自然语言处理、计算机视觉、数据挖掘这六大算法岗中最多的。比如所有人都知道的人脸识别就是其中最大的应用场景，并且已经完全落地了，应用在无人售货机支付、APP登陆、支付宝微信银行等实名验证、交通违法自动识别、罪犯跟踪、门禁等等等等，商汤几乎就是靠着一手人脸识别的产品养活了整个公司。除此之外，CV还有无人驾驶、智能家居、监控、视频内容理解等等场景。但是应用场景多+第一批深度学习红利，带来的结果就是“

原创 Hadoop--hdfs/dfs常用命令的使用

-mkdir　　创建目录hdfs dfs -mkdir [-p] < paths>-ls　　查看目录下内容，包括文件名，权限，所有者，大小和修改时间hdfs dfs -ls [-R] < args>-put　　将本地文件或目录上传到HDFS中的路径hdfs dfs -put < localsrc> … < dst>-get　　将文件或目录从HDFS中的路径拷贝到本地文件路径hdfs dfs -get [-ignoreCrc] [-crc]

原创 Shell--脚本统计文件行数

示例：row_count.sh文件awk '{print NR}' row_count.sh | tail -n1awk 'END{print NR}' row_count.shgrep -n "" row_count.sh|awk -F: '{print '} | tail -n1sed -n '$=' row_count.shwc -l row_count.shcat row_count.sh | wc -l一、获取指定目录所有文件的行数：#!/bin/bash file

原创 shell--插入数据(sed)

#如果知道行号可以用下面的方法sed -i ‘88 r b.file’ a.file #在a.txt的第88行插入文件b.txtawk ‘1;NR==88{system(“cat b.file”)}’ a.file > a.file#如果不知道行号，可以用正則匹配sed -i ‘/regex/ r b.txt’ a.txt # regex是正则表达式awk ‘/target/{system(“cat b.file”)}’ a.file > c.file#sed的話如果不改变源文

原创 hive-日期转换

参考网址：https://blog.youkuaiyun.com/lichangzai/article/details/194062151.日期函数UNIX时间戳转日期函数: from_unixtime语法:from_unixtime(bigint unixtime[, stringformat])返回值: string说明: 转化UNIX时间戳（从1970-01-0100:00:00 UTC到指定时间的秒数）到当前时区的时间格式举例：hive> select from_unixtime(1323308

原创 后台--nohup &

1.nohup用途：不挂断地运行命令。语法：nohup Command [ Arg … ] [　& ]　　无论是否将 nohup 命令的输出重定向到终端，输出都将附加到当前目录的 nohup.out 文件中。　　如果当前目录的 nohup.out 文件不可写，输出重定向到 $HOME/nohup.out 文件中。　　如果没有文件能创建或打开以用于追加，那么 Command 参数指定的命令不可调用。退出状态：该命令返回下列出口值： 　　　　126 可以查找但不能调用 Command 参数

原创 sql--执行顺序

(8)SELECT (9)DISTINCT (11)<Top Num> <select list>(1)FROM [left_table](3)<join_type> JOIN <right_table>(2)ON <join_condition>(4)WHERE <where_condition>(5)GROUP BY <group_by_list>(6)WITH <CUBE | RollUP>

原创 SQL-rollup、cube（hive）

先举个例：group by WITH ROLLUPmysql> select dep,pos,avg(sal) from employee group by dep,pos with rollup; +------+------+-----------+ | dep | pos | avg(sal) | +------+------+-----------+ | 01 | 01 | 1500.0000 | | 01 | 02 | 1950.0000 | | 01 | NU

原创 大数据调度脚本--日期处理

日期处理是关于如何获取日期以及格式化日期，举个最常见的例子，销售类报表是领导一定都要看的。假如每天十点之前要给领导递交昨天的销售数据，假设和领导约定要在每天上午的十点，你是怎么处理的呢？？？场景说明针对大数据开发初学者，给初学者看的；学习收获：掌握DML语句开发出来之后，如何写调度程序知识储备要求：有一定的 sql 基础，尤其是 query 语句，了解 shell 脚本本文讲解面向平台是大数据计算平台，例如，hive、presto 等单个任务下，常见的几个问题列表日期处理路径问题变量替

原创 HIVE--常用hql语句

Hive 的启动方式：1、hive 命令行模式，直接输入/hive/bin/hive的执行程序，或者输入 hive - -service cli2、hive web界面的启动方式，hive - -service hwi3、hive 远程服务 (端口号10000) 启动方式，nohup hive - -service hiveserver &  创建表cite，并指定列的分隔符为“,”：create table cite(citing INT, cited INT) row

原创 Hive--排序

1). order by 只有一个reduce负责对所有的数据进行排序，若大数据量，则需要较长的时间。建议在小的数据集中使用order by 进行排序。2). order by 可以通过设置hive.mapred.mode参数控制执行方式，若选择strict，则order by 则需要指定limit（若有分区还有指定哪个分区） ；若为nostrict，则与关系型数据库差不多。3). sort ...

转载 Linux--常用命令

系统信息arch 显示机器的处理器架构uname -m 显示机器的处理器架构uname -r 显示正在使用的内核版本dmidecode -q 显示硬件系统部件 - (SMBIOS / DMI)hdparm -i /dev/hda 罗列一个磁盘的架构特性hdparm -tT /dev/sda 在磁盘上执行测试性读取操作cat /proc/cpuinfo 显示CPU info的信息ca...

原创 HIVE--入门小结

Hive是基于Hadoop的一个数据仓库，可以将结构化的数据文件映射为一张表，并提供类sql查询功能，Hive底层将sql语句转化为mapreduce任务运行。相对于用java代码编写mapreduce来说，Hive的优势明显：快速开发，人员成本低，可扩展性（自由扩展集群规模），延展性（支持自定义函数）。Hive的构架：Hive提供了三种用户接口：CLI、HWI和客户端。客户端是使用JDBC...

原创 SQL--join

在多表查询中，一些SQL开发人员更喜欢使用WHERE来做join，比如：SELECT a.ID, b.Name, b.Date FROM Customers a, Sales b WHERE a.ID = b.ID;缺点：在上面语句中，实际上是创建了两张表的笛卡尔积，所有可能的组合都会被创建出来。在笛卡尔连接中，在上面的例子中，如果有1000顾客和1000条销售记录，这个查询会先产生100000...

原创 PyQt+PyCharm

本文描述Windows系统下如何安装Python + PyCharm + PyQt5，并通过PyQt5 采用 两种方式设计GUI界面。a.直接使用代码设计界面；b. 先使用QtDesigner进行可视化设计，然后将生成的.ui文件转换成.py文件。安装python（本人3.7）安装PyQtpip install PyQt5pip install PyQt5-tools安装pyCharm...

原创 pycharm--常用快捷键

EditingCtrl + Space 基本的代码完成（类、方法、属性）Ctrl + Alt + Space 快速导入任意类Ctrl + Shift + Enter 语句完成Ctrl + P 参数信息（在方法中调用参数）Ctrl + Q 快速查看文档Shift + F1 外部文档Ctrl + 鼠标 简介Ctrl + F1 显示错误描述或警告信息Alt + Insert 自动生成代...

原创 tensoflow--代码学习7(autoencoder)

代码段1：#Autoencoderimport tensorflow as tfimport numpy as npimport matplotlib.pyplot as plt#import MNIST datafrom tensorflow.examples.tutorials.mnist import input_datamnist = input_data.read_dat...

原创 tensorflow--代码学习6(RNN--regression)

#rnn lstm regression回归import tensorflow as tfimport numpy as npimport matplotlib.pyplot as pltBATCH_START = 0TIME_STEPS = 20BATCH_SIZE = 50INPUT_SIZE = 1OUTPUT_SIZE = 1CELL_SIZE = 10LR = 0...

原创 tensorflow--代码学习5(CNN)

#cnnimport tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_data#number 1-10 datamnist = input_data.read_data_sets('MNIST_data',one_hot=True)def compute_accuracy(v_xs,v_ys...

原创 tensorflow--代码学习4(dropout)

import tensorflow as tffrom sklearn.datasets import load_digitsfrom sklearn.model_selection import train_test_splitfrom sklearn.preprocessing import LabelBinarizer#load datadigits = load_digits()...

原创 tensorflow--代码学习3

import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_data#number 1-10 datamnist = input_data.read_data_sets('MNIST_data',one_hot=True)def add_layer(inputs,in_size,out_si...

原创 tensorflow--代码学习2(tensorboard)

#可视化 tensorboardimport tensorflow as tfimport numpy as npdef add_layer(inputs,in_size,out_size,activation_function=None): with tf.name_scope('layer'): with tf.name_scope('Wieght'): ...

原创 tensorflow--代码学习1

#optimizer%matplotlib qt5import tensorflow as tfimport numpy as npimport matplotlib.pyplot as pltdef add_layer(inputs,in_size,out_size,activation_function=None): Weight = tf.Variable(tf.rand...

原创 python--常用字符串处理函数

原创 Tensorflow--报错及解决方案

由于版本的更替会导致很多函数在调用的时候出现各种各样的问题，做一个小结//firstAttributeError: ‘module’ object has no attribute ‘SummaryWriter’tf.train.SummaryWriter改为：tf.summary.FileWriter//secondAttributeError: ‘module’ object...

原创 RGB--常见色彩

在python中，海龟函数turtleimport turtleturtle.colormode(mode)//1.0 RGB小数值模式//255 RGB整数值模式

原创 tensorflow--可视化tensorboard

anaconda+tensorflow重点：1、tf.namescope()、 tf.summary.FileWriter(‘logs/’,sses.graph)2、参数名、op都可以定义新的名称，如下A、B、C3、启动tensorboard：tensorboard --logdir=C:\Users\cd\Desktop\DL\logs4、用Google浏览器打开生成的http地址：l...

转载 Scrapy框架中Item Pipeline用法

当Item 在Spider中被收集之后，就会被传递到Item Pipeline中进行处理每个item pipeline组件是实现了简单的方法的python类，负责接收到item并通过它执行一些行为，同时也决定此Item是否继续通过pipeline,或者被丢弃而不再进行处理item pipeline的主要作用：清理html数据验证爬取的数据去重并丢弃将爬取的结果保存到数据库中或文件中...

原创 opencv--图像处理基础

灰度颜色反转马赛克毛玻璃融合边缘检测浮雕效果颜色映射油画效果其它灰度：灰度与彩色的区别：import cv2img0 = cv2.imread('image0.jpg',0)img1 = cv2.imread('image0.jpg',1)print(img0.shape)print(img1.shape)运行结果：(547, 730)(547, 730...

原创 tensorflow--深度学习/入门例子

学习tensorflow框架结构，一定要在头脑里面有一个网络图，当然，tensorflow带有tensorboard可视化工具初识：import tensorflow as tfimport numpy as np#creat datax_data = np.random.rand(100).astype(np.float32)y_data = x_data*0.1 + 0.3#...

原创 opencv--仿射变换

学习warpAffineimport cv2import numpy as npimg = cv2.imread('image0.jpg',1)cv2.imshow('scr',img)imgInfo = img.shapeheight = imgInfo[0]width = imgInfo[1]#getRotationMatrix2D(Point2f center, double...

原创 tf.assgin()

学习tensorflow时，学习变量：import tensorflow as tfstate = tf.Variable(0,name='conter')print(state.name)one = tf.constant(1)new_value = tf.add(state, one)update = tf.assign(state,new_value)init = tf.g...

原创 scrapy--搭建运行

anaconda3切换到spyder环境：activate spyder下载：pip install srcapyscrapy：创建项目：scrapy startproject 文件名个人：学习崔庆财爬虫http://quotes.toscrape.com/scrapy startproject quotetutorial进入quotetutorial：cd quotetut...

原创 jupyter notebook themes

下载：pip install --upgrade jupyterthemes查看主题：jt -ljt -t 主题名称个人：更多:windows上jupyter notebook主题背景、字体及扩展插件配置(集成vim环境)

原创 入门--tensorflow

搭建：anaconda + tensorflowbegin：import tensorflow as tfdata1 = tf.constant(2, dtype=tf.int32)data2 = tf.Variable(10, name='var')print(data1, data2)sess = tf.Session()'''print(sess.run(data1))in...

原创 入门--OpenCV

Getting Started with Images