baiyan_er-优快云博客

原创鼠标经过图片放大

<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Document</title> <style type="text/css">

2019-01-15 11:23:16 2654

原创字符串方法

length()、charAt()、getChars()、replace()、toUpperCase()、toLowerCase()、trim()、toCharArray()　1　string.length()是用来求字符串的长度，返回值为字符串的长度。　2　string.charAt()为取该字符串某个位置的字符，从0开始，例如string.charAt(0)就会返回该字符串的第一个字符...

2018-12-27 10:00:30 255

原创限制td的显示字数

。ellipsis{overflow:hidden;white-space:nowrap;text-overflow:ellipsis;}

2018-10-11 10:08:48 2846

原创循环遍历相同名class，限制文字字数，多余的文字以省略号显示

2018-09-27 15:00:24 440

转载解决bootstrap弹出框内容向左偏移

body { padding-right: 0px !important; } *.modal-open { overflow-y: scroll; padding-right: 0 !important; }

2018-09-10 14:10:58 3196 3

转载 pc跳转移动端域名替换

1. 写在js里的电脑手机端跳转只需加载该js即可// JavaScript Documentfunction urlredirect() {var sUserAgent = navigator.userAgent.toLowerCase(); if ((sUserAgent.match(/(ipod|iphone os|midp|ucweb|android|windows ce...

2018-09-10 14:05:56 1366

原创解决苹果手机上bootstrap模态框弹不出来的问题

可以写成 <a data-toggle="modal" data-target="#wwww" href="" onclick="return false;">

2018-08-01 18:00:22 3708

原创 css边框周围加阴影

.out{width:300px;height: 150px;margin: 20px auto;}.out{box-shadow:0px 0px 8px 0px #d0d0d0;}

2018-07-16 11:22:47 3609

原创实现不刷新页面，修改浏览器url地址

示例代码:<script type="text/javascript"> var test=window.location.href if(test.indexOf("source")<=0){ history.pushState("", "Title", test+"?"+"&source=&quot

2018-07-11 17:28:05 9521 1

原创监听浏览器滚动条触发向上向下事件

2018-07-03 17:22:58 2577

原创 scrapy(5)zhaopin

打开文件:(1)首先第一个蜘蛛:zhilian

2018-05-10 14:21:19 254

原创 scrapy(4)模拟登录

官网上说支持模拟登录，在中间件中接下来实现模拟登录

2018-05-09 10:28:25 226

首先创建项目：创建完成后pycharmy打开项目:我们需要爬的是范冰冰的图片：先在网站上分析下，图片在网页上向下拉，一直加载，用的是ajax异步加载图片，所以在爬的时候，需要ajax的地址接下来爬取图片下载以500为例，这有可能有些地方下载不下来，现大爬的地址确定下来了首先找到单个图片的地址我们爬的地址是带images但又想爬（只是做性练习）看官网上有个downloading and proce...

2018-05-08 16:01:45 269

原创 Scrapy(2)创建一个kgc_demo的蜘蛛的项目

安装完之后切换到hadoop用户上方是linux的演示，为了方便看我们回到windows来创建一个蜘蛛实例setting.py-------主要告诉我们蜘蛛在哪个包下,以后定义蜘蛛定义在spiders这个目录下,不是随便定义产生一个蜘蛛：执行这段命令(scrapy genspider kgcspider kgc.cn) 这个命令和我们自己新建个文件创建个文件是一样的区别在于用命令创建有模板代码。...

2018-05-06 15:49:34 412

原创 linux Scrapy(1)

1.首先搭建linux中的Scrapy环境（1）pip登入hadoop用户，首先看下pip版本是多少输入:pip -V是不是最新版本的如果不是执行pip install --upgrade pip命令（2）安装gcc 输入:yum -y install gcc我在安装的时候报错解决方法:https://blog.youkuaiyun.com/baiyan_er/article/details/80211894...

2018-05-06 13:03:32 294

原创 windows scrapy(1)

scrapy:就是一个应用框架，抽取website的内容 python应用框架scrapy:环境需要安装机器识别，爬虫，人脸识别都需要安装，dlid机器学习需要安装pip就可以安装内置了类数据的选择和抽取的方法:选择有两种方法:css ,xpath,可以使用正则shell 交互方式，可以不写类，启动python交互控制台命令，用css.xpath调试和测验蜘蛛内置了多...

2018-05-06 09:54:42 206

原创 CentOS7用yum安装软件提示 cannot find a valid baseurl for repobase7x86_64 的解决方法。

vi /etc/sysconfig/network-scripts/ifcfg-ens33(ifcfg-每台机子不一样)，

2018-05-06 09:47:46 647

原创解决You are using pip version 9.0.1, however version 9.0.3 is available. You should consider upgrading

解决问题：You are using pip version 9.0.1, however version 9.0.3 is available.You should consider upgrading via the 'python -m pip install --upgrade pip' command.解决方法：直接运行命令：python -m pip install --upgrade...

2018-04-28 23:07:40 472

原创 kafka pyspark（集群zookeeper）

准备：首先cmd 在运行中安装pyspark pip install pysparkspark-streaming得数据的几种途径: socker: 网络中 queue: sc散列的数据 flume: 通过 flume得数据，sinks kafka: 通过kafka得数据有两种：一种是...

2018-04-28 22:40:11 902

原创 kafka python版的生产者，消费者

之后我们自己制作一个python的kafka 生产者，python版的kafka的消费者,即flume的agend也不用控制台。首先启动pycharm,在pycharm需要安装安装完成后python文件就可以导入包 from kafka import KafkaProducer启动zookeeperpython中的代码from kafka import KafkaProducerproduce...

2018-04-28 17:54:36 4855 1

原创 hadoop-----flume(kafka)

kafka设计模式：发布定阅它是一个消息中间件，大数据思想，以前用mq,现在用kafka的比较多，但需要学会java，是java编写的，用python也可以，用的比较少, 不参与数据的产生和输出。只提供一个电台的机制，大家到电台发布节目，谁看不关心，谁要看到kafka定阅，而flume到一个地方收数据，一地方送数据。而kafka发数据与收数据需要自己写。kafka发布订阅中间起作用的是proke...

2018-04-26 23:44:39 433

原创 hadoop部署（2）flume配置hdfs

flume 可以显示在控制台上，上篇。接着看下是怎么显示的hdfs上首先启动dfs.shFLUME官网找到hdfs sink接上篇还是编辑aa.conf广州根椐官网上提供的实例将配置文件改成接着ESC shift+z+z 保存退出看下hdfs 有没有生成日志目录生成日志文件：文件大小和多长时间生成一个日志文件看下官网flume生成的都有哪些文件类型默认的文件格式是sequenceFile...

2018-04-26 22:35:22 323

原创部署数据环境(flume)

flume连接kafkaflume(日志收集器):通过一个配置文件定义一个代理配置文件:(1).source ：从哪里过来(2).sink：数据流向哪里(3)通道:通过通道输出。使用内存传数据比较慢。如果数据传的快过内存，就会堵塞，为了解决瓶颈问题，我们使用kafka,kafka输出的比较块。但是如果通过网络传输就会慢下来。所以这个时候就有另外一办法解决这个问题。就是收集日志，定义一堆分支，集群式...

2018-04-23 23:50:22 470

原创 hadoop (mapreduce运行原理)

架构执行流程分布式并行计算框架默认情况下,一般情况下是一个map,还有一种情况是这个文件大过map,把文件分成一个一个块计算map有限定最多启动多少个，系统绝定，但有20个进程，而map最多启16个，只能先执行16个在执行4个inputsplit(数据源通过分片,有很多预定好的分割方式)-------map(有多少分片启动多少map 进程)---------record(每个map进程完成分片中的...

2018-04-23 21:11:30 459

原创 hadoop hdfs读写流程和主从架构模式

区块链技术没有中心hdfs 读写流程(1)架构体系主从模式（集中式管理）(2)主:namenode 从:datanode(3)缺点:namenode 只有一个datanode有多个,单点故障缺点,这个缺点怎么解决,高可用的方式，副namenode不是secondarynamenode但功能是一样的。(4)当主namenode坏掉了，这个副namenode马上就能接替namenode的工作，而s...

2018-04-21 11:29:55 1334

原创 sparksql(2)

接上篇student表也就是在pyspark中可以有两种方式：1，agg(汇总) 2,sql语句查询接着实现自定义函数(1)这是用concat()函数将两个连接不是自定义的（2）用自定义函数实现连接（sql 方式）如果在查询语句时需要复杂的编程，需要定义函数，上方是sql方式调用自定函数sqlContext-----------下边注册函数(registerFunction,spark是sq...

2018-04-21 10:20:27 236

原创 sparksql

1.启动start-dfs.sh,然后启动,jupyter-noteboot --ip python22.看数据库中多出来一个数据库schoolspark.sql("desc formatted testb").show() -------------查看表格的所有信息下边创建一个表下边把数据导到这个student表中：接着验证下写三条记录放追加到student表中#这个列表中有三条记录放在...

2018-04-20 23:23:11 275

原创 django之easyUI(2)

接上篇easyUi(1)首先把树删成只剩一个子节点在shop 的app中创建一个urls文件接着在总项目的urls 中添加shop这个app的路径到后台views中写queryTree 函数from django.views.decorators.csrf import csrf_exempt 导入这个模块在函数上方 @csrf_exempt1.知识点当点击树目录时会自动加载传后台又加一遍文件目...

2018-04-18 22:07:56 1240

原创 hive安装及连接MySql

一、首先到mysql官网下载mysql-yum1.下载好后，上传到linux 中2,接下来运行(rmp -Uvh mysql57-community-release-el7-11.noarch.rpm)3,接下来安装mysql(yum install mysql-community-server -y)4,接着修改关闭密码验证修改/etc/mycnf在最后添加 plugin-load=...

2018-04-18 17:28:07 10679

原创 linux安装mysql时使用临时密码登录不进去mysql: [Warning] Using a password on the command line interface can be insec

1.在root用户下，停止mysqlservice mysqld stop2.vi /etc/my.cnf在[mysqld]的段中加上一句skip-grant-tables [mysqld]skip-grant-tables shift+z+z;保存退出3.重新启动mysqlsystemctl start mysqld3.登录修改mysql 的密码[root@python2 hadoop]# my...

2018-04-16 20:58:06 33324 5

原创 django之easyUI(1)

1,到easyUi官方下载easyUi，打开easyui 里的像书图标的文件，里找到layout(布局)2,新建一个django项目 shopping appname（1）-------shop3.布局复制过来将代码复制到manager.html Div 复制到manager.html 的页面上边添加static路径，用来放静态文件将文件路径修改正确下边删除不用的框架在eas...

2018-04-12 22:16:55 1415

原创 mysql数据库(2)

修改内容#将李文才的email 修改成liwencai@126.comupdate student set email='liwencai@126.com' where studentName='李文才'#由于考试题偏难，每个学生提2分update result set studentResult=studentResult+2#更新test和王宝宝的email为1234@qq.com'updat...

2018-03-20 08:58:22 5323

原创 python mysql数据库(1)

数据库：Oracle: 产品免费，服务收费SQL Server: 针对不同用户群体的多个版本My SQL: 开放源代码，网站应用广泛我这里主要是My SQL 数据库接着我们就来学习一下在数据库中表中的行称－－－－－－记录列称－－－－－－字段 DBS-----数据库系统 ,存数据DBMS－－－－－数据库管理系统，检索数据，插入数据，更新数据，删除数据net start mysql----启动...

2018-03-14 23:29:38 133

原创 python 网络编程 socket

一、基础知识网络根椐地域面积分为三类：局域网()、城域网(几十公里)、广域网(www)ip地址由4个8位组成第一个数字不能大于255IP地址由网络地址+本机地址组成分为5类:A类:1.0.0.0~126.255.255.255前一个是网络地址，后三位是本机地址(127.0.0.1,localhost是本地回环地址)B类：128.255.255.255~191.255.255.255前二两是网络地址...

2018-03-08 22:28:26 231

原创 python(线程)之生产者与消费者模式实例

import threadingimport timelist=[]lock=threading.Lock()huofuCond=threading.Condition(lock=lock)lock2=threading.Lock()chihuoCond=threading.Condition(lock=lock2)class HuoFu(threading.Thread): ...

2018-03-06 21:37:04 340

原创 python线程

实现线程有两种A、函数（需要导入模块_thread） B、类(需要导入模块threading)线程5种状态：创建，就绪，，运行，阻塞，死亡一、函数实现线程import _threadimport timedef print_time(threadName,delay): count=0 while count<5: time.sleep(delay)...

2018-03-05 22:16:29 332

原创 python之xml解析 SAX解析及元素树解析

#sax 解析自动触发事件#ContentHandler选导入模块from xml.sax import parseimport xml.saxclass Book(object): def __init__(self,bname=None,price=None,Write=None): self.bname=bname self.price=...

2018-03-04 11:44:56 574

原创 python之xml解析DOM解析(一)

1.xml是一种文件2.区分大小写3.标签要正确嵌套4.开始部分<?xml version='1.0' encoding='utf-8'>5.只能有一个根节点6.节点可以有属性为什么写程序时使用xml:（1）平台兼容非常好，跨平台，语妄言通用（2）传递数据，保存数据（3）结构化存储，永久存储（4）多应用于配置文件，框架中使用解析xml文件中的内容，也就是读取xml文件内容首先做个练习，...

2018-03-01 19:38:30 3930

原创 python 文件的读取和写入

#文件的读取和写入# 流:stream# 首先创建一个文件对象(路径，文件名)# 读取# 关闭 file.close()#file.flush() 刷新内部缓存,强制把缓存中刷新到文件中针对文件写入的#file.next()返回文件的下一行#file.read([size]) 从文件读取文件中内容，没有指定大小，读取文件所有内容#file.readline([size])读取一行...

2018-03-01 10:59:53 3538

原创 django models 注册（一）

模型：承载数据的对象并提供了对数据的curd（增删改查）1. 模型类必须继承models.Model类或子类2. 添加字段更改django的数据库链接引擎pyblogsysSetting.pyDATABASEDjango 想连接数据库必须安装 driver mysqlclient 1.7.3+运行命令Pip install mysqlclient安装NAME:数据库名称User：数据库名Passw...

2018-02-28 09:40:52 1128

空空如也

空空如也