qq_43494997的博客

1.我们可能在爬取网页的时候遇到过下拉框的情况他们将信息都放在了一个网页，但是不能通过网站的信息爬取到所需要的数据2.使用selenium方法可以解决这个问题使用selenium的方法，找到下拉框的属性，然后调用.click()方法可以进入到下拉框对应的界面代码如下：# -*- coding:utf-8 -*-#@Time : 2019/12/21 10:12from selen...

一：Hadoop上block的大小的规定在说hadoop上block规定的时候要提前说一下，就是在hadoop中，文件在物理上是分块储存（也就是block），块的大小可以通过配置参数（dfs.blocksize）来贵定，默认大小在hadoop2.x中是128M,老版本中是64M那么我们为什么要定义block的大小呢，在运算的过程中，寻址时间为传输时间的1%的时候为最佳状态，也就是说我们要使机器...

原因：Apache提供的hadoop本地库是32位的，而在64位的服务器上就会有问题，因此需要自己编译64位的版本。你需要重新修改native文件（不要嫌麻烦这个是最好的办法）1：进入网址：http://dl.bintray.com/sequenceiq/sequenceiq-bin/这里面有hadoop相关的版本信息，如果你是2.7.*的就下载2.7.0的就可以了，2.6.*的下载2....

Python基本图形的绘制①：折线图显示三个月每天的天气：from matplotlib import pyplot as pltimport randomfrom matplotlib.font_manager import FontProperties#windows、macOS和linux设置字体的方式myfont = FontProperties(fname=r"C:\Win...

1：随机梯度下降优化算法一：普通的梯度下降算法在更新回归系数时要遍历整个数据集，是一种批处理方法，这样训练数据特别忙庞大时，可能出现如下问题：收敛过程可能非常慢；如果误差曲面上有多个局极小值，那么不能保证这个过程会找到全局最小值。随机梯度下降法随机抽取一个样本来计算误差，然后更新权值二： 随机梯度下降为了解决上面的问题，实际中我们应用的是梯度下降的一种变体被称为随机梯度下降。上面...