三人行必有我师的博客

安装docker。 sudo apt-get install  docker 安装docker.io。 sudo   apt-get install   docker.io 安装docker-registry。 sudo apt-get install  docker-registry 开始启动我们的docker sudo sys...

终端输入  ifconfig  -a      得到：ip172.17.25.162

打开终端进入pycharm的安装包里的bin文件下，我的pycharm是在主目录下的，所以直接  输入cd pycharm/bin，然后输入sh pycharm.sh 。

直接在终端输入mongodb-compass-community（软件名字）

scrapy crawl 爬虫名字 -o results.csv 

在/spiders路径下新建main.py文件，里面输入：from scrapy import cmdlinecmdline.execute("scrapy crawl your_spider_name".split())

先进入爬虫项目里的spiders路径下，然后输入scrapy crawl pou_rspider_name即可

在终端进入到spiders路径下，然后输入scrapy genspider spider_name 域名比如：www.itcast.cn'

首先启动输入mongd来mongodb；再输入mongo来启动mongodb shell。

/usr/bin/mongod --dbpath = /var/lib/mongodb/diagnostic.data --logpath = /home/var/log/mongodb/mongodb.log --logappend -- fort=27017--fork 

问答系统历史：基于模板的问答专家系统----->基于信息检索的问答----->基于社区的问答----->基于知识库的问答（受益于维基百科等）问答形式分类：一问一答，交互式问答，阅读理解。现有的成果： Wolfram Alpha;答题机器人：日本的‘多达一’高考答题机器人、863：基于大数据的类人智能关键技术与系统；评测数据集：1.QALD，知识库问答测评。QALD的测...

问答系统主要术语：问题类型、答案类型、问句焦点、问句主题、候选段落、候选答案。分别介绍如下：问题类型：对问题的分类，用以产生相应的策略和答案形式。问题分为：事实类问题，列表类问题，定义类问题，列表类问题难度较大，因为涉及到不同的实体识别，这些实体往往分散在不同的文本段落。定义类问题难度最大，识别出用户提出的概念，然后再组织语言给出答案。另外还有根据语言学分为是非类问题、关系型问题、最型问题...

#第一步：数据处理#pikle是一个将任意复杂的对象转成对象的文本或二进制表示的过程。#同样，必须能够将对象经过序列化后的形式恢复到原有的对象。#在 Python 中，这种序列化过程称为 pickle，#可以将对象 pickle 成字符串、磁盘上的文件或者任何类似于文件的对象，#也可以将这些字符串、文件或任何类似于文件的对象 unpickle 成原来的对象。import sys, p...

sudo service mongodb start 

例如：sudo nano mongodb.conf 

流程框架：1.抓取索引页内容，利用request请求目标站点，得到索引页html代码，返回结果2，抓取详情页面内容，解析返回结果，得到详情页面的链接，并进一步抓取详情页面的链接；3，下载图片与保存数据库，将图片下载到本地，并把页面信息与图片URL保存到mongodb。4，开启循环与多线程 ...

1. 安装 tesseract-ocr 包安装方法： sudo apt-get install tesseract-ocr 2. 安装 PILPIL(python imaging library)是python中的图像处理库安装方法： sudo apt-get install python-imaging 3. 安装 pytesseract安装方法： pip insta...

import requestsfrom fake_useragent import UserAgentfrom lxml import etreeheaders={ 'User-Agent':UserAgent().random}def get_MovieUrl(index_url): response=requests.get(index_url,headers...

新建项目maoyantop100在项目文件下新建爬虫文件spider.py，在里面输入：import jsonfrom multiprocessing import Poolimport requestfrom requests.exceptions import RequestExceptiondef get_one_page(url): try: re...

pgrep mongo -l

XPath 实例XPath 运算符 XPath 总结在本节，让我们通过实例来学习一些基础的 XPath 语法。XML实例文档我们将在下面的例子中使用这个 XML 文档："books.xml" :<?xml version="1.0" encoding="ISO-8859-1"?><bookstore><book category="C.

XPath 运算符XPath 轴 XPath 实例XPath 表达式可返回节点集、字符串、逻辑值以及数字。XPath 运算符下面列出了可用在 XPath 表达式中的运算符：运算符 描述 实例 返回值 | 计算两个节点集 //book | //cd 返回所有拥有 book 和 cd 元素的节点集 + 加法 6 + 4 ...

XPath Axes（轴）XPath 语法 XPath 运算符XML 实例文档我们将在下面的例子中使用此 XML 文档：<?xml version="1.0" encoding="ISO-8859-1"?><bookstore><book> <title lang="eng">Harry Potter&amp

XPath 语法XPath 节点 XPath 轴XPath 使用路径表达式来选取 XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。XML 实例文档我们将在下面的例子中使用这个 XML 文档。<?xml version="1.0" encoding="ISO-8859-1"?><bookstore>...

XPath 节点XPath 简介 XPath 语法在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档节点（或称为根节点）。XPath 术语节点（Node）在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档（根）节点。XML 文档是被作为节点树来对待的。树的根被称为文档节点或者根节点。请看下面这个 X...

错误：Unable to lock the lock file: /data/db/mongod.lock (Resource temporarily unavailable). Another mongod instance is already running on the /data/db directory, terminating解决办法：sudo rm /data/db/mongo...

mongod 没找到路径，解决办法：创立该路径：sudo mkdir /data/db/ -p

mongodb异常处理：exception in initAndListen: IllegalOperation: Attempted to create a lock file on a read-only directory: /data/db, terminating出现的原因是因为 /data/db的权限不足导致的。解决办法：修改权限就好。sudo chmod 777 -R...

个性化设置在custom_settings，会覆盖全局的设置（在settings里）

作用：传递参数 name = "Xiao niu"age = 30hight = 178.50print('我的名字是：{}\n我的年龄是：{}\n我的身高：{:.2f}'.format(name,age,hight))我的名字是：Xiao niu我的年龄是：30我的身高：178.50...

如果希望透明地存储 Python 对象，而不丢失其身份和类型等信息，则需要某种形式的对象序列化：它是一个将任意复杂的对象转成对象的文本或二进制表示的过程。同样，必须能够将对象经过序列化后的形式恢复到原有的对象。在 Python 中，这种序列化过程称为 pickle，可以将对象 pickle 成字符串、磁盘上的文件或者任何类似于文件的对象，也可以将这些字符串、文件或任何类似于文件的对象 unpick...

#根据给定的训练数据X，Y，预测x所属分类def predict(X,Y,x):       #将数组Y的元素(类别值)嫁接到数组X每行的末尾   NEWX=X   for i in range(0,len(X)):       NEWX[i].append(Y[i])   #第一步：去重，提取Y的类别值，组成集合PureY   PureY=list(set(Y))   #第二...

#matplotlib inlineimport numpy as npimport tensorflow as tfimport matplotlib.pyplot as pltplt.rcParams["figure.figsize"]=(14,8)#可视化的时候设置的长和宽n_observations=100#样本点的个数xs=np.linspace(-3,3, n_obse...

#解决分类问题最普遍的baseline modle就是逻辑回归，简单可解释性好#第一步：环境设定import osos.environ['TF_CPP_MIN_LOG_LEVEL']='2'import numpy as npimport tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_da...

import numpy as npimport tensorflow as tfimport matplotlib.pyplot as pltplt.rcParams["figure.figsize"]=(14,8)#可视化的时候设置的长和宽n_observations=100#样本点的个数xs=np.linspace(-3,3, n_observations)#在-3与3之间取得...

#第一步：环境设定import numpy as npimport tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_dataimport time#第二步：数据准备#使用TensorFlow自带的工具加载MNIST手写数字集合mnist=input_data.read_data_sets('...

# -*- coding: utf-8 -*-"""Created on Sun Mar 25 22:02:48 2018@author: Administrator"""import refrom sklearn.feature_extraction.text import CountVectorizerfrom sklearn.model_selection import...

import math#定义一个求熵的函数，输入为一维数组，输出为熵。def getShang(X):    temp={k:X.count(k) for k in set(X)}    s=0    for k,v in temp.items():        s=s+(v/len(X))*(-math.log2(v/len(X)))    return s#定义一个求最优...

# -*- coding: utf-8 -*-"""Created on Mon Feb  5 11:58:12 2018@author: Administrator"""# -*- coding: utf-8 -*-"""Created on Sat Feb  3 13:51:03 2018@author: Administrator"""import matp