qq513536189的博客

原创 Scrapy爬取本地html文件报错：ValueError(‘Missing scheme in request url:F:%5C***)

需要在路径前加上"file:"def start_requests(self): dir = 'F:\SQLite_tbwrkfls\SQLite_tbwrkfls' for root, subdir, files in os.walk(dir): print("1", root) for file in files: path = os.path.join(root, file) if path.__.

原创 WPF TreeView 点击文字无法选中Item的解决办法

参考：https://www.cnblogs.com/aoldman/archive/2013/01/28/2879797.html实现WPF TreeView控件模板该TreeView控件模板使用ContentPresenter在item上显示文字，点击文字无法选中item。解决办法：在ContentPresenter上面再放一个<Border>，用来接收鼠标点击事件，如下图：...

原创 主机重启后VM虚拟机NAT无法联网

原创 python 使用scrapy运行爬虫时出现“ModuleNotFoundError: No module named ‘protego‘”

安装Anaconda打开Anaconda prompt命令行进入Anaconda3安装目录下的envs目录创建名为scrapyws的conda虚拟环境，并在其中安装scrapyconda create -n scrapyws scrapy激活虚拟环境conda activate scrapyws运行爬虫scrapy crawl 爬虫名称报错：ModuleNotFoundError: No module named ‘protego‘解决办法：1. 打开Anacon

转载 Q_OBJECT 构造函数未定义的引用

Q_OBJECT undefined reference toQ_OBJECT 构造函数未定义的引用

原创 小端字节序和大端字节序

转自达内培训资料以32位整数：0x12345678为例，该数据位数从左至右依次降低小端字节序：数据的低位在低地址，高位在高地址。0x12345678的小端字节序为：[0x78, 0x56, 0x34, 0x12]，地址从左至右依次升高大端字节序：数据的高位在低地址，低位在高低值。0x12345678的大端字节序为：[0x12, 0x34, 0x56, 0x78]，地址从左至右依次降低...

原创 Spark实现MySQL到HBase数据迁移的Scala代码

Spark实现MySQL到HBase的数据迁移，其效率比Sqoop快数十倍。该代码识别MySQL表的主键作为HBase的行键，遇到联合主键则将主键用下划线连接后作为HBase的行键。1. 下图为工程目录结构2. MySQL2HBase.scalaimport java.sql.{DriverManager, SQLException}import org.apache.hadoop.hbase...

原创 sqoop2配置过程

sqoop2

原创 Spark SQL和Spark Thrift Server安装部署

安装SparkSpark部署 下载spark-2.2.0-bin-hadoop2.7.tgz解压 $ tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz配置环境变量 $ vim ~/.bashrc添加如下内容： export SPARK_HOME=/home/cloud/cloud/spark-2.2.0

原创 Hive-2.1.1使用MySQL作为metastore配置过程

1. 上传apache-hive-2.1.1-bin.tar.gz并解压# mkdir /root/Hive# cd /root/Hive# rz通过弹出的“打开”对话框从宿主机上选择已经下载好的apache-hive-2.1.1-bin.tar.gz# tar -xzvf apache-hive-2.1.1-bin.tar.gz2. 配置profile# vim /e

转载 C++读写HBase代码

1. C++读写HBase代码1.1 HbaseClient.cpp#include "THBaseService.h"  #include   #include   #include   #include #include   #include   using namespace std;  using namespace apache::thrift

原创 C++读写HDFS代码

1. C++读写HDFS工程HadoopClient代码1.1 operate_hdfs.h:#ifndef __OPERATE_HDFS_H#define __OPERATE_HDFS_H #include  class operatehdfs{public:   operatehdfs();    voidoperatehdfs_conn(char

原创 Centos7 联网和不联网 安装MySQL的方法

1. 不联网安装MySQL的方法：参考http://jingyan.baidu.com/article/a378c9609eb652b3282830fd.htmla) 安装新版mysql之前，我们需要将系统自带的mariadb-lib卸载# rpm -qa|grep mariadbmariadb-libs-1:5.5.52-1.el7.x86_64# rpm -e mariad

原创 HBase 1.2.4 部署

HBase

原创 Hadoop2.7.3部署

hadoop

原创 qt中出现对构造函数和析构函数未定义的引用

原因：不小心把一个类的头文件删除了，又重新添加了一份，新添加的头文件自动添加在.pro文件中HEADERS+=的最后，与之前的顺序不一致，导致当使用该类声明对象的时候，该类的头文件还没有编译，所以Qt编译器在编译输出栏上提示对构造函数和析构函数未定义的引用

转载 LPCTSTR和CString的关系

类型理解　　LPCTSTR类型：　　L表示long指针 这是为了兼容Windows 3.1等16位操作系统遗留下来的，在win32中以及其他的32位操作系统中， long指针和near指针及far修饰符都是为了兼容的作用。没有实际意义。　　P表示这是一个指针　　C表示是一个常量　　T表示在Win32环境中， 有一个_T宏　　STR表示这个变量是一个字符串详细释义