leeyu的博客

转载 FastText实现新闻分类

对停用词进行分词def makeStopWords(): with open('../../dataset/stopWords.txt', 'r', encoding='utf-8') as f: lines = f.readlines() stopWords = [] for line in lines: # 使用jieba分词： ...

转载 FastText快速文本分类

FastTest架构fastText 架构原理fastText 方法包含三部分：模型架构、层次 Softmax 和 N-gram 特征fastText 模型输入一个词的序列（一段文本或者一句话)，输出这个词序列属于不同类别的概率。 序列中的词和词组组成特征向量，特征向量通过线性变换映射到中间层，中间层再映射到标签。fastText 在预测标签时使用了非线性激活函数，但在中间层不...

转载 大数据采集、清洗、处理：使用MapReduce进行离线数据分析完整案例

1 大数据处理的常用方法大数据处理目前比较流行的是两种方法，一种是离线处理，一种是在线处理，基本处理架构如下： 在互联网应用中，不管是哪一种处理方式，其基本的数据来源都是日志数据，例如对于web应用来说，则可能是用户的访问日志、用户的点击日志等。 如果对于数据的分析结果在时间上有比较严格的要求，则可以采用在线处理的方式来对数据进行分析，如使用Spark、Storm等进行处理。比较贴切的...

原创 Vue框架中添加百度地图组件

Vue

原创 hibernate查询部分字段报错java.lang.NumberFormatException: For input string: "id"

问题：java.lang.NumberFormatException: For input string: “id”解决：查询数据库采用hibernate框架，我的返回值类型是List。解决方法1：在实体类中构造该字段的的构造函数，在SalesManDao中写sql语句：@Query(value = “select new SalesMan(salesmanId,name) from ...

原创 spring-ioc笔记

ApplicationContext的三种常见的实现类:ClassPathXmlApplicationContext: 加载类路径下的配置文件FileSystemXmlApplicationContext: 加载磁盘路径下的配置文件AnnotationConfigApplicationContext: 用于读取注解创建的容器核心容器接口引发的问题:ApplicationContex...

原创 Mybatis执行过程

原创 Java集合面试题

你常用的集合是哪些A: ArrayList、LinkedList、HashMapQ: ArrayList和LinkedList的区别【A】首先实现方式不同：ArrayList:底层是动态数组实现，LinkedList:是通过链表实现存储结构不同：ArrayList:是连续的存储空间，LinkedList: 存储是非连续性空间使用优势不同：ArrayList: 查询快，增删慢； Lin...

原创 Java基础

目录结构equal、==、hashCode关系String、StringBuilder、StringBuffer比较final、finally、finalizetry和finally中同时return的执行过程

原创 JVM基础

目录结构内存模型GC垃圾回收：包括分代、GC算法、收集器类加载和双亲委派JVM调优内存泄漏和内存溢出

原创 作业帮---设计通用评论系统

请设计一个通用评论系统，给出想法。要求：评论之间可以相互顶贴、盖楼；展示一页（10条）评论需要同时展示该页每条评论下面的所有评论，不同考虑页面展示的问题；给出可执行的表结构定义语句。评论静态页面展示：思路：主评论：保存评论信息和用户信息主评论下的子评论：保存评论信息和该评论的作者以及被评论的评论信息的作者评论分两种情况：回复别人的评论：当回复别人的评论时需要@原评论...

原创 Java源码分析

Java中hashCode()是如何实现的 public int hashCode() { int h = hash; //Default to 0 ### String类中的私有变量， if (h == 0 && value.length > 0) { //private final char value[]...

原创 华为笔试: 判断两个IP是否为同一网段(c/c++实现)

判断两个Ip是否为同一个网段: Ip1,Ip2分别与子网淹Ip3进行与操作，结果相同则判断为同一个网段，输出结构：1 与操作结果； 否则输出0；#include #include#include#define Length 4using namespace std;void printIntArray(int * array){ for ( int i = 0; i <...

原创 quantizing deep convolutional networks for efficient inference

quantizing deep convolutional networks for efficient inference : a whitepaper

原创 进程一

进程定义进程是一个程序对数据集的执行过程，是分配资源的基本单位。进程的静态描述静态描述由3部分组成：PCB进程控制块，有关程序段以及数据结构集进程控制块（ＰＣＢ）进程控制块包含：进程描述信息，控制信息以及资源信息，还有系统中还有进程调度等待所使用的现场保护，是进程动态进程的集中反映。描述信息描述的主要信息：进程号和端口每个进程有唯一进程名和进程号用户名和用户组控制信息控...

原创 安装ncnn

安装protobuf下载protobuf源代码sudo apt-get install autoconf automake libtool curlgit clone https://github.com/google/protobuf cd protobuf 注意的是gmock由于网络的原因无法下载，需要我们翻墙联网。编译与安装protobuf./autogen.sh./co...

原创 leetcode 之 旋转数组问题

数组旋转问题之查找最小值(leetcode 153)class Solution {public: // You may assume no duplicate exists in the array.数组元素不重复 int findMin(vector<int>& nums) { // 判断数组长度是否为1，则直接返回最小值 ..

原创 kafka笔记(三) kafka API

生产者API测试public void testProduce(){ Properties properties = new Properties(); // broker 列表 properties.put("metadata.broker.list","s100:9092"); // 串行化 properties...

原创 kafka笔记(二) kafka与flume级联

kafka级联flumeKafkaSink(消费者):a1.sources = r1a1.channels = c1a1.sinks = k1a1.sources.r1.type = netcata1.sources.r1.bind = localhosta1.sources.r1.port = 44444a1.sinks.k1.type = org.apache.flume.si...

原创 kafka笔记(一) kafka使用

Hbase适用于数据随机查找hdfs数据批处理，做数据的统计、离线计算kafka:分布式流处理平台在系统之间构建实时数据流管道基本名词介绍：配置kafka:broker.id=1listeners=PLAINTEXT://:9092log.dirs=/home/ubuntu/kafka-logszookeeper.connect=s100:2181启动kafka服务器：...

原创 flume笔记(四) Channal

flume原理memory channel(内存通道)：配置memory.conf:a1.sources = r1a1.channels = c1a1.sinks = k1a1.channels.c1.type = memorya1.channels.c1.capacity = 10000a1.channels.c1.transactionCapacity = 10000...

原创 flume笔记(三) 多级agent连接模型

两层agent连接avroSource和avroSink实现跃点agent代理：配置avro_hop.conf#a1: a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type = netcat al.sources.r1.bind = localhost a1.sources.r1.port = 4...

原创 flume笔记(二) flume数据存储

flume原理flume工作原理：flume的数据流由事件（event）贯穿始终。事件是flume的基本单位，它携带日数据并且携带带有头信息，这些event由agent外部的source生成，当source捕获事件后会进行特定的格式化，然后source会把事件推入channel中，保存事件直到sink事件处理完该事件为止，sink负责持久化或者把事件推向另一个source或者写入hdfs...

原创 Flume笔记(一) flume工作原理以及数据源获取

flume 特点： 分布式、可靠、高可用的海量日志采集、聚合和传输的系统 在生产者和消费者中间起协调作用flume工作原理： flume的数据流由事件（event）贯穿始终。事件是flume的基本单位，它携带日数据并且携带带有头信息， 这些event由agent外部的source生成，当source捕获事件后会进行特定的格式化，然后source会把事件推入channel中， 保存事...

原创 docker 安装zookeeper集群

docker搭建zookeeper集群启动zk节点sudo docker exec -it zoo1_Container_ID /bin/bashsudo docker exec -it zoo2_Container_ID /bin/bashsudo docker exec -it zoo3_Container_ID /bin/bash由于我们分别将 zoo1, zoo2,...

原创 Zookeeper集群报错：myid文件缺失导致zookeeper无法启动（myid file is missing）

zookeeper集群搭建zookeeper产生背景以及zookeeper作用介绍搭建集群存在的问题zoo.cfg:dataDir=/home/ubuntu/data/zkdata/zookeeper设置服务器编号：在~/data/zkdata/myid:echo "1" > myid报错信息：Error contacting service.It is proba...

原创 hadoop源码学习

hadoop 三种搭建方式：本地(单jiqi)模式：文件路径：name: fs.defaultFSvalue: file:///伪分布式模式文件路径：完全分布式模式文件路径：阅读源码：Configuration conf = new Configuration();创建Configuration对象时，jingjnknjjn2...

原创 android 基础（三）LitePal数据库

litepal数据库采取的是对象关系映射（ORM）模式对象关系映射：是指将面向对象语言和面向关系数据库建立一一对应关系创建对象public class Book extends LitePalSupport { private int id; private String author; private int price; private String...

原创 No implementation found for java.lang.String org.tensorflow.lite.TensorFlowLite.version()

编译tensorflow so 步骤：通过运行tensorflow$> sudo ./tensorflow/contrib/lite/java/build_aar_for_release.sh 编译so然后so(路径： bazel-bin/tensorflow/contrib/lite/java/libtensorflowlite_jni.so)拷贝到自己项目中运行项目报错：Pr...

原创 android 基础（二）ContentProvider内容提供器

学习目标ContentResolver访问系统数据自定义ContentProviderContentResolver访问系统数据该demo为获取手机联系人private ArrayAdapter adapter;private List contactList = new ArrayList<>();首先通过ContextCompat.checkSelfPermis...

原创 鸟哥私房菜-----------Vim (Ubuntu 版本)

Vim使用 命令 说明 i 进入文本编辑状态 : w 将编辑数据写入磁盘中 : q 退出 : wq 保存文件并退出 : set nu 显示文本行号 : set nonu 取消行号显示 : N N为行号，光标可以跳到指定行 : dN N为删除的行数，删除从光标开始的N行...

原创 android 基础（一）FirstDemo

创建第一个android demomatch_parent : 表示当前元素和父元素一样宽wrap_parent : 表示当前元素的宽度正好能包含其内容就行fill_parent : 表示当前元素充满整个父控件AndroidManifest.xml文件介绍<application> <activity android:name=".LoginA

原创 Type ‘nullptr’ was not declared in this scope || IOS C++ auto 关键字不能使用

原因：C++98版本与C++11版本的不兼容。C++98版本支持NULL，C++11版本支持nullptr以及auto自动类型推导auto:auto的自动类型推导，用于从初始化表达式中推断出变量的数据类型。通过auto的自动类型推导，可以大大简化我们的编程工作auto实际上实在编译时对变量进行了类型推导，所以不会对程序的运行效率造成不良影响nullptr:null...

原创 NDK编译

Java通过Native实现访问操作系统底层：在Java中声明native()方法，然后编译使用javah生成一个.h文件通过.cpp文件实现native()方法，并包含2中的.h文件和JDK自带的jni.h文件将3中的.cpp文件编译成动态连接库（lite中为.so库）在Java中通过System.loadLibrary()方法加载4中生成的动态连接文件，然后这个native()方...

转载 更新pip10后 ImportError: cannot import name ‘main'

解决：找到报错文件，也就是那个pip，然后cd进目录 vi 编辑pip，将里面的内容改为如下所示：-- coding: utf-8 --import reimport sysfrom pip._internal import main as _mainif name == ‘main‘:　　sys.argv[0] = re.sub(r’(-script.pyw?|.exe)...

原创 Linux_ubuntu&windows双系统grub引导修复

Linux_ubuntu&windows双系统grub引导修复

原创 ubuntu安装SourceInsight 查看源码

安装SourceInsight[SourceInsight官网](https://www.sourceinsight.com/download/)安装wine：sudo apt-get install wine安装sourceinsight: wine ~/sourceinsight4093-setup.exe破解SourceInsight下载破解文件(见链接)将破...

原创 安装Bazel报错Bazel & Tensorflow: Inception v3 retraining: AttributeError: 'int' object attribute '__doc_

安装bazel遇到问题：Traceback (most recent call last):File "/home/tensorflow/tensorflow/bazel-bin/tensorflow/examples/image_retraining/retrain.runfiles/org_tensorflow/tensorflow/examples/image_retraini...

原创 Failed to resolve: com.android.support:appcompat-v7:26.2.0

原因：build-gradle的配置文件和相关版本不匹配导致解决：参考博客

原创 模型转化lite格式报错Output array not found: MobilenetV1/Predictions/Reshape_1

问题一描述：~/tensorflow-master$ bazel-bin/tensorflow/contrib/lite/toco/toco --input_file=/home/tclxa/下载/TensorFlowMnist-master/output/mnist-tf1.0.1.pb --input_format=TENSORFLOW_GRAPHDEF --outpu...