风之清扬-优快云博客

原创大数据flink篇之三-flink运行环境安装后续一yarn-session安装

具体的，在生产环境中，flink一般会交由yarn、k8s等资源管理平台来处理。本章主要讲解yarn模式下的session cluster模式。Hadoop 必須保证在 2.2 以上，且必須裝有 hdfs 服务。Hadoop安装后续会有相关说明。这种模式所有的job都共享一个jobmanager，启动的集群只有一个jobmanager。首先确保在/etc/profile中添加了配置项。

2023-10-14 23:38:45 1168

原创大数据flink篇之三-flink运行环境安装（一）单机Standalone安装

Standalone单机版安装

2023-10-10 23:39:12 1245

原创大数据flink篇之二-基础实例wordcount

三种方式进行wordcount统计

2023-09-26 16:20:58 890

原创技术杂谈篇

一年多没咋写博客了，主要还是因为工作和生活上的琐事越来越多。这几天趁着休病假的时间看了一些书和博客，发觉自己更多的是输入，而很少输出一些有价值的内容了，后续恢复更新，主要关于大数据、AI大模型以及Java后端方面的知识，仅当个人笔记，若有错误，敬请指出。

2023-09-20 18:20:54 84

好久没更新博客了，还是要坚持常更新常进步。闲话不多说了，直接切入正题。最近在crontab部署定时脚本时，发现脚本正常启动，但无法获取已配置好的环境变量，如$JAVA_HOME。经过进一步的探究，发现crontab启动定时任务时，只加载了/etc/environment，并未加载/etc/profile和~/.bash_profile文件里的配置。正确的做法，在shell脚本开头添加：source ~/.bash_profilesource /etc/profile问题得到完美解决...

2022-01-14 16:02:39 1838

原创 MapReduce（一）基础简介和Wordcount实例

MapReduce是一种离线批式计算框架，与Spark streaming、flink等流式计算框架不同，其输入时固定不可变的，延时较高，适合处理大批量实时分析的场景。MapReduce源于：2004年12月Google发表的论文，其特点：1）易于编程;2）良好的扩展性；3）高容错性；4）适合PB级以上海量数据离线处理应用场景：流量统计/单词统计/最流行的K个搜索词/复杂算法实现MR编程模型：MR执行过程1）数据会被切割成数据分片；-Split2）数据片段以key和value的形式被

2020-08-02 15:55:12 365

原创 python高级用法2-推导式

推导式又称解析式，python的一种独有特性。可以从一个序列构建另一个序列。使用好列表推导式不仅可以简洁代码，而且在一些场景下可以加速程序的运行。1、列表推导式a_lsit=[1,2,3,4,5]new_list=[elem+1 for elem in a_list] #[2,3,4,5,6]new_list_2=[elem for elem in a_list if elem > 2] #[3,4,5]2、字典推导式a_dict={'a':1, 'b':2, 'c':3, 'd': 4

2020-07-08 22:11:38 323

原创 python高级用法1—map、filter

python高级函数用法-map/filtermap函数我们总喜欢使用for循环来处理大多数问题，但是有时候代码中大量的for循环会使得代码很臃肿，map是一种有效代替for循环的方式，其返回结果是一个迭代器对象。用法：map(func, 可迭代对象)给列表转换类型str_list = [‘1’,‘2’,‘3’]#方法一new_list = []for elem in str_list: new_list.append(int(elem))#方法二new_list=list(ma

2020-07-05 23:30:18 371

原创 Ubuntu安装IDEA、配置SCALA/SPARK环境、解决pom文件无法加载依赖库的问题

Ubuntu安装IDEA、配置SCALA/SPARK环境、解决pom文件无法加载依赖库的问题前言1. 安装jdk2. 安装scala3. 安装IDEA4. 安装scala插件5. 安装Spark（开发时可以不安装，可跳过这一步）6. 解决无法添加依赖的问题7. 总结创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘...

2019-10-02 12:26:42 1633

原创 linux学习之远程操作命令ssh与scp

ssh命令与SCP命令ssh命令scpssh命令通常我们通过shell连接工具可以登录到一些服务器下可以进行操作。常用的shell客户端连接工具包括xshell与Mobaxterm等。然而，在某些确保安全的场景条件下，我们不能直接连接目标服务器IP，得通过中转机器才可以访问，这时候就需要用到ssh命令。这是笔者在实际业务中遇到过情景（先声明笔者不是运维人员，对linux命令仅是在使用过程中学习...

2019-08-04 23:22:12 463

原创 python操作es数据

不知不觉进入职场已经大半年了，有些收获，同时又感觉自己的渺小，感觉自己还需要学习很多。最近项目中需要利用Python读写es数据，试了网上的一些方法，有的方法已经过期了，有的报错，花了一段时间才成功搞定。现在将这些方法记录下来，方便自己也方便其它读者。1）首先安装相应es的包；pip install elasticsearch2)读取ES数据；from elasticsearch impo...

2019-03-23 23:30:14 7940 2

原创向Gitlab项目工程提交代码时出现无法推送的问题

科室开始使用Gitlab来管理代码框架。对于一个刚接触Gitlab的小白来说，还是出现很多问题的。其中有一个问题困扰了一个星期，就是推送代码时出现：”remote: http basic: access denied fatal: authentication failed for xxx”的问题，用Git bash命令进行推送也是发生失败。试了网上很多的解决方法，但仍未解决问题。最后在一个简单的...

2018-11-05 14:08:56 7733 1

原创 python中常见的几种正则表达式的使用（re.split、re.sub、re.match与re.search）

一、正则表达式之分割字符串的分割是python最常用的操作之一，一般使用split函数，例如：s = "今天/天气/真好"print(s.split('/'))输出为：[‘今天’,‘天气’,‘真好’]。但split函数只能实现单个字符的分隔，但对于多个分隔符而言，实现起来非常麻烦。python的正则表达式提供十分强大的多分隔符功能，具体实现如下：import res = "jian...

2018-09-25 23:17:06 7970 1

原创 Python获取路径与访问文件

一、获取路径和所在目录目录结构：.└── ES├── rest│ └──test_direction.py└── data│ └── abc.txt└── a.txttest_direction.py:# -*- coding: utf-8 -*-import osprint("获取当前文件的绝对路径：")print(os.path.abspath(__file_...

2018-09-18 23:56:00 3028

原创使用Maven创建Scala程序

1.创建新工程 2.点击next,填写GroupId，ArtifactId。其中GroupId为项目组名，后者为默认项目名。点击next。 3.点击finish即可创建。 4.目录结构如下： 5.在main目录下新建sala目录文件，如下图所示。可以发现scala文件为灰色。 6.点击“File”->”Project structure”->”Module...

2018-09-17 16:13:19 4479

原创 python实用操作-切片

python切片操作主要分为列表切片和numpy切片。一、列表的切片>>> C1=[[ 1, 2, 3],[ 4, 5, 6],[ 7, 8, 9]]>>> C1[1][4, 5, 6]>>> C1[:][2][7, 8, 9]>>> C1[2][:][7, 8, 9]取第2列元素：C=...

2018-09-17 00:41:39 301

原创 SQLYOG导入数据时报错，出现找不到Microsoft office 元驱动程式，并且无法安装64位office Access驱动

当我们使用mysql导入外部数据时（如Excel表），有时会出现如下的错误问题，即找不到64位access驱动。为了解决这个问题，我们需要下载相应的驱动，通过下图中的点击此链接即可进入下载页面（https://www.microsoft.com/en-us/download/details.aspx?id=13255）。点击下载，下载64位Access。运行下载好的文件，安装驱动即可。...

2018-09-16 00:49:51 14023 5

原创步入职场之初步体验

告别学校，进入职场已两月有余，自己对职场也有了初步的认识。职场与学校的不同之处主要有以下几点： 1）任务导向性在校期间，我们可能针对一个领域进行很长时间的调研后，才开始深入进行专研。在公司，一切以公司的目标为先。公司一般不会给个人太多的学习时间，而是直接分配一个任务，并明确相应的时间节点。领域的调研和学习是自己下班后该做的事。 2）方向的多样性在读研期间，可能会针对某一领域进行深耕。在...

2018-09-08 23:23:31 461 1

原创 python计算时间的两种方式：time与datetime

显示时间或者是计算程序的运行时间都是基本的功能,python提供了两个强大的时间包time和datetime()。下面对这两个函数的常用功能进行叙述。 1.time模块#coding=utf-8#time方法import timeprint(time.time())#返回当前的时间戳（1970以后）output: 1535696866.143,单位为秒#格式化时间戳pri...

2018-08-31 15:55:08 82126 1

原创 python的常见知识误区

1.strip()方法 striip()方法是python中常用的一种方法，它的作用是对字符串进行过滤。但其仅是对开头和结尾处的字符串进行过滤，并未对整个字符串进行过滤。若需要对真个字符串进行过滤，使用replace方法。#strip方法str = " lab c d "print(str.strip())#默认对空格进行处理。输出结果为:lab c d。可以看出str...

2018-08-30 23:38:54 462

原创 Scala的下载与安装

Scala的下载与安装一、软件下载 1.1需要下载的软件安装Scala环境需要下载的软件包括： 1）jdk ；2）scala；3）IDEA 由于scala和jdk的版本不兼容问题，安装时需要关注。这里使用的jdk为jdk1.8; scala为2.10版本。 1.2环境下载路径： JDK:http://www.oracle.com/technetwork/java/javase/d...

2018-08-29 01:24:50 19151 2

原创 ffmpeg的下载及安装

最近在处理一些音频数据，ffmpeg是一款非常好用处理音视频的工具包。那什么是ffmpeg呢？百度上给出了这样的定义：FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。 ffmpeg功能强大，但我们首先得学会对其进安装（windows下安装）。 1）ffmpeg下载首先打开网址：http://ffmpeg.org/download.html#bui...

2018-08-25 17:43:06 42391 11

原创输出值为NoneType类型

Nonetype类型表明对象没有类型，其值为none,不为null。 null和none的区别： 1）None>>> print(None)None>>> print(type(None))<class 'NoneType'>2)NULL>>> print(type(''))<class 'str'&g...

2018-08-21 09:07:32 15221

原创 python操作excel表格

这里我是用python3来操作excel表，使用的python包为xlutil、xlwt与xlrd等。 1.读取数据#coding=utf-8from xlwt import *import xlrdfrom xlutils.copy import copyimport osdef read_excel(filename): #读取Excel数据 try: ...

2018-08-17 00:44:03 671

原创 python 操作mysql数据库表以及增删改查

上一篇博客对mysql数据库的安装进行了详细的介绍，这里具体介绍一下利用python操作mysql数据库。以下将从数据库的连接、表的创建、增删改查等方面进行介绍。 1）数据库的连接def create_db_link(): #创建数据连接 try: print("创建连接！") #连接数据库，connect的参数分别为IP地址、用户名、密码、数...

2018-08-13 14:26:09 1798

原创 MySql数据库的下载安装及使用教程

这段时间一直在使用python操作mysql数据库，这里简要叙述一下mysql的安装过程。后续的博客中也会讲到python操作mysql的步骤，这里不作介绍。一、MySql的下载与安装 1.MySQL的下载在浏览器中输入网址：https://www.mysql.com/downloads/,然后点击菜单中的“Community”,再点击下方的“MySQL on Windows”,如下图所...

2018-08-12 21:04:26 89394 12

原创将python脚本文件打包，并解决解决python脚本运行一闪而逝的问题。

最近，有需求要将写好的python文件打包。因此，上网搜索了一些材料。其中遇到了一个问题，即python脚本一闪而逝。接下来进行具体介绍。 1.打包python脚本。首先安装PyInstaller：pip install pyinstaller 其次控制台转到py文件目录下，输入命令：pyinstaller -F _.py 最后在编译生成dist文件夹下得到.exe文件，双击运行...

2018-08-08 13:00:11 6066 3

原创 python读取文件内容时出现的Bug:list index out of range

最近在写代码时，出现了一个Bug，折腾了很长一段时间。主要功能是实现从文件中任意取10条数据。代码如下：with open('file.txt','r') as fil: data = [] for _ in range(10): randn = np.random.randint(0,19999)#文件大小共20000条数据 search_...

2018-07-31 09:00:52 7399

原创致敬我的研究生生涯

三年的研究生生活即将过去，我即将从校园人转变为社会人。这是以前一直期盼着的日子，但现在却也有点仿徨与迷茫。当初考研的时候，自己满怀热情，希望通过自己的努力去充实自己，当然也希望通过考研提升一下自己的学历，而且自己也准备着接受研究生的学习和生活。最近几天正在进行全国高考，突然发现自己对高考这两个字已经是这么的陌生，也许只有经历过才能坦然面对吧。但不可否认高考确实是人生的一次重大转折，影响着...

2018-06-09 16:16:46 1972 1

原创 python处理XML文件

前一段时间忙于毕业论文的事情，一直没有时间关注博客内容。废话不多说了，本篇内容主要针对最近处理XML文件而进行整理的，以下以实例进行讲解。1.XML文件 XML 指可扩展标记语言（eXtensible Markup Language），被设计用来传输和存储数据。XML文档格式如下：<?xml version="1.0" encoding="UTF-8"?><not...

2018-05-25 18:38:07 775

原创 tensorflow使用张量时的一些注意点tf.concat、tf.reshape、tf.stack

有一段时间没用tensorflow了，现在跑实验还是存在一些坑了，主要是关于张量计算的问题。tensorflow升级1.0版本后与以前的版本并不兼容，可能出现各种奇奇怪怪的问题。1 tf.concat函数 tensorflow1.0以前函数用法：tf.concat(concat_dim, values, name=’concat’)，第一个参数为连接的维度，可以将几个向量按指定维度连接起来。

2018-01-12 22:36:06 8503

原创 tensorflow聊天机器人后续

2017-11-27 19:27:13 2152 6

原创 tensorflow练习12：利用图片预测年龄与性别

深度学习在图像分类领域已经取得长足地进展，以下以一个有趣的例子来学习图像分类算法。训练数据：人脸数据集（链接: https://pan.baidu.com/s/1gf4FQD1 密码: ddkx）环境:tensorflow,python3.5 1)加载数据集并对数据进行处理age_table = ['(0, 2)', '(4, 6)', '(8, 12)', '(15, 20)', '(2

2017-11-22 16:46:32 6954 11

原创 tensorflow练习11：语音识别程序

找工作的事情暂时告一段落，感觉还需要不断提升自己，不说多少了，直接步入正题。语音识别是人机交互、人工智能等领域必不可少的一个研究领域，下面就以该例为标准。使用的数据集：THCHS30（Dong Wang, Xuewei Zhang, Zhiyong Zhang发布的开放语音数据集）；地址：语音文件：http://data.cslt.org/thchs30/zip/wav.tgz

2017-11-17 21:04:47 16286 17

原创 9、10两月生活点滴--找工作的历程

一晃两个月已经过去，还记得暑假刚从家回学校的时候，对于找工作还是一脸茫然，连想应聘什么岗位都不知道。一步步走来，有痛苦、疲惫、心酸还有喜悦，在这里仅表达我的一点拙见。 1）机会总是会留给那些有准备并且准备充分的人。我是从事IT相关职业的。对于IT行业，求职的话一般包括笔试、面试（2-3面：1-2轮技术面，1轮综合面或hr面）。秋招有句俗话“金9银10”，也就是说9月份一般都是大公司出来校招，

2017-10-31 11:20:42 943 1

原创 tensorflow练习10：判断男声女声

本节内容训练一个简单的神经网络模型，用来判断声音是男是女；这是一个简单的神经网络分类实例。数据集字段：声音属性与标签；具体代码如下：#coding=utf-8import osimport requestsimport pandas as pdimport numpy as npimport randomimport tensorflow as tffrom sklearn.c

2017-09-04 21:55:43 2261 4

原创 tensorflow练习9：图像分类器

这一节继续使用谷歌的image_retain作为模型进行训练。下载文件： https://github.com/tensorflow/tensorflow。使用examples中的image_retraining进行训练：运行命令：python tensorflow/tensorflow/examples/image_retraining/retrain.py --bottleneck_d

2017-09-04 20:06:38 3111

原创 tensorflow练习8：实现Google的Deep Dream

Google把自家生成图片的技术 Inceptionism 开源化，称之为 Deep Dream ，一个原本用来将图片分类的AI，让我们看到不一样的世界~在把一张图片喂入之后，选择某一层神经网路（Google 的神经网luo有 10-30 层）进行重复处理的次数和变形的程度，就能获得一张非常后现代的「画作」。 1)下载模型，解压。下载模型，解压 2）加载预训练的模型，训练。#coding=u

2017-09-03 12:52:45 874