m0_50997249的博客

原创 Presto自定义函数

2、添加resources创建目录META-INF/services创建文件 com.facebook.presto.spi.Plugin

原创 提交gerrit错误笔记

出现这种情况，可以考虑你的密码是否正确remote: Unauthorizedfatal: Authentication failed for your 远程仓库有可能因为你使用的是http ，但密码使用的是ssh的，要生成一下http凭证

原创 scala学习（图片上传太麻烦，未上传）

scala

原创 lombok注解的使用

lombok注解

原创 s3cmd的使用

编辑 .s3cfg配置s3的相关信息配置s3cmd –configure （按提示输入即可，比fuse简单多了）注意：输入的密钥对以及GPG密码将以明文记录在配置文件编辑 .s3cfg配置s3的相关信息（位于用户主目录）[default]access_key = #用户名secret_key = #密钥host_base = s3-test.hypers.cc #服务器地址host_bucket = s3-test.hypers.cc/%(bucket) #访问存储区的方式 use_h

原创 无效但可能有用的脚本

hiveserver2启停脚本#!/bin/bash#启动时，日志输出到~/log下#hiveserver2的位置修改if [ $# -lt 1 ]then echo "No Args Input..." exit ;ficase $1 in"start") echo " =================== 开启hiveserver2 ===================" ssh chen "nohup sh /opt/modul

原创 github链接放置加速专用

dianji

原创 git常用命令

常用命令名称 作用 git config --global user.name 用户名 设置用户签名 git config --global user.email 邮箱 设置用户签名 git init 初始化本地库 git status 查看本地库状态 git add 文件名 添加到暂存区 git commit -m "日志信息" 文件名 提交到本地库 git reflog 查看历史记录 git reset --hard 版

原创 sqoop从mysql到hdfs导入时找不到QueryResult

解决方法：在提示信息里找到将这个jar包移动到sqoop的lib包下即可。

原创 重要笔记（hadoop重点）

一、常用端口号hadoop3.xHDFS NameNode 内部通常端口:8020/ 9000/ 9820HDFS NameNode 对用户的查询端口:9870Yarn查看任务运行情况的:8088历史服务器:19888hadoop2.xHDFS NameNode内部通常端口:8020/ 9000HDFS NameNode 对用户的查询端口: 50070Yarn查看任务运行情况的:8088历史服务器:19888二、常用的配置文件3.x core-site.xml hdfs-si

原创 常用小知识（一直更新）

hadoop参数优先级（1）客户端代码中设置的值 >（2）ClassPath 下的用户自定义配置文件 >（3）然后是服务器的自定义配置（xxx-site.xml） >（4）服务器的默认配置（xxx-default.xml）idea小技巧双击shift搜索想要查看的类，ctrl+h查看实现的类，ctrl+f12查看实现的方法ctrl+shift+f 将方法中的变量升级为类中的量方法参数copyFromLocalFilecopyFromLocalFile(是否删除源文件，是否覆

原创 常用技巧一

Ubuntu设置root用户密码sudo passwdUbuntu无密码使用sudovim /etc/sudoerswq! #强制修改保存ssh无密码登录用户名一致时ssh-keygen -t rsassh-copy-id hostname用户名不一致时首先在”~/.ssh/“下创建一个config文件vim confighost hostname #主机名user username #用户名chmod 664 config...

原创 hadoop集群配置

文件：要获取的默认文件文件存放在 Hadoop 的 jar 包中的位置[core-default.xml]hadoop-common-3.1.3.jar/core-default.xml[hdfs-default.xml]hadoop-hdfs-3.1.3.jar/hdfs-default.xml[yarn-default.xml]hadoop-yarn-common-3.1.3.jar/yarn-default.xml[mapred-default.xml]

原创 集群分发脚本

scp：复制#推送scp -r 文件路径 目的用户@主机:目的路径/#拉取scp -r 用户名@主机:目的路径/ 目标地址#scp -r 用户名@主机:目的路径/ 目的用户@主机:目的路径/rsync:同步rsync 主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。-a 归档拷贝-v 显示复制过程集群分发shell#!/bin/bash#1. 判断参数个数if [ $# -lt 1 ]then echo Not Enough A

原创 ssh相关

ssh-keygen -t rsa生成两个文件 id_rsa（私钥）、id_rsa.pub（公钥）ssh-copy-id #分发.ssh文件下的解释known_hosts记录 ssh 访问过计算机的公钥（public key）id_rsa生成的私钥id_rsa.pub生成的公钥authorized_keys存放授权过的无密登录服务器公钥...

原创 爬取猫眼数据

爬取猫眼排行榜时，要注意电影封面的路径规则是不一样的，图中红线位置

原创 18级的ren 习题中的概念题

现在人工智能有哪些学派？它们的认知观分别是什么？（1）符号主义(Symbolicism)，又称为逻辑主义(Logicism)、心理学派(Psychlogism)或计算机学派(Computerism)，其原理主要为物理符号系统(即符号操作系统)假设和有限合理性原理。认为人的认知基元是符号，而且认知过程即符号操作过程。认为人是一个物理符号系统，计算机也是一个物理符号系统，因此，我们就能够用计算机来模拟人的智能行为。知识是信息的一种形式是构成智能的基础。人工智能的核心问题是知识表示、知识推理和知识运用。(

原创 经典逻辑与非经典逻辑

经典逻辑 非经典逻辑 推理方法 演绎逻辑 归纳逻辑 辖域取值 二值（True和False） 多值（三、四、模糊逻辑） 运算法则 如 逻辑算符 ∨、∧、→、∽、≡、∀ 、∃等符号 模态算符或算子 ...

原创 HBase基本shell命令（个人备忘）

versionstatus:显示各主节点的状态whoamiexit或quit退出表和列族操作：create：创建表create 'tablename','列族'create 'tablename','列族1','列族2'create 'tablename','列族1',属性（是对所有列族进行设置）create 'tablename','列族1',{NAME=>'列族名'，属性=>'值'}alter：修改表结构alter 'tablename','列族'.

原创 NoSQL 复习 （二）HBase基本原理

HBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库，是谷歌BigTable的开源实现，主要用来存储非结构化和半结构化的松散数据。Hbase优点：采用面向列（列族）加键值对的存储模式实现横向扩展自动数据分片严格的读写一致性和自动的故障转移全文检索与过滤支持命令行、Java、Python等语言操作表：HBase采用表来组织数据，表由行和列组成，列划分为若干个列族行：每个HBase表都由若干行组成，每个行由行键（row key）来标识。列族：一个HBase表被分组成许多

原创 NoSQL 复习 （一）绪论

数据库（DB）：一般数据信息的集合数据库管理系统（DBMS） ：数据库及其管理软件，实现数据的管理和使用数据库系统（DBS）：数据库管理系统及其运行的软硬件环境、操作人员数据库应用系统（DBAS）在数据库管理系统的支撑建立的计算机应用系统关系型数据库管理系统（RDBMS）：RDBMS主要功能： 数据定义（DDL） 数据操作（DML） 数据的存储、组织和维护、管理 保护和控制 通信与交互接口关系模型基本组成部分： 关系数据结构 数据关系操作 数据完整性约束关系数据库特性（ACID）...

原创 MLPClassifier的部分参考（仅用于本人备忘使用）

官方API文档模型参数：hidden_layer_sizes=100,), #隐藏层数activation='relu', #激活函数learning_rate_init=0.001, #学习率max_iter=200, ...

原创 大数据可视化（五）关系数据可视化

关系数据具有关联性与分布性数据的关联性两个量化数据之间的数理关系通过数据关联性可已根据一个已知的数值变化来预测另一个数值的变化。散点图正相关、负相关、不相关# 散点图crime = pd.read_csv("data/crimeRatesByState2005.csv")( Scatter() .add_xaxis(crime["murder"]) .add_yaxis("", crime["burglary"]) .set_global_op

原创 大数据可视化（四）比例数据可视化

比例数据根据类别、子类别、群体进行划分。整体与部分可以呈现各个部分与其他部分的相对关系，还可以呈现整体的构成情况饼图与环形图不太适合表示精确的数据适合呈现各部分在整体中的比例，体现部分与整体之间的关系data=pd.read_csv("data/vote_result.csv")datab=data["Areas_of_interest"].values.tolist()data_num=data["Votes"].values.tolist()print(data.valu

原创 大数据可视化（一）数据可视化概述

数据可视化概述数据可视化的作用记录信息分析推理降低数据理解的复杂度，提高信息认知的效率信息传播与协同在大数据分析中的作用动作更快、以建设行方式提供结果、理解数据间的联系分类科学可视化物理、化学、气象气候、航空航天、医学、生物等方法：颜色映射法、轮廓法信息可视化地理信息、时变数据、层次数据、网络数据、非结构化数据可视分析学未来挑战数据规模大数据的不确定性数据的动态变化复杂高维数据多来源数据的类型和结构各异方向与数据挖掘结合人机交互结合应用

原创 大数据可视化（六）文本数据可视化

文本数据可视化文本数据在大数据中的应用及提取文本数据在大数据中的应用对文本的理解需求分为三级：词汇级、语法级和语义级。词汇级使用各类分词算法，而语法级使用一些句法分析算法，语义级则使用主题抽取算法。文本数据类别分为: 单文本, 文档集合, 时序文本。使用网络爬虫提取文本数据URL(统一资源定位符)格式:protocol://hostname[pr/]pat/;parametersJ[?query]#fragment第一部分是协议(protocol),例如，百度使用的就是HT...

原创 大数据可视化（二）可视化基础

可视化基础数据可视化的基本框架流程数据采集数据处理与变换可视化映射用户感知标准易用简单能简洁的传达信息表达力强有效性强框架（从外到里）现实问题可视化术语将现实问题要求的任务与数据转换为信息可视化术语交互方式设计编码和交互方式交互算法具体实现基本图表1）数据轨迹是一种标准的单变量数据呈现方法：x轴显示自变量，y轴显示因变量。数据轨迹可直观地呈现数据分布、离群值、均值的偏移等。2）柱形图采用长方形的形状和颜色编码数据的属性。柱

原创 大数据可视化（八）数据可视化中的交互

交互的作用：交互能让用户更好地理解和分析数据 有效地缓解了可视化空间和数据过载之间的矛盾。 更好的组织数据，展示数据的内涵8.1交互原则8.1.1交互延时交互延时指的是从用户操作开始到结果返回经历的时间，延时的长短在很大程度上直接决定了用户体验的效果选择合理的交互操作和视觉反馈的方法，并且要确保延时在可以接受的范围之内，才可以让用户正常、高效得与系统进行互动。8.1.2交互场景一般情况下，交互将引起可视化场景的变化。应用中，用户通过切换场景来反复对比，达到准确发现变化的

原创 大数据可视化（七）复杂数据可视化

第七章 复杂数据可视化真实世界与虚拟世界越来越密不可分，移动互联网，物联网等信息的产生和流动瞬息万变，涌现了无数复杂的数据，如视频影像数据，传感器网络数据，社交网络数据，三维时空数据等。对高维多元数据进行分析的困难如下：（1） 数据复杂度大大增加。复杂数据包括非结构化数据和从多个数据源采集、整合而成的异构数据，传统单一的可视化方法无法支持对此类复杂数据的分析。（2） 数据的量级已经超过了单机，甚至小型计算集群处理能力的上限，我们需要采用全新思路来解决这个问题。（3） 在数据获取和处理过程中，不可

原创 大数据可视化（三）时间数据可视化

时间分为连续型时间和离散型时间连续型时间数据可视化阶梯图曲线保持在同一个值，直到发生变化，直接跳跃到下一个值，类似、# datax = [1995,1996,1997,1998, 1999,2000, 2001, 2002, 2003, 2004, 2005, 2006, 2007, 2008,2009]# int数据当x轴显示不出数据datax = ['1995', '1996', '1997', '1998', '1999', '2000', '2001', '2002', '20

原创 关于pyecharts的相关属性的测试

不设置任何属性的去掉图例pie.set_global_opts(title_opts=opts.TitleOpts( title='饼图示例' ) ,legend_opts=opts.LegendOpts( is_show=False#设置图例是否显示 ...

原创 比例柱状堆叠图

from pyecharts.charts import Barfrom pyecharts.charts import Pagefrom pyecharts import options as optsimport pandas as pddata=pd.read_excel("data/obama-approval-ratings.xls")x=data["Issue"].values.tolist()y1=data["Approve"].values.tolist()y2=data[".

原创 环形图

from pyecharts.charts import Pieimport pandas as pdfrom pyecharts import options as optspie = Pie()vote = pd.read_csv("vote_result.csv")# print(vote)pie.add("感兴趣的领域",vote.values.tolist(), radius=['25%', '50%']) # vote.values.tolist# radius设置是否是.

原创 pyecharts1.8.1+pandas数据结构读取

参考：https://www.bilibili.com/s/video/BV1aJ411t7edfrom pyecharts.charts import Pieimport pandas as pdfrom pyecharts import options as optspie = Pie()vote=pd.read_csv("data.csv")# print(vote)pie.add("",vote.values.tolist())#vote.values.tolist# 将da.

原创 Jsp+servlet+MySQL使用

1

原创 编程语言操作MySQL

个人备忘使用后：MySQL编程语言操作包链接：https://dev.mysql.com/downloads/

转载 mysql root密码忘记的解决方法

直接转载的，侵权请联系删除。1.在命令行运行：taskkill /f /im mysqld-nt.exe下面的操作是操作mysql中bin目录下的一些程序，如果没有配置环境变量的话，需要切换到mysql的bin 目录下执行如下语句。不然无效2.继续在命令行运行：mysqld-nt --skip-grant-tables3.新开一个命令行运行：mysql -u root （如果没有配置mysql的bin环境变量的话需要切换到bin目录下执行此语句）如果不想改密码，只是想看...

原创 IDEA创建Java web后的相关配置

原创 7-100 奇数阶魔阵 (25分)

未验证正确性，仅供参考#include<iostream>#include<cstring>using namespace std;int a[10001][10001];int main() { int n; int i,j; int temp,count; while(~scanf("%d",&n)) { memset(a,0,sizeof(a)); temp=n*n; count=1; i=0; j=n/2; while(.

原创 7-3 哥德巴赫最新猜想 (20分)

X遇到一个关于素数的问题需要你这位大牛帮他解决。素数（prime number）又称质数。一个大于1的自然数，除了1和它本身外，不能整除以其他自然数，换句话说就是该数除了1和它本身以外不再有其他的因数，否则称为合数。哥德巴赫是德国数学家。出生于格奥尼格斯别尔格（现名加里宁城）。曾在英国牛津大学学习。原学法学，由于在欧洲各国访问期间结识了贝努利家族，所以对数学研究产生了兴趣。曾担任中学教师。1725年，到了俄国，同年被选为彼得堡科学院院士。1725年~1740年担任彼得堡科学院会议秘书。1742年，移居莫斯科