
基础知识
基础知识
Yuan_CSDF
被大数据埋没的销售人才
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Java异步调用总结
supplyAsync 创建带返回值的异步任务的 runAsync 创建无返回值的异步任务 thenApply 将job2提交到线程池中异步执行,实际执行job2的线程可能是另外一个线程 thenApplyAsync 由执行job1的线程立即执行job2,即两个job都是同一个线程执行的 thenAccept 接收上一个任务的返回值作为参数,但是无返回值; thenRun 没有入参,也没有返回值 exceptionally exceptio.原创 2022-03-08 22:20:37 · 588 阅读 · 0 评论 -
java代码远程执行shell脚本
1、脚本信息如下:2、代码如下:public class SSHTool { private Connection conn; private String ipAddr; private Charset charset = StandardCharsets.UTF_8; private String userName; private String password; public SSHTool(String ipAddr, String原创 2022-01-11 23:12:09 · 4253 阅读 · 0 评论 -
pycharm安装 package报错:module 'pip' has no attribute 'main'
import pip._internal as pip_newdef do_install(pkgs): try: # import pip try: from pip._internal import main except Exception: from pip import ...原创 2018-09-14 01:18:58 · 218 阅读 · 0 评论 -
python基础语法
1.字符串中加入变量name = '张三'age = 24print('my name is %s and my age is %d' % (name, age))print('my name is {} and my age is {}'.format(name, age))print('my name is {a1} and my age is {a2}'.format(a2...原创 2018-09-14 09:46:21 · 181 阅读 · 0 评论 -
python使用接口进行模型实时调用
from flask import Flask, jsonifyapp = Flask(__name__)app.config['JSON_AS_ASCII'] = False@app.route('/')def hello_world(): return 'Hello World!'from sklearn.externals import joblib@app.ro...原创 2019-08-02 09:36:28 · 2490 阅读 · 0 评论 -
使用python、impala连接hive
from impala.dbapi import connectfrom impala.util import as_pandasconn = connect(host=‘10.10.14.18’,port=10000,auth_mechanism=‘LDAP’,user=‘liuyuan’,password=‘1234@abc’)cursor = conn.cursor()cur...原创 2019-11-21 16:24:34 · 562 阅读 · 0 评论 -
Yarn的基本概念
1.Hadoop1.0与Hadoop2.0结构:2.Yarn (Yet Another Resource Negotiator)(Hadoop2.0)基本信息:1.Hadoop集群的资源管理系统(ResourceManger->RM)2.更高级:集群操作系统–为应用程序提供了基本服务来更好地利用大的、动态的、并行的基础设施资源3.Hadoop2.0对MapReduce框架做了彻...原创 2019-12-23 22:32:48 · 822 阅读 · 0 评论 -
有关数据仓库基本概念
1.什么是数据仓库: 是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。 是一个将源系统抽取、清洗、规格化、提交到维度数据存储的系统,为决策的制定提供查询和分析功能的支撑与实现。2.相关数据管理技术和概念:数据仓库、数据建模、数据质量、数据规范、数据安全和元数据管理。3.数据仓库分层: ODS原始数据层(Operational Data Source):...原创 2020-05-04 16:06:49 · 765 阅读 · 0 评论 -
Centos7安装CDH问题复现
1.使用spark2,clouderaManager 必须要是5.8.0或者以上2.rm: cannot remove ‘cm-5.7.0/run/cloudera-scm-agent/process’: Device or resource busy答:umount cm-5.7.0/run/cloudera-scm-agent/process3.重启cloudera-scm-age...原创 2018-07-30 09:29:41 · 668 阅读 · 0 评论 -
Neo4j图数据库
1.、数据导入可以使用LOAD CSV WITH HEADERS FROM “file:///Inventory.csv” AS rowMERGE (s:Store {name: row.store})WITH *MATCH (c:City {name: row.store})MERGE (s)-[:IN_CITY]-©WITH *MATCH (p:Product {sku: ro...原创 2019-06-26 13:23:06 · 340 阅读 · 0 评论 -
linux 安装python3.7
下载安装python3.7:wget https://www.python.org/ftp/python/3.7.0/Python-3.7.0.tgztar zxvf Python-3.7.0.tgzyum install gcc gcc-c++ libffi-devel -ycd Python-3.7.0/./configure --prefix=/usr/local/python3...原创 2020-03-28 15:34:52 · 463 阅读 · 0 评论 -
mysql8.0创建用户并授予权限
create database scm default character set utf8 default collate utf8_general_ci;CREATE USER ‘scm’@’%’ IDENTIFIED BY ‘BQscm@1234’;GRANT ALL PRIVILEGES ON . TO ‘scm’@’%’ WITH GRANT OPTION;...原创 2019-08-29 11:39:59 · 3831 阅读 · 0 评论 -
wget: 无法解析主机地址 “www.python.org”
vim /etc/resolv.conf# Generated by NetworkManagernameserver 8.8.8.8nameserver 4.4.4.4nameserver 8.8.4.4原创 2020-03-27 21:23:05 · 3015 阅读 · 3 评论 -
Akka(一):Akka的基本使用
1.akka是什么?akka是一种基于Scala的网络编程库,实现了RPC框架。spark在1.6之前使用的是akka进行通信,1.6及以后是基于netty。现阶段的Flink是基于Akka+Netty。如果需要了解Spark或者Flink的网络通信,就必须得从akka开始。2.Akka中的方法主类是在akka.actor.Actor,Endpoint 有三个重要的声明周期方法:prestart():对象实例初始化之后自动执行 receive(): 核心业务...原创 2021-07-24 23:51:53 · 8339 阅读 · 0 评论 -
Akka(二):使用Akka模拟yarn
1.样例 使用akka来模拟yarn集群的通信。流程图如下:完整代码如下:MyResourceManager.scalaimport akka.actor.{Actor, ActorSystem, Props}import com.typesafe.config.ConfigFactoryimport scala.collection.mutableimport scala.concurrent.duration._class MyResourceMa...原创 2021-07-24 23:56:53 · 409 阅读 · 0 评论 -
Scala的基本使用
1.构造方法的调用 在scala编程语言中,如果创建了某个类的一个实例对象。则这个类中 {}里面的所有的能执行(属性赋值,代码块)的代码都会执行。不能执行的就是: 内部类,方法。如下 1.这里有定义一个构造函数。传入的参数为int1,int2。且这个类只能被在com.my下面class或者object调用。package com.myprivate[my] class InputScala(int1:Int,int2:Int) { println(int1) println.原创 2021-04-19 22:45:23 · 536 阅读 · 0 评论 -
github invalid authentication data can't create token:scopes - [repo,gist] - note Intellif Plugin_1
github invalid authentication data can’t create token:scopes - [repo,gist] - note Intellif Plugin_1 422Unprocessable Entity - Validation Failed [OauthAccess;note]already_exists:null新建tokenhttps://...原创 2019-10-28 23:33:36 · 6810 阅读 · 2 评论 -
java使用线程异步返回结果
public class JavaPromise { public static void main(String[] args) throws Exception { ExecutorService executorService = Executors.newSingleThreadExecutor(); // submit有返回值 execute方法没有 Future<Double> cf = executorService.s.原创 2021-04-26 21:05:16 · 1759 阅读 · 0 评论 -
NIO的基本使用
1.单线程处理客户端请求public class Server { public static void main(String[] args) throws IOException { // 通道是双向的。可以同时读写 ServerSocketChannel ssc = ServerSocketChannel.open(); ssc.socket().bind(new InetSocketAddress("127.0.0.1", 8888))原创 2021-04-20 21:50:22 · 630 阅读 · 1 评论 -
java线程中的wait与notify
1.线程中的wait()方法与sleep()方法对于sleep()方法,我们首先要知道该方法是属于Thread类中的。而wait()方法,则是属于Object类中的。 sleep()方法只是让出了CPU,并不会释放资源锁。wait会释放锁,暂时退让出同步资源锁,以便其他正在等待该资源的线程得到该资源进而运行,只有调用了notify()方法,之前调用wait()的线程才会解除wait状态,可以去参与竞争同步资源锁,进而得到执行。 sleep()方法可以在任何地方使用;wait()方法则只能在同步方法或原创 2021-04-18 21:42:36 · 486 阅读 · 0 评论 -
java代码块相关问题
1.什么是代码块 使用{}括起来的代码被称为代码块,根据其位置和声明的不同可以分为下面4种: 1.局部代码块,在方法中出现,限定变量生命周期,及早释放,提高内存利用率 2.构造代码块,在类中方法外出现;定义在类的成员位置,直接使用{ },在{}中写代码内容。每次调用构造都执行,并且在构造方法前执行 3.静态代码块, 在类中方法外出现,并加上static修饰;用于给类进行...原创 2020-03-20 21:12:29 · 236 阅读 · 0 评论 -
java集合安全性
public static void main(String[] args) { // 第一代, Vector Hashtable 线程安全(同步方法)效率低下 Vector v; // 第二代 ArrayList、HashMap、HashSet 线程不安全,效率高 ArrayList list = new ArrayLi...原创 2020-03-20 20:50:17 · 523 阅读 · 0 评论 -
log4j.properties 简单的设置日志级别
log4j.rootLogger=error,stdoutlog4j.appender.stdout=org.apache.log4j.ConsoleAppenderlog4j.appender.stdout.layout=org.apache.log4j.PatternLayoutlog4j.appender.stdout.layout.ConversionPattern=%d{yyyy...原创 2018-09-23 01:55:10 · 1292 阅读 · 0 评论