墨衍会员
·
AI 创作全网分发
墨衍智能分发
本文由作者通过墨衍一键同步至各平台
1分发平台
600+累计阅读
610平均单平台
已同步平台
优快云
微信公众号
微博
知乎
掘金
百家号
博客园
抖音
小红书
你的文章也可以这样分发
墨衍会员 ¥399起/年，写一次发全网
我也要
Hive是一个基于Hadoop的数据仓库工具，它提供了类似于SQL的查询语言，称为HiveQL，用于处理和分析大型数据集。在Java应用程序中执行Hive命令或HiveQL查询可以让我们方便地与Hive进行交互。本文将介绍如何在Java中执行Hive命令或HiveQL编程。
首先，确保你已经正确安装了Java Development Kit（JDK）和Hive。接下来，我们将使用Java的JDBC（Java Database Connectivity）接口来连接和执行Hive命令。
import java.sql.Connection;
import java.sql伪分布式下hive配置并用beeline远程连接
搭建hive用的是hive3.2.1，hadoop3.2.1，所用的环境是操作系统 Linux Ubuntu16.04(64位)，需要的安装包jdk-8u211-linux-x64-tar.gz Hadoop-3.1.2.tar.gz apache-hive-3.1.2-bin.tar.gz)， mysql（5.7.27，系统里自带有MySQL的安装包，不用自己下载） 将jdk，hadoop，...
深入理解 Hadoop 上的 Hive 查询执行流程
在 Hadoop 生态系统中，Hive 是一个重要的分支，它构建在 Hadoop 之上，提供了一个开源的数据仓库系统。它的主要功能是查询和分析存储在 Hadoop 文件中的大型数据集，包括结构化和半结构化数据。Hive 在数据查询、分析和汇总方面发挥着关键作用，同时也有助于提高开发人员的生产力。然而，这种增加的生产力是以增加延迟和降低效率为代价的。换句话说，Hive 可以被看作是 SQL 的一种变体，而且它确实是一种非常好的 SQL 变体。
Hive安装配置和编程实践
实验环境： 操作系统：CentOS7（64位） Hadoop版本：Hadoop3.1.3 Hive版本：Apache-Hive-1.2 Mysql jdbc：mysql-connector-java-5.1.40.tar.gz 实验步骤： 1.Hive的安装和配置 首先需要下载Hive安装包并解压，为了方便使用，我们配置一下环境变量，然后修改/hive/conf下的hive-site.xml配置文件，如下图。 图1 配置环境变量 图2 hive-site.xml配置...
Java：使用Java调用打印机进行打印（JPG、PDF和Word三种文件格式）
目录 一、Java的打印简介 二、Java打印实现 2.1 JPG图片文件格式打印实现 2.2 PDF文件格式打印实现 2.3 Word文件格式打印实现 2.3.1 Word文件采用jacob插件进行打印实现。 2.3.2 先将word转化为pdf文件，然后打印pdf（lz使用） 三、总结 一、Java的打印简介 在我们的实际工作中，经常需要实现打印功能。但由于历史原因，Jav...
手把手教你用Cadence VPWLF源和参数扫描：搞定非周期激励与gmid曲线绘制（避坑指南）
本文详细介绍了如何在Cadence Virtuoso中使用VPWLF源生成复杂非周期激励信号，并结合gmid方法进行双参数扫描优化电路设计。通过实战案例和避坑指南，帮助工程师高效解决波形生成和参数可视化难题，提升模拟电路设计效率。
逆向学习：从已上线微信小游戏反推Cocos工程结构（以切水果跑酷为例）
本文以“切水果跑酷”为例，详细介绍了如何通过逆向分析已上线的微信小游戏，反推其基于Cocos Creator的原始工程结构。文章深入拆解了编译后的目录骨架、资源加载逻辑与依赖关系，并重点解析了微信平台API的调用特征，为开发者提供了一种高效学习游戏架构与设计模式的实用方法。
从稀疏表示到低秩表示（一）
确定研究方向后一直在狂补理论，最近看了一些文章，有了些想法，顺便也总结了representation系列的文章，由于我刚接触，可能会有些不足，愿大家共同指正。 从稀疏表示到低秩表示系列文章包括如下内容： 一、 sparse representation 二、 一、 sparse representation 1 sparsity 一个线性表示解决的问题如下图所示：
基于LORA的双机通信的智能农业系统
通过LoRa模块与主机进行通信，监测环境中的温度、湿度、土壤湿度和光照强度等参数，并根据预设的自动控制逻辑或者手动指令控制继电器开关，从而调节风扇、加热器、水泵、喷雾器和灯光等设备，为植物提供适宜的生长环境。使用的Lora是大夏龙雀的感觉这个是我使用过的Lora里面最好用的，因为不用设置频道就可以直接透明传输，使用起来得心应手。就像两个单片机直接串口通信一样，缺点是异步串行，不能同时进行接收和发送。继电器灯亮模拟打开对应的风扇、水泵、灯、喷雾、加热。1.使用温度传感器测当前环境的温湿度。
NVIDIA DGX Spark实战指南：从开箱到AI模型高效部署
本文详细介绍了NVIDIA DGX Spark的开箱体验、硬件架构及AI模型高效部署实战指南。从1 PetaFLOP算力的迷你设备到Grace Blackwell超级芯片的深度解析，再到五分钟快速上手指南和大模型部署技巧，帮助开发者充分利用这款全球最小AI超级计算机的性能优势。
EtherCAT报文-BRD（广播读）抓包分析
EtherCAT报文之BRD（广播读）报文Wireshark抓包分析。
【AI大模型应用开发实战】大型语言模型评估指南白皮书（LLM Eval）
近年来，大型语言模型（LLM）在自然语言处理领域取得了重大进展，例如 GPT-3 和 Chat-GPT。这些模型经过大型数据集的训练，在文本相关任务中表现出卓越的能力，甚至超越了人类。本文将简要介绍如何验证 LLMs 性能的评估指标。自然语言处理（NLP）是人工智能的一个领域，涉及计算机和人类语言之间的交互。NLP 的基本任务之一是语言建模 (LM)，它涉及构建统计模型来分析和生成自然语言。LM 已成为推进机器语言智能的关键方法，使机器能够执行机器翻译、情感分析和对话系统等任务。
android 蓝牙通讯demo
android 下蓝牙通讯demo，实现了发现蓝牙，使能蓝牙，通过蓝牙发送消息。
老版QQ原生表情gif动态
这是老版的QQ表情，不过全是动态的的，Windows照片查看器是不会动的，可以右击用浏览器打开查看，再说一遍是老版的，只是分享给宁愿用老版也要动态的人。
锂电池充电器电路设计 里面有电路
锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。
深度学习工具包 DeepLearningToolbox
深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[](https://bitdeli.com/free "Bitdeli Badge")
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
订阅专栏 解锁全文
845
扫一扫
