- 博客(60)
- 收藏
- 关注
RSS订阅原创 SQL 表连接操作
SQL 表连接操作是数据库查询中一个非常重要的概念，它允许从多个表中检索相关数据。表连接的主要类型包括 INNER JOIN、LEFT JOIN(或 LEFT OUTER JOIN)、RIGHT JOIN(或 RIGHT OUTER JOIN)、FULL JOIN(或 FULL OUTER JOIN)以及 CROSS JOIN。下面是详细解释每种连接操作及其使用场景：1. INNER JOIN(...
2024-12-26 15:45:00
547
原创 Python基础--conda使用
miniconda下载，conda使用教程，配置conda镜像源，conda常用操作和配置镜像源_conda源配置-优快云博客一、安装miniconda下载二、配置系统环境变量三、验证：conda list四、配置下载源1. 查看默认源conda config --show-sources增加一个默认源清华源conda config --add channels https://mirrors...
2024-12-26 15:44:00
476
原创 Python基础--类方法、实例方法、静态方法
一、什么是类和实例类(Class) 是一个蓝图或模板，它定义了对象的行为和属性。例如，你可以把“汽车”作为一个类，它定义了所有汽车共有的属性(比如颜色、品牌)和行为(比如启动、刹车)。实例(Instance) 是类的具体对象。每一个具体的对象都是一个类的实例，比如“我的红色宝马车”就是“汽车”类的一个实例。二、什么是类属性和实例属性类属性(Class Attributes)：类属性是属于类本身的...
2024-12-26 15:38:00
659
原创 Python基础--装饰器
一、基础知识1. 什么是 Python 装饰器装饰器(Decorator)是 Python 中的一种设计模式，允许你在不修改原函数代码的情况下，动态地添加或修改函数的行为。简单来说，装饰器本质上是一个函数，它接收一个函数作为参数，并返回一个新的函数。装饰器常用于以下几种场景：添加日志：记录函数调用的时间、参数等。权限检查：检查用户是否有权限执行某个操作。缓存：对函数结果进行缓存，避免重复计算。验...
2024-11-26 16:46:00
756
原创 Django框架--中间件
一、介绍1. 中间件的定义Django 中间件是一个轻量级、底层的“插件”系统，用于全局地修改 Django 的输入或输出。每个中间件组件可以对请求进行处理或对响应进行处理，或者同时处理二者。2. 中间件的功能中间件可以执行的操作包括：请求预处理：在视图函数处理请求之前，执行一些前置操作(如请求验证、设置请求参数等)。响应后处理：在视图函数处理完请求后，对生成的响应进行处理(如设置 HTTP 头...
2024-11-26 16:39:00
594
原创 Django框架--ORM操作
1. 查询操作1.1 filter()用法：用于过滤查询结果，返回符合条件的记录。支持链式调用。示例：queryset = MyModel.objects.filter(field=value)SQL 查询示例：SELECT * FROM MyModel WHERE field = value;性能特点：根据过滤条件生成 SQL 查询。支持复杂查询条件，性能取决于查询条件和索引。1.2 excl...
2024-11-26 16:32:00
509
原创 ES搜索框架--低配置服务器部署ES导致崩溃的解决
省流：修改jvm.options，降低堆大小一、服务器情况最近es会突然stop，查看日志后发现经常是因为报错：Native controller process has stopped - no new native processes can be started，无法开启新的进程，可能是由于内存不足--因为服务器内存只有2G，而且仅仅启动es和java项目后就已经占用了97%，一再进行查询...
2023-04-15 18:30:00
1758
原创 ES框架--ES评分规则详解
一、需求因为需要对搜索结果进行一个统一化的评分，因此需要仔细研究ES本身的评分规则从而想办法把评分统一。省流：无法确切统一化二、ES查询评分规则之前有说过ES的查询评分原理，那么仔细思考之后就会发现，长文本搜索对应的score会比短文本搜索的score高很多：score=单个分词评分之和，长文本对应的词更多那么score就会更多。通过在查询中设置参数”explain”:true来查看具体的分数来...
2023-04-10 20:40:00
3730
原创 ES搜索框架--自定义评分规则
一、评分规则需求按照用户画像(不同的标签分数)和用户省份在用户查询时，对查询结果进行自定义评分二、ES自定义评分方式参考：博客：https://blog.youkuaiyun.com/W2044377578/article/details/128636611官网：https://www.elastic.co/guide/en/elasticsearch/guide/master/function-score...
2023-04-10 20:39:00
1913
1
原创 ES搜索框架--设置IK分词器
ES的默认中文分词效果太差了，稍微长一点的词句就完全匹配不到，于是选择使用安装IK中文分词器来实现索引的分词。参考：https://blog.youkuaiyun.com/w1014074794/article/details/119762827https://www.bbsmax.com/A/6pdDqDaXzw/一、安装官网教程：https://github.com/medcl/elasticsearc...
2023-04-08 16:50:00
3775
原创 ES搜索框架--ES部署到Centos8服务器
参考：https://blog.youkuaiyun.com/Me_xuan/article/details/114608076https://www.cnblogs.com/chenxitag/p/12320868.html一、下载安装1.下载ES使用elasticsearch7.10.2，到官网下载对应的linux包，然后上传到服务器文件夹下，cd到文件夹后使用tar命令解压tar -xvf elast...
2023-04-08 16:29:00
341
原创 ES搜索框架--Windows下简单使用ES框架
前面讲述了什么是ES框架和为什么要用ES框架进行检索，现在开始尝试在windows下安装并简单使用ES框架参考：官方文档中文版，英文版linux下部署：https://www.elastic.co/guide/en/elasticsearch/reference/6.0/_installation.html一、安装1.下载解压安装包官网选择相应版本进行下载zip包，在英文路径下解压即可，这里我使...
2023-04-08 16:28:00
893
原创 ES搜索框架--基本原理
一、基本原理参考博客(非常详细)：https://blog.youkuaiyun.com/weixin_43111776/article/details/124952148我们先来看看MySQL中的索引，在MySQL关系表中，每一行数据都有一个主键，我们在查询数据的时候会先找到数据的主键，再根据主键去找到整行数据，这种索引形式成为正排索引，本质是通过key来查询value。而ES使用的倒排索引正好与之相反，...
2023-04-08 16:27:00
184
原创 Java的jar包依赖版本冲突解决
参考：https://blog.youkuaiyun.com/weixin_38898423/article/details/128178055https://blog.youkuaiyun.com/Yal_insist/article/details/127669985一、依赖冲突不同的第三方jar包可能同时对某一个jar包的不同版本含有依赖，但是Maven解析pom.xml文件时，同一个jar包只会保留一个Mave...
2023-04-08 16:19:00
1777
原创 Centos8安装JDK
官网下载页：https://www.oracle.com/java/technologies/downloads/选择自己需要的JDK版本进行下载即可一、下载上传https://docs.oracle.com/javase/8/docs/technotes/guides/install/linux_jdk.html根据官网的不同安装方式，选择合适的安装包进行下载并上传，例如rpm、tar等等这里...
2023-03-25 18:48:00
461
原创 Centos8安装MySQL
受苦于博客总是过于老旧，安装时总会出现版本包已经删除的情况而且步骤总是各式各样难以理解，无奈之下还是官网靠谱，于是这篇博客以官网方法为基准，方便以后安装的时候可以直接复制命令。一、官网教程https://dev.mysql.com/doc/refman/8.0/en/linux-installation-yum-repo.html只能说非常详细了，认真看肯定OK，这里我使用linux的yum安装...
2023-03-25 17:53:00
1175
原创 Ubuntu22 使用devstack一键部署OpenStack
一、虚拟机准备(主要是因为上次安装稀里糊涂找的教程，后来有问题了哈哈，这次仔细看了油管教程还有官网教程，记录一下后面要是出问题了方便重装哈哈)配置：1.进入root账号sudo passwd root #设置初始密码su root2.编辑网卡配置文件vim /etc/netplan/01-network-manager-all.yaml这里vim没有安装(使用固定ip没有联网)，vi命令有问题...
2023-01-30 15:40:00
2756
原创 OpenStack云平台搭建
参考：https://blog.youkuaiyun.com/m0_45692110/article/details/122628664https://huaweicloud.youkuaiyun.com/635607c3d3efff3090b58eb4.html一、虚拟机准备controller和compute虚拟机，使用centos7操作系统，下面给出一些需要修改的地方，其他都可以使用默认，点击下一步即可contr...
2023-01-27 20:03:00
6452
原创 Github上传大文件
1.访问github这里挂了梯子还进不去(可以ping通github但无法访问网页)，需要修改hosts，添加以下内容，参考：https://blog.youkuaiyun.com/suzhiwei_boke/article/details/1251643282.安装GitLFS将GitLFS安装到Git的bin文件夹下，官网链接：https://git-lfs.com/运行exe程序时可能会出现以下报错，...
2023-01-27 19:52:00
364
原创 算法--旅行者过河问题
1.题目在漆黑的夜里，四位旅行者来到了一座狭窄而且没有护栏的桥边。如果不借助手电筒的话，大家是无论如何也不敢过桥去的。不幸的是，四个人一共只带了一只手电筒，而桥窄得只够让两个人同时过。如果各自单独过桥的话，四人所需要的时间分别是1、2、5、8分钟；而如果两人同时过桥，所需要的时间就是走得比较慢的那个人单独行动时所需的时间。问题是，如何设计一个方案，让这四人尽快过桥。 2.算法构造N个人(N≥1)...
2022-12-28 19:16:00
482
原创 大数据--关联规则挖掘案例
环境：虚拟机hive+本地spark+python(pyspark)数据：商品订单数据+商品种类数据步骤：将数据上传到hdfs后，在python中完成hive表的创建，数据处理，关联规则挖掘，数据可视化实现功能：对商品订单中的信息进行挖掘，得到商品组合之间的关联关系(本文只对order进行了处理，没有涉及到type)一.数据准备将GoodsOrder.csv和GoodsTypes.csv文件上传...
2022-12-23 17:53:00
1090
原创 大数据--pyspark远程连接hive
上一篇文章介绍了python连接hive的过程，通过地址+端口号访问到hive并对hive中的数据进行操作，这一篇文章介绍一下怎么通过windows本地pyspark+本地部署好的spark+远程虚拟机的hive，完成本地pyspark对hive的访问。一.环境介绍(1)关于pyspark这个是之前就已经部署好的，本地安装了hadoop、scala、spark之后，配置好对应的系统环境变量，在p...
2022-12-22 13:33:00
4059
原创 大数据--python远程连接Hive
步骤：启动metastore启动hiveserver2使用beeline进行连接测试，查看地址等是否能够成功连接(确认无误可以跳过)使用python连接hive(粗暴的文件配置以及完整操作见文末)一.启动hiveserver21.配置mode为http，端口为10001(默认)<property> <name>hive.server2.transport.mode&l...
2022-12-21 18:24:00
5329
3
原创 大数据--HiveQL语句(实战练习)
题目:1、 创建员工信息数据文件employess.txt，数据文件中包含内容如下(姓名、年龄、薪资、)：Lilith Hardy,30,6000,50,Finance DepartmentByron Green,36,5000,25,Personnel DepartmentYvette Ward,21,4500,15.5,Arlen Esther,28,8000,20,Finance Depa...
2022-12-05 16:48:00
776
原创 大数据--HiveQL语句(基本操作)
一.数据库操作1.显示当前所有数据库Show databases;2.创建数据库studyCREATE DATABASE IF NOT EXISTS study COMMENT "This is study database"LOCATION '/user/hive_db/create_db/';3.切换数据库USE study;4.删除数据库DROP DATABASE IF EXISTS st...
2022-12-04 20:23:00
427
原创 大数据--Hadoop环境部署(5)Hive部署
Hadoop集群部署:https://www.cnblogs.com/Studywith/p/16948866.html一.Hive的三种部署模式1.嵌入模式使用内嵌的Derby数据库存储元数据，是Hive最简单的部署方式。嵌入模式下的Hive不支持多会话连接，不适合生产环境，只适合测试环境。2.本地模式使用本地独立数据库存储元数据，这里的独立数据库通常使用MySQL数据库。本地模式部署的...
2022-12-04 16:54:00
1557
原创 大数据--Hadoop环境部署(4)Hadoop集群部署
Hadoop集群的部署方式分为三种，分别是独立模式(Standalone mode)、伪分布式模式(Pseudo-Distributed mode)和完全分布式模式(Cluster mode)，独立模式和伪分布式模式主要用于学习和调试，完全分布式通常在实际生产环境使用。为了提高Hadoop集群的高可用性，通常使用ZooKeeper为Hadoop集群提供自动故障转移和数据一致性服务一.Hadoo...
2022-12-03 21:53:00
2275
原创 大数据--Hadoop环境部署(3)JDK和ZooKeeper环境配置
Linux环境搭建:https://www.cnblogs.com/Studywith/p/16946297.html免密连接:https://www.cnblogs.com/Studywith/p/16946310.html在完成了Linux虚拟机的基础配置后,接下来进行JDK和ZooKeeper相关环境的配置一.部署JDK1.官网下载JDKhttps://www.oracle.com/jav...
2022-12-03 19:33:00
1088
原创 大数据--Hadoop环境部署(2)主机映射和免密登录
一.主机IP映射就是将虚拟机的IP地址和主机名进行映射,这样就可以直接通过root@主机名的方式找到对应的虚拟机(三台虚拟机都要建立三条映射关系)vim /etc/hosts192.168.121.130 node01192.168.121.131 node02192.168.121.132 node03二.免密连接此时访问其他node时会出现以下提示,总是需要输入要访问node的...
2022-12-03 06:23:00
594
原创 大数据--Hadoop环境部署(1)Linux环境搭建
一.安装三台Linux虚拟机使用centos7系统,命名node_01,node_02,node_03,具体在VMware上的各种安装过程见其他博客二.虚拟机参数设置(温馨提示:直接在root权限下进行配置会减少很多困扰~)1.配置Linux系统网络及主机名创建完成的三台虚拟机默认为动态IP地址，且虚拟机Node_02和Node_03是通过克隆虚拟机Node_01创建的，会导致这两台虚拟机的主机...
2022-12-03 04:16:00
698
原创 centos添加用户权限(XXX is not in the sudoers file. This incident will be reported.)
一.问题新安装的虚拟机在用户使用sudo修改文件权限时提示XXX is not in the sudoers file. This incident will be reported.二.解决参考:https://blog.youkuaiyun.com/danykk/article/details/801378061.使用su命令切换到root用户(这里有的时候会没有设置root账户的密码,需要先使用su...
2022-12-03 01:40:00
668
原创 配置Python解释器
在运行python项目时,如果代码目录中没有venv目录(即别人已经配置好的解释器),往往不能直接运行,因此需要自己添加项目对应的解释器,即使有别人配好的解释器,也会因为安装的python位置差异导致解释器不可用,本文将对这两种情况分别解决。(以我曾经碰到过的情况为例,不一定全面)一.无解释器1.如图,这是一个不包含venv文件夹的项目,使用pycharm打开,无法直接运行2.编辑配置发现没有属...
2022-10-19 16:19:00
17773
2
原创 Android开发--构建项目安装包APK(debug版)
1.build→Build APK(s),点击即可构建2.点击日志可以查看构建情况3.点击locate即可进入debug文件夹4.也可以在构建完成后直接按照路径找到debug文件夹其中apk文件即所需安装包,json文件中为版本信息等,做软件更新时用得到...
2022-10-06 10:51:00
1689
原创 Android开发--项目搭建之Hello World
一.创建项目1.新建项目,选择空白项目2.填写项目信息后点击完成3.进入项目,gradle在进行项目的基础搭建(可能需要一些时间,我使用了VPN会更快一些,内网可能比较困难)4.在gradle搭建完成后,开始进行模拟器的创建二.模拟器运行所谓模拟器，是指在电脑上构造一个演示窗口，模拟手机屏幕上的App运行效果。1.创建模拟器2.选择模拟器外形3.选择模拟器装载的android系统4.下载选择的a...
2022-10-02 02:36:00
1531
原创 VBScript连接各种数据库
一.前言注意:是VBScript而不是VB!!!两个区别还是挺大的,网上教程大多是VB连接数据库,仅有的一些VBScript连接教程还总是抄来抄去还都不能成功连接,应该是因为版本问题或者电脑的配置问题,但是,很幸运看到了这篇博客https://blog.51cto.com/u_7921793/3309861,成功解决了"未发现数据源名称并且未指定默认驱动程序"的持久报错二.具体方法1.基础模板其...
2022-07-07 08:12:00
905
原创 四柱汉诺塔问题
一.思路递归思想:1.将A柱上n个盘子划分为上下两部分，下方部分共有k(1≤k≤n)个盘子，上方部分共有n - k个盘子。2.将A柱上面部分n–k个盘子经过C、D柱移至B柱。3.将A柱剩余的k个盘子经过C柱移至D柱。---三柱汉诺塔4.将B柱上的n–k个盘子经过A、C柱移至D柱。详细见代码注解二.代码#include<bits/stdc++.h> using namespace ...
2022-05-20 15:41:00
399
原创 vue前端部署到服务器
一.vue打包1.获得前端代码,在webstorm上打开在终端输入npm run build2.打包完成后在原来的代码包中可以看到一个新的文件夹---dist3.将dist文件夹压缩上传到nginx的本地安装文件夹(注意不是download文件夹,而是usr/local)二.服务器上部署1.解压dist2.配置conf找到nginx文件夹下的conf文件夹,点击nginx.conf进行配置3.具...
2022-05-11 16:22:00
4069
3
原创 VMware虚拟机扩展硬盘后分配到操作系统
一.分区1.查看当前磁盘分区fdisk –l可以看到当前系统有两个磁盘分区2.创建新的磁盘分区fdisk /dev/sda进入以下界面3.创建完成再次查看分区fdisk -l可以看到新的分区3,但此时该分区没有挂载到系统二.挂载1.重启系统rebootreboot命令可以快速重启,就不用再去手动重启了2.将物理硬盘初始化为物理卷,便于LVM使用pvcreate /dev/sda33.查看逻辑组卷...
2022-05-09 13:53:00
2455
原创 jFinal部署到服务器
一.软件准备1.MobaXterm用于远程连接服务器和远程传输文件下载地址:https://mobaxterm.mobatek.net/download-home-edition.html2.服务器软件环境安装---Nginx3.服务器软件环境安装---JDK4.服务器软件环境安装---MySQL见博客:https://blog.youkuaiyun.com/Aykl119/article/details/...
2022-05-05 14:46:00
1239
原创 数模--2022华中杯A题(Java实现)
一.赛题1.订单分批将当日订单分为多个批次。要求每个批次的订单所含货品种类数均不超过 ，且批次越少越好(相应转运次数也越少，效率越高)。针对附件 1 中的订单信息，应用你们的算法，计算当货架数量 时最少的批次数，给出每批订单数量、货品种类数、分批方案等结果，并将完整原始分批方案按指定格式输出到文件result1.csv 中，格式要求见附件 2。2.商品摆放确定每一种货品放置在哪一个货架。分拣工拣...
2022-05-02 19:47:00
2911
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人