桃李不言下自成蹊

1. 数据加载与特征转换2. 数据集划分3. 模型训练4. 模型测试5. 输出信息量较大的特征6. 对输入的句子进行情感分析7. 使用SnowNLP进行情感分析8. 主函数

**核心区别**1. **透视表 (`pivot_table`)** - 用于对数据进行 **聚合计算**（如求和、均值、计数等）。 - 支持多维度分组（行、列、甚至多层索引）。 - 可以指定 `values`（要聚合的值）和 `aggfunc`（聚合函数）。2. **交叉表 (`crosstab`)** - 专门用于 **计算频率分布**（即列联表，统计不同组合的出现次数）。 - 默认行为是计数，但也可通过参数自定义聚合函数。 - 语法更简洁，适合快速生成

1. **`merge`**: - 更通用的合并方法，支持基于**列**或**索引**的合并。 - 可以指定左右DataFrame的合并键（`left_on`, `right_on`）。 - 支持多种合并方式（内连接、外连接、左连接、右连接）。2. **`join`**: - 是 `merge` 的简化版，默认基于**索引**合并。 - 只能基于**左DataFrame的索引**和**右DataFrame的索引或指定列**合并。 - 语法更简洁，适合快速操作。

【代码】python 多数据源整合。

pyecharts 是一个强大的 Python 可视化库，它支持绘制多种类型的图表，以下是一些常见的图表类型

# 导入绘图库 matplotlib 的 pyplot 模块，用于绘制图形。from matplotlib import pyplot as plt# 导入 pandas 库，用于数据处理和分析。import pandas as pd# 导入 seaborn 库，用于绘图import seaborn as sns

使用 seaborn 进行数据可视化的完整案例

Matplotlib 是 Python 中一个流行的绘图库，用于创建各种静态、动态和交互式的图表。本文将通过一系列完整的案例来教授如何使用 Matplotlib 进行数据可视化。

1. 数据加载阶段特别指定手机号为字符串类型，避免解析错误2. 清洗过程中通过 lambda 表达式生成垃圾短信标签，规则可根据需要调整3. 脱敏处理采用部分隐藏的方式保护隐私，同时处理异常情况4. 分词过程包含 URL 替换和停用词过滤，提高文本表示质量5. 模型训练使用 TF-IDF + 多项式贝叶斯组合，适合短文本分类6. 可视化部分展示了数据分布和关键词云，帮助理解数据特征

在 Matplotlib 中指定本地字体库可以通过以下几种方法实现

在电商行业中，用户评论是了解用户需求和产品反馈的重要数据来源。通过分析用户评论，可以提取出用户关注的关键词，从而帮助商家优化产品和服务。本案例将展示如何结合`pandas`数据清洗、`jieba`分词和`scikit-learn`关键词提取技术，处理和分析用户评论数据。

import pandas as pd# 设置DataFrame显示的宽度pd.set_option('display.width', 800) # 设置最大宽度为800个字符pd.set_option('display.max_columns', 100) # 最大列数为100

python 正则表达式 re模块 练习

基于规则或词典的分词方法是一种较为机械的分词方法，其基本思想如下。将待分词语句中的字符串和词典逐个匹配。找到匹配的字符串则切分，不匹配则减去边缘的某些字符。从头再次匹配，直至匹配完毕或者没有找到词典的字符串而结束。基于规则分词主要方法如下。正向最大匹配法（Maximum Match Method，MM法）。逆向最大匹配法（Reverse Maximum Match Method，RMM法）。双向最大匹配法（Bi-direction Matching Method，BMM法）。

在Jupyter Notebook中使用GPU进行计算

deepin 安装 zookeeper

deepin 安装 hbase

scala 编写 hdfs 工具类scala 创建 删除 hdfs 文件或目录scala 上传 下载 hdfs 文件 scala 读取 写入 hdfs 文件

在Scala语言中，模式匹配是一种强大的控制结构，它允许你以声明式的方式检查一个值是否符合某个模式，并根据匹配的结果执行不同的代码块。Scala的模式匹配类似于正则表达式，但更加通用，可以用于数据结构的匹配。

springboot整合presto

springboot整合hive

ListToChart 为数据转换工具类，其中包含了行列转换 、饼图、堆叠图（柱状图和折线图)、堆叠求和、堆叠百分比等转发方法。转换后的数据格式为 [rowKeyList,dataList,aliasList]行列转换工具

mapreduce 将数据清洗后保存到 hbase

javabean对象转csv文件格式字符串csv文件格式字符串转javabean对象

如果不使用 JSON 工具库，你可以手动解析 JSON 格式字符串并将其转换为 CSV 格式字符串。以下是一个简单示例，展示如何实现这一功能。

hbase 自定义过滤器 工具类

Vue3 + TypeScript + Vite + Echarts + DataV

openEuler 安装 finebi

openEuler 安装 hive4

1. 升级软件2. 安装常用软件3. 关闭防火墙4. 修改主机名和IP地址5. 修改hosts配置文件6. 下载jdk和hadoop并配置环境变量7. 配置ssh免密钥登录8. 修改配置文件9. 初始化集群10. windows修改hosts文件11. 测试

openEuler搭建hadoop Standalone 模式

update login,person set person.mobile = login.account where login.person_id = person.id;

sparkcore sparksql sparkstreaming structedstreming

Java中常用时间类型 Date LocalDate LocalDateTime 在工作中使用很频繁，但中间很多常用功能每次编写代码很繁琐，故而封装了以下三个工具类：DateUtil 日期工具类LocalDateUtil 新日期工具类LocalDateTimeUtil 新日期工具类用于日常使用。

大数据 spark scala 高阶函数 WordCount

安装MySQL8.2的时候多出两个样例数据库Sakila数据库和World数据库

shell 脚本计算距离最近的坐标

flumes收集日常完成后会对收集的文件添加`.COMPLETED`后缀名。我仍然使用原文件名，于是萌生了编写 shell 脚本批量删除文件后缀名的想法。效果很好，但整个脚本功能太多单一，如果想按需修改文件后缀名呢？于是编写了 shell 脚本批量修改文件后缀名。

数据仓库，简称数仓,（ Data Warehouse ）。从逻辑上理解，数据库和数仓没有区别，都是通过数据库软件实现存放数据的地方，只不过从数据量来说，数据仓库要比数据库更庞大。数仓主要是为企业制定决策，提供数据支持的。当业务简单，可以用数据库来存储，分析，制表。但当数据量几何式增长，需要跨机器整合时，数仓就是非常必要的了。

原始数据并没有毛利额，毛利额需要我们自己计算产生毛利额 = 销售额 - 成本额自定义图表由于纵轴指标聚合，毛利额和毛利率数值相差巨大故而毛利率显示并不明显解决方法：将纵轴指标聚合修改为指标并列设置值轴。