<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[mrwangofpython的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/mrwangofpython</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; mrwangofpython]]></copyright><item><title><![CDATA[AI对于数据工程师的思考]]></title><link>https://blog.youkuaiyun.com/mrwangofpython/article/details/149908995</link><guid>https://blog.youkuaiyun.com/mrwangofpython/article/details/149908995</guid><author>mrwangofpython</author><pubDate>Mon, 04 Aug 2025 16:21:27 +0800</pubDate><description><![CDATA[数据工程师的技能体系是“全链路+深技术+懂业务”的结合：从基础的Python/SQL，到核心的存储/处理技术，再到工具平台的熟练应用，最终通过数据治理和业务理解让数据产生价值。入门可从Python+SQL+Hive起步，逐步深入大数据框架（Spark/Flink）和云平台，再补充数据治理与业务知识。]]></description><category></category></item><item><title><![CDATA[今天看到的一篇python学习路径图，觉得挺不错的]]></title><link>https://blog.youkuaiyun.com/mrwangofpython/article/details/119749020</link><guid>https://blog.youkuaiyun.com/mrwangofpython/article/details/119749020</guid><author>mrwangofpython</author><pubDate>Tue, 17 Aug 2021 09:41:35 +0800</pubDate><description><![CDATA[从事数据行业的同学可以看看这方面的内容，挺不错的
]]></description><category></category></item><item><title><![CDATA[xshell 连接 vmview下ubuntu]]></title><link>https://blog.youkuaiyun.com/mrwangofpython/article/details/119667074</link><guid>https://blog.youkuaiyun.com/mrwangofpython/article/details/119667074</guid><author>mrwangofpython</author><pubDate>Fri, 13 Aug 2021 09:12:43 +0800</pubDate><description><![CDATA[1.在ubuntu中打开terminal中断，输入ifconfig 查看当前虚拟机的ip地址



2.在xshell中设置连接

输入ip地址



输入用户名，密码





3.在ubuntu中设置ssh

安装SSH
sudo apt-get update   sudo apt-get upgrade       //这两个命令是更新apt-get
sudo apt-get install openssh-server               ...]]></description><category></category></item><item><title><![CDATA[mongodb常用语句：二]]></title><link>https://blog.youkuaiyun.com/mrwangofpython/article/details/118391710</link><guid>https://blog.youkuaiyun.com/mrwangofpython/article/details/118391710</guid><author>mrwangofpython</author><pubDate>Thu, 01 Jul 2021 17:39:56 +0800</pubDate><description><![CDATA[//创建索引 （索引列：show_resource_id）

db.getCollection("resource").createIndex({"show_resource_id":1})



// MongoDB中聚合的方法使用aggregate()。

db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$sum : 1}}}])



//计数

db.mycol.find().Count();

//{multi:tr]]></description><category></category></item><item><title><![CDATA[mongodb类型转换]]></title><link>https://blog.youkuaiyun.com/mrwangofpython/article/details/118391563</link><guid>https://blog.youkuaiyun.com/mrwangofpython/article/details/118391563</guid><author>mrwangofpython</author><pubDate>Thu, 01 Jul 2021 17:29:30 +0800</pubDate><description><![CDATA[#mongodb 数据类型
字段类型编号:

1 Double 浮点型
2 String UTF-8字符串都可表示为字符串类型的数据
3 Object 对象，嵌套另外的文档
4 Array 值的集合或者列表可以表示成数组
5 Binary data 二进制
7 Object id 对象id是文档的12字节的唯一 ID 系统默认会自动生成
8 Boolean 布尔类型有两个值TRUE和FALSE
9 Date 日期类型存储的是从标准纪元开始的毫秒数。不存储时区
10 Null 用于表示空值...]]></description><category></category></item><item><title><![CDATA[MySQL 通用查询日志和慢查询日志分析]]></title><link>https://blog.youkuaiyun.com/mrwangofpython/article/details/118359414</link><guid>https://blog.youkuaiyun.com/mrwangofpython/article/details/118359414</guid><author>mrwangofpython</author><pubDate>Wed, 30 Jun 2021 13:52:50 +0800</pubDate><description><![CDATA[MySQL中的日志包括：错误日志、二进制日志、通用查询日志、慢查询日志等等。这里主要介绍下比较常用的两个功能：通用查询日志和慢查询日志。

1）通用查询日志：记录建立的客户端连接和执行的语句。
2）慢查询日志：记录所有执行时间超过long_query_time秒的所有查询或者不使用索引的查询

（1）通用查询日志

在学习通用日志查询时，需要知道两个数据库中的常用命令：

1） show variables like '%version%';




mysql&gt; show variables lik]]></description><category></category></item><item><title><![CDATA[如何优化MySQL千万级大表]]></title><link>https://blog.youkuaiyun.com/mrwangofpython/article/details/118357253</link><guid>https://blog.youkuaiyun.com/mrwangofpython/article/details/118357253</guid><author>mrwangofpython</author><pubDate>Wed, 30 Jun 2021 11:20:33 +0800</pubDate><description><![CDATA[千万级大表如何优化，这是一个很有技术含量的问题，通常我们的直觉思维都会跳转到拆分或者数据分区，在此做了一些补充和梳理，想和大家做一些这方面的经验总结，整理了下面的大纲内容。



既然要吃透这个问题，我们势必要回到本源，我把这个问题分为三部分:

“千万级”，“大表”，“优化”，

也分别对应我们在图中标识的

“数据量”，“对象”和“目标”。

我来逐步展开说明一下，从而给出一系列的解决方案。

1.数据量：千万级

千万级其实只是一个感官的数字，就是我们印象中的数据量大。 这里我们需要把这个概念细化，因]]></description><category></category></item><item><title><![CDATA[2021-06-30]]></title><link>https://blog.youkuaiyun.com/mrwangofpython/article/details/118357150</link><guid>https://blog.youkuaiyun.com/mrwangofpython/article/details/118357150</guid><author>mrwangofpython</author><pubDate>Wed, 30 Jun 2021 11:17:31 +0800</pubDate><description><![CDATA[今天客户那边遇到一个问题：多选文件进行操作，数据量一大后台处理就特别慢，浏览器显示504超时。为了验证问题是否出在sql语句，所以用以下方法来分析：

查询SQL执行记录
	explain 分析
	MySQL 语句执行时间
下面会分别介绍三个方法的开启方法。

查询SQL执行记录

查询日志功能是否开启




show variables LIKE 'general%';




general_log:日志记录功能是否开启，默认为OFF
general_log_file:日志存放路径

开启日志功能

]]></description><category></category></item><item><title><![CDATA[一条简单的MySql语句内部到底是如何执行的]]></title><link>https://blog.youkuaiyun.com/mrwangofpython/article/details/118357071</link><guid>https://blog.youkuaiyun.com/mrwangofpython/article/details/118357071</guid><author>mrwangofpython</author><pubDate>Wed, 30 Jun 2021 11:12:40 +0800</pubDate><description><![CDATA[select * from users where ID=1001;


如上一条简单的MySql语句内部到底是如何执行的？

首先得了解一下mysql内部结构：



mysql 总的来说分为server和存储引擎两部分：

server层：连接器，查询缓存，分析器，优化器，执行器，这部分涵盖来大多数数据库核心服务功能
	存储引擎 ：作数据容器，负责存储数据并提供读写接口。(支持 InnoDB、MyISAM、Memory 等多个存储引擎。现在常用的存储引擎是 InnoDB，它从 MySQL 5.5.5 .]]></description><category></category></item><item><title><![CDATA[MySQL 通用查询日志和慢查询日志分析]]></title><link>https://blog.youkuaiyun.com/mrwangofpython/article/details/118356849</link><guid>https://blog.youkuaiyun.com/mrwangofpython/article/details/118356849</guid><author>mrwangofpython</author><pubDate>Wed, 30 Jun 2021 11:05:45 +0800</pubDate><description><![CDATA[MySQL中的日志包括：错误日志、二进制日志、通用查询日志、慢查询日志等等。这里主要介绍下比较常用的两个功能：通用查询日志和慢查询日志。

1）通用查询日志：记录建立的客户端连接和执行的语句。
2）慢查询日志：记录所有执行时间超过long_query_time秒的所有查询或者不使用索引的查询

（1）通用查询日志

在学习通用日志查询时，需要知道两个数据库中的常用命令：

1） show variables like '%version%';




mysql&gt; show variables lik]]></description><category></category></item><item><title><![CDATA[mysql索引背后的数据结构]]></title><link>https://blog.youkuaiyun.com/mrwangofpython/article/details/118356642</link><guid>https://blog.youkuaiyun.com/mrwangofpython/article/details/118356642</guid><author>mrwangofpython</author><pubDate>Wed, 30 Jun 2021 10:59:14 +0800</pubDate><description><![CDATA[数据库索引背后的数据结构

在数据之外，数据库系统还维护着满足特定查找算法的数据结构，这些数据结构以某种方式引用（指向）数据，这样就可以在这些数据结构上实现高级查找算法。这种数据结构，就是索引。



B-Tree

B-Tree是一种平衡的多路查找(又称排序)树，在文件系统中和数据库系统中有所应用。主要用作文件的索引。其中的B就表示平衡(Balance)。



B-Tree的特性

为了描述B-Tree，首先定义一条数据记录为一个二元组[key, data]，key为记录的键值，对于不同数据记录，ke.]]></description><category></category></item><item><title><![CDATA[mysql 索引原理]]></title><link>https://blog.youkuaiyun.com/mrwangofpython/article/details/118356546</link><guid>https://blog.youkuaiyun.com/mrwangofpython/article/details/118356546</guid><author>mrwangofpython</author><pubDate>Wed, 30 Jun 2021 10:57:51 +0800</pubDate><description><![CDATA[一 初识索引

为什么要有索引?

一般的应用系统，读写比例在10:1左右，而且插入操作和一般的更新操作很少出现性能问题，在生产环境中，我们遇到最多的，也是最容易出问题的，还是一些复杂的查询操作，因此对查询语句的优化显然是重中之重。说起加速查询，就不得不提到索引了。

什么是索引？

索引在MySQL中也叫是一种“键”，是存储引擎用于快速找到记录的一种数据结构。索引对于良好的性能非常关键，尤其是当表中的数据量越来越大时，索引对于性能的影响愈发重要。索引优化应该是对查询性能优化最有效的手段了。索引能够轻易将查]]></description><category></category></item><item><title><![CDATA[MySQL 学习笔记]]></title><link>https://blog.youkuaiyun.com/mrwangofpython/article/details/118356481</link><guid>https://blog.youkuaiyun.com/mrwangofpython/article/details/118356481</guid><author>mrwangofpython</author><pubDate>Wed, 30 Jun 2021 10:54:21 +0800</pubDate><description><![CDATA[/* 启动MySQL */
net start mysql

/* 连接与断开服务器 */
mysql -h 地址 -P 端口 -u 用户名 -p 密码

/* 跳过权限验证登录MySQL */
mysqld --skip-grant-tables
-- 修改root密码
密码加密函数password()
update mysql.user set password=password('root');

SHOW PROCESSLIST -- 显示哪些线程正在运行
SHOW VARIABLES -- 

.]]></description><category></category></item><item><title><![CDATA[mysql 监控]]></title><link>https://blog.youkuaiyun.com/mrwangofpython/article/details/118356433</link><guid>https://blog.youkuaiyun.com/mrwangofpython/article/details/118356433</guid><author>mrwangofpython</author><pubDate>Wed, 30 Jun 2021 10:51:49 +0800</pubDate><description><![CDATA[mysql 需要掌握的地方还是很多，必须由点及面的逐个掌握，然后才能到下一个阶段。



一、查看mysql锁相关命令

1、通过INFORMATION_SCHEMA.INNODB_TRX、INNODB_LOCKS、INNODB_LOCK_WAITS 获取事务与锁的信息

1）查看哪些事务正在执行

命令：SELECT * FROM INFORMATION_SCHEMA.INNODB_TRX;

trx_state表示事务的状态



mysql&gt; SELECT * FROM INFORMATION_]]></description><category></category></item><item><title><![CDATA[MYSQL最全问题]]></title><link>https://blog.youkuaiyun.com/mrwangofpython/article/details/118356400</link><guid>https://blog.youkuaiyun.com/mrwangofpython/article/details/118356400</guid><author>mrwangofpython</author><pubDate>Wed, 30 Jun 2021 10:50:33 +0800</pubDate><description><![CDATA[1，为什么要使用数据库

数据库可以结构化存储大量的数据信息，方便用户进行有效的检索和访问，可以有效地保持数据信息的一致性、完整性、降低数据冗余。可以满足应用的共享和安全方面的要求，数据库技术能够方便智能化地分析，产生新的有用信息。

2.什么是SQL

SQL是用于访问和处理数据库的标准的计算机语言。

3.mysql是什么

MySQL是一种开放源代码的关系型数据库管理系统（RDBMS），使用最常用的数据库管理语言--结构化查询语言（SQL）进行数据库管理。

4.数据库三大范式

第一范式是最基...]]></description><category></category></item><item><title><![CDATA[sqlserver语句]]></title><link>https://blog.youkuaiyun.com/mrwangofpython/article/details/118327384</link><guid>https://blog.youkuaiyun.com/mrwangofpython/article/details/118327384</guid><author>mrwangofpython</author><pubDate>Tue, 29 Jun 2021 10:10:07 +0800</pubDate><description><![CDATA[#更加唯一id合并字段

SELECT
  唯一id,
  type = (
       STUFF(
          (SELECT ',' + type
          FROM table
          WHERE 唯一id= A.唯一id
          FOR xml path('')
          ),1,1,''
      ...]]></description><category></category></item><item><title><![CDATA[windows功能命令]]></title><link>https://blog.youkuaiyun.com/mrwangofpython/article/details/118327310</link><guid>https://blog.youkuaiyun.com/mrwangofpython/article/details/118327310</guid><author>mrwangofpython</author><pubDate>Tue, 29 Jun 2021 10:06:39 +0800</pubDate><description><![CDATA[cmd /c "echo off | clip"  -- 清理粘贴板
doskey /history --查看当前输入的命令

cmd/ mstsc --打开远程桌面


]]></description><category></category></item><item><title><![CDATA[mysql dba重点]]></title><link>https://blog.youkuaiyun.com/mrwangofpython/article/details/118327272</link><guid>https://blog.youkuaiyun.com/mrwangofpython/article/details/118327272</guid><author>mrwangofpython</author><pubDate>Tue, 29 Jun 2021 10:05:09 +0800</pubDate><description><![CDATA[　定义：保证数据库系统正常运行和服务质量

　　安装：编译、yum

　　配置：配置文件、连接数、缓存大小、存储引擎

　　调优：硬件优化、Raid10、应用程序使用nosql、表设计优化、分库分表、索引优化、慢查询优化

　　备份：定期对数据库做全量备份、增量备份

　　恢复：应急恢复、版本恢复、恢复测试

　　监控：进程存活、可用性监控、性能监控

　　问题分析：突发故障、性能分析

　　自动化：减少日常重复工作

　　数据定义ddl：create、alter、drop

　　数据操作dml：selec]]></description><category></category></item><item><title><![CDATA[sqlserver dba]]></title><link>https://blog.youkuaiyun.com/mrwangofpython/article/details/118327220</link><guid>https://blog.youkuaiyun.com/mrwangofpython/article/details/118327220</guid><author>mrwangofpython</author><pubDate>Tue, 29 Jun 2021 10:03:58 +0800</pubDate><description><![CDATA[select * from sys.databases
--查看有关数据库文件的信息
select * from sys.database_files;
--查看有关数据库组的信息。
select * from sys.filegroups;
--查看数据库文件的基本信息和状态信息。
select * from sys.master_files;
--数据库和文件目录视图查看有关数据库的基本信息。
select * from sys.databases;
--查看当前数据库下所有表名
select *...]]></description><category></category></item><item><title><![CDATA[mongodb常用语句：一]]></title><link>https://blog.youkuaiyun.com/mrwangofpython/article/details/118327118</link><guid>https://blog.youkuaiyun.com/mrwangofpython/article/details/118327118</guid><author>mrwangofpython</author><pubDate>Tue, 29 Jun 2021 10:01:38 +0800</pubDate><description><![CDATA[db.getCollection("c1").find()

db.institution.find()

db.c1.insert([
 {name:'z1',age:3},
 {name:'z2',age:4},
 {name:'z3',age:5}
])

for (var i = 1;i &lt; 10;i++)[
 print(i)
]


for (var i = 1;i&lt;=20;i++)[
 db.c1.insert([{age:i}])
]

db.c1....]]></description><category></category></item></channel></rss>