- 博客(33)
- 资源 (11)
- 收藏
- 关注
RSS订阅原创 调用MinerU的API，实现PDF转markdown文件
文章摘要： 本文介绍了使用MinerU API将PDF文档批量转换为机器可读格式（如Markdown、JSON）的方法。MinerU是OpenDataLab推出的大模型工具，支持精准解析和轻量解析两种API模式。作者详细演示了从注册API、获取Token到编写Python脚本调用接口的全流程，包括环境配置、PDF文件校验及批量处理限制（如200MB/文件、200页/PDF）。文中提供了完整的代码示例，帮助用户实现本地文献的高效转换，便于后续与大模型交互。适合需要处理大量学术论文的研究者参考。
2026-04-30 13:53:46
1503
原创 大数据管理与应用系列丛书《移动计算与社会治理》之第3章 移动定位技术
《移动计算与社会治理》第3章系统阐述了移动定位技术的原理与应用。章节首先构建了包含MSE、CEP等指标的定位性能度量体系，分析了多径效应等主要误差来源。随后详细解析了TOA、TDOA等基础定位原理的数学几何基础，并梳理了从Cell-ID到5G毫米波定位的蜂窝网络技术演进。针对不同场景，分别探讨了GNSS卫星定位的宏观架构、Wi-Fi/蓝牙室内定位技术特点，以及RFID等辅助定位手段。全章通过理论原理与工程实践的结合，完整呈现了移动定位技术的知识体系与最新发展。
2026-04-27 15:57:15
398
1
原创 大数据管理与应用系列丛书《大数据平台架构》之第12章 综合实践——日志采集分析系统
在现代互联网架构中，日志数据是系统运维的“黑匣子”。本章通过构建一个端到端的**实时日志采集分析系统**，模拟了企业级生产环境中的核心需求。
2026-04-27 13:56:54
470
2
原创 大数据管理与应用系列丛书《大数据平台架构》之第4章 Hadoop 分布式文件系统 (HDFS)
Hadoop 分布式文件系统（HDFS）是 Google File System (GFS) 的开源实现，旨在解决单机文件系统在容量和吞吐量上的物理瓶颈。其核心设计理念是在廉价的商用硬件（Commodity Hardware）上构建高容错系统。
2026-04-27 13:48:22
563
3
原创 大数据管理与应用系列丛书《大数据平台架构》之第2章 分布式理论基础：大数据系统的架构基石
计算机系统的演进史，本质上是算力需求与物理极限博弈的历史。在早期，数据处理主要依赖于集中式系统，即所有的硬件、软件及业务逻辑都高度集中在单一的中央服务器上。这种架构的优势在于设计简单、数据天然一致。然而，随着互联网数据的爆炸式增长，集中式系统遭遇了难以逾越的瓶颈：1. 扩展性瓶颈：垂直扩展的边际成本呈指数级上升。2. 单点：故障中央节点的瘫痪意味着整个服务的彻底中断。为了解决这一问题，分布式系统应运而生。其核心思想是通过水平扩展，利用廉价的商用硬件构建集群，以数量换取性能。
2026-04-27 13:39:00
540
2
原创 Git管理科研课题中的代码文件
本文介绍了如何使用Git管理科研项目，重点讲解如何将本地项目托管到GitHub私有仓库。首先在GitHub创建空仓库，然后通过git init初始化本地项目，配置.gitignore文件排除非代码文件。接着添加文件、提交更改，并将分支重命名为main后推送到远程仓库。文章还提供了日常维护的常用命令，包括查看状态、暂存修改、提交版本和同步远程仓库等操作。最后提醒谨慎使用git checkout .回退命令，适合科研人员学习使用Git进行版本控制。
2026-04-11 17:31:48
443
原创 大数据管理与应用系列丛书《大数据平台架构》之吃透第六章HBase：从原理到架构的深度解剖
《大数据平台架构》第六章深入解析了分布式数据库HBase的核心特性与应用场景。作为Google BigTable的开源实现，HBase具有PB级存储、稀疏性、多版本等优势，但存在不支持复杂聚合、无二级索引等局限。其四维数据模型(RowKey/列族/列限定符/时间戳)和列式存储机制实现了高效查询。HBase采用主从架构，依赖ZooKeeper实现高可用，通过LSM树将随机写转为顺序写，MemStore和WAL机制确保写入性能。书中强调HBase在"BASE理论"指导下，通过空间换时间、最终
2025-12-01 15:54:47
1250
2
原创 大数据管理与应用系列丛书《数据挖掘》读书笔记之集成学习(1)
近日，我有幸深入学习了国防科技大学吕欣教授及其团队所著的《数据挖掘》一书，深受启发，收获颇丰。这本书系统性地介绍了数据挖掘的核心理论与经典算法，内容既涵盖基础概念，又深入实战技巧，尤其适合机器学习、数据科学领域的初学者和进阶者阅读。吕欣教授及其团队以其深厚的学术功底和丰富的实践经验，将复杂的数据挖掘知识讲解得条理清晰、通俗易懂。书中不仅有严谨的数学推导，还配有丰富的案例和代码实现，真正做到了理论与实践相结合。
2025-08-24 20:34:27
1271
11
原创 gephi绘制网络拓扑图：批量给节点着色
之前给节点着色，都是一个一个双击不同的分类，然后填写颜色代码，非常的费事。今天发现了gephi软件中的一个批量给节点着色的插件：Give Colors To Nodes。提示：以下是本篇文章正文内容，下面案例可供参考。
2025-06-09 18:32:18
911
原创 python存储、处理hdf5文件（持续补充）
最近在处理数据，如果存储为csv文件，文件容量高达20个G。csv文件在读取的时候是最为消耗时间的，如果数据大的话不建议存储为csv形式。此外，通过对数据框（dataframe）使用to_hdf函数，可以直接生成hdf5文件。鉴于我要解决的问题是数据框的存储问题，这里我选择将其保存为hdf5文件。大量博客建议使用下面的压缩水平和压缩库，读取速度和文件容量是比较快和小的。在这里，我使用pandas库提供的读取HDF5文件的接口。pandas库提供了写入和读取HDF5文件的接口。
2025-01-07 11:15:04
573
原创 vscode配置c/c++开发环境
报错原因，在线安装器需要从sourceforge上面下载文件，但是网络不稳定，99%都会报错。把软件安装在D盘，此时路径为：D:\Program Files\mingw-w64\x86_64-8.1.0-win32-seh-rt_v6-rev0。点击 文件-首选项-设置，进入设置页面后依次选择如下，把运行在终端，运行前保存所有文件，运行前保存当前文件，三个选项勾选。4.2 先用快捷键ctrl+shift+P调出命令窗口，选择C/C++：编辑配置(UI)4.1 配置代码运行选项。
2023-10-25 16:42:37
539
1
原创 LaTeX写作之各类报错总结
最近使用overleaf，vscode对论文进行排版，遇到了一些报错，因此总结一些经验和技巧，记录下来，供自己日后查阅。
2023-10-16 20:32:25
3693
2
原创 LaTex 安装（2023版+Windows 10）
1.安装texlive20231.1 下载texlive2023.iso1.2 解压iso文件1.3 运行install-tl-windows.bat文件2.检验texlive是否安装成功2.1 配置环境变量2.2 检验是否安装成功3.vscode+latex写作3.1 vscode安装3.2 安装latex workshop插件3.3 配置json文件参考教程。
2023-10-09 19:30:21
7890
4
原创 ModuleNotFoundError: No module named ‘scipy.linalg.cython_blas‘报错处理
问题描述运行程序时，报错（之前没有这个报错）ModuleNotFoundError: No module named 'scipy.linalg.cython_blas'原因分析：原因还没找到（如果有大佬知道报错的原因，请在评论区指导）解决方案：降级scipy版本为1.4.1（原版本scipy-1.7.3）pip install --upgrade scipy==1.4.1参考链接[1] https://www.cnpython.com/qa/1294662...
2022-05-05 11:18:49
1527
原创 Python 读取文件夹中所有的pickle文件
最近碰到读取一个目录中所有的pickle文件的任务，顺便记录一下。import os import pandas as pd from collections import defaultdict, Counterimport numpy as np#调用与当前.py文件不在同一个目录下的.py文件的函数模块import syssys.path.append(r'D:\PycharmProjects\A\B')from C import *import dill as picklefo
2022-03-02 11:15:09
1651
1
原创 解决调用pickle模块保存defaultdict(lambda: defaultdict(list))结构变量
问题描述：最近在GitHub上学到了defaultdict(lambda: defaultdict(list))这个宝藏结构，具体细节就不介绍了。现在我想调用pickle模块保存具有上述结构的程序中间变量。但是报错了，具体错误忘记截图了_pickle.PicklingError: Can't pickle <function <lambda> at 0x0000023732B44558>: attribute lookup <lambda> on __main__ f
2021-10-19 21:42:59
681
原创 数据清洗工作小结
今天帮课题组的老师处理了一部分数据，由于长时间不做数据清洗的工作，本栗子进行了长达2个小时的百度。这篇文档主要是针对该清洗工作的小结。从xlsx文件中读取指定的几列数据，为数据框格式xls=pd.ExcelFile('ABC.xlsx')#BG、BH、BI、BJ、BK、BL列#sheet的名字为Datadf=pd.read_excel(xls, 'Data',usecols="BG:BL")获取数据框的所有列名columns_list=df.columns.tolist()#返回列表
2021-08-27 22:54:32
1836
1
原创 ImportError: cannot import name ‘delayed‘ from ‘sklearn.utils.fixes‘解决方案
问题描述：今天调用imbalanced_ensemble模块时，出现报错：ImportError: cannot import name ‘delayed’ from ‘sklearn.utils.fixes’原因分析：sklearn库，没有及时更新。导致sklearn.utils.fixes.py文件没有delayed模块。解决方案：使用下述命令更新sklearn库conda update scikit-learn...
2021-07-12 20:39:08
3977
2
原创 Python 3: pandas包merge函数合并多个表
今天有一个任务，需要根据两个字段连接3张表。本来想用join方法，结果一直在报错。后来来参考文章1，和文章2用merge函数可以实现。如果有用join方法实现的小伙伴，请在评论区不吝赐教一下！from functools import reducedf=[df_0612, df_0613, df_0614]df_merge= reduce(lambda left,right: pd.merge(left,right,on=['区县','来源地']), df)print("--------------
2021-07-01 11:15:14
4100
原创 根据列索引，使用drop函数删除数据框中特定的几列
通过查阅资料，发现网上大部分是使用列名删除数据框中的列。今天记录一下，根据列索引，使用drop函数删除数据框中特定的几列数据的方法，参考了这篇文章直接上代码# 读取xlsx数据为数据框xls_0612=pd.ExcelFile('../data/0612.xlsx')#读取一个工作表df_0612=pd.read_excel(xls_0612, '省内')print(df_0612)xls_0613=pd.ExcelFile('../data/0613.xlsx')df_0613=pd.re
2021-06-30 14:09:05
1244
1
原创 启动jupyter notebook 报错：ImportError:DLL load failed,找不到指定模块的解决办法
问题描述：今天点击jupyternotebook的时候发现，无法启动了。然后使用下面的命令，在cmd窗口也无法启动jupyter notebook报错信息（当时忘记截图了）：DLL load failed:找不到指定程序。疯狂百度之后，终于找到解决方法，现记录下来。解决方案：首先在命令行输入，pip uninstall pyzmq然后，pip install pyzmq输入命令即可重新启动，jupyter notebook......
2021-06-23 20:43:26
3223
10
原创 pip安装第三方库pyechart之粗心的拼写
暂时结束了数学建模作业（呜呜，又开始新的搬砖之旅了），今天开始做可视化工作了，需要用到pyechart库。因为之前没有安装过，所以出现了如下报错为了解决上述报错，我使用pip工具安装pip install pyecharts但是出现了报错Could not find a version that satisfies the requirement pyechart(from versions: ) No matching distribution found for pyechart开始了
2021-04-06 09:45:52
643
原创 jupyter notebook主题更改、解决工具栏隐藏的问题
目录主题更改安装主题包解决工具栏不见的问题参考主题更改jupyter notebook默认界面的字体太小了（呜呜！上了研究生之后，就老眼昏花了），本栗子今天终于决定要对它做出改变了。安装主题包在python.exe所在路径打开cmd命令窗口，输入命令行，下载主题包pip install --upgrade jupyterthemes输入命令，查看主题jt -l解决工具栏不见的问题我更换主题后，发现工具栏不见了（头秃┭┮﹏┭┮）。启用百度大法之后，终于找到了一个解决方案[^1]。#
2021-01-07 17:57:35
1142
原创 安装spacy语料库的经验总结
目录标题1.首先下载en_core_web_sm-2.3.1.tar.gz2.安装Torchtext3.检验是否安装成功1.首先下载en_core_web_sm-2.3.1.tar.gzen_core_web_sm-2.3.1.tar.gz下载链接 提取码：kmqi下载完成之后，安装spacypip install C:\Users\admin\Desktopen_core_web_sm-2.3.1.tar.gz2.安装Torchtextpip install torchtext3.检验
2020-12-17 11:08:49
930
原创 jupter notebook启动慢和显示代码行数的解决方法
出现的问题：1.本栗子自从安装Anaconda之后，一直在用jupter notebook，毕竟自己是Rstudio的老粉儿了。最近不知道咋回事，jupter notebook启动特别慢，运行也特别慢（当然不排除该换电脑的原因！）2.jupter notebook在默认状态下不会在代码左端显示行号。在遇到报错时，无法正常调试。解决方案：本栗子通过万能的互联网，决定把jupter notebook的默认浏览器换成Firefox（之前用的Google）。修改路径C:\Users\admin.jup
2020-11-26 16:32:36
1975
原创 小白修改jupyter notebook打开文件的默认路径
修改jupyter notebook的默认路径今天本栗子记录一下，修改jupyter notebook的默认路径的小tips，希望可以帮助更多盆友。1.修改配置文件首先在路径C:\Users\admin.jupyter中找到名为jupyter_notebook_config.py的配置文件，然后CTRL+f，搜索“c.NotebookApp.notebook_dir”。然后把双引号里面的路径修改为自己的理想路径。（注意：双斜杠）注意：去掉注释符号#2.发现的问题这个时候，我双击jupter n
2020-11-06 19:19:05
448
1
原创 python sklearn库中的缺失值填充
今天小萌新复习数据挖掘课程的知识点，当看到缺失值填充（imputation of missing values）部分，被sklearn库中的transform函数搞晕了。看了几篇前辈们的博客，来这里总结一下。请大家指正。缺失值填充（imputation of missing values）原始数据中会有一些缺失的属性值，一般人都会选择自动填充。import numpy as npfrom sklearn.impute import SimpleImputerimp = SimpleImputer(
2020-10-17 20:52:15
1181
原创 安装、配置pycharm和Anaconda
说起来惭愧，大学期间没有打好python的基础，身为一只CS研究狗，从头开始学习python。为了方便，决定记录一下寄几的安装过程，算是一个备忘录。如有错误，请指出。注意：本安装过程适用电脑里面没有python自带解释器的。（鉴于之前的坑，本栗子决定不安装python自带解释器，直接借助第三方工具。别问为什么，问就是泪！！！）下载pycharm和Anaconda下载pycharm安装包首先在官网上下载安装包。社区版的pycharm是免费的，一般都下载社区版。点击下载即可。下载Anaconda
2020-09-26 14:29:11
919
原创 python 使用groupby count 函数之后输出为csv文件/xlsx文件
第一次写博客，竟然是为了记录pandas库对数据框分组计算之后的输出问题。问题：无法输出每个分组的名称今天对数据框进行分组、计数操作之后，发现操作之后的数据框只有两列——分组计数的结果。没有每个组的名称。解决方法加了一个参数在groupby语句里面，as_index=False。自己理解的是：使用as_index = False，可以获得“ SQL-like”输出。grouped1=df1.groupby(["condition1", "condition2"],as_index=False).
2020-06-09 20:23:05
2612
3
Introduction to Artificial Intelligence
2019-04-08
A Concise Introduction to MATLAB
2018-09-22
鸢尾花数据集iris.csv
2019-05-18
weka-3-8-3-x64.exe
2019-05-18
2019 Nature Hidden resilience .pdf
2019-12-18
大规模复杂网络社区并行发现算法.pdf
2019-12-24
Clauset-2004-Finding-community-structure-in-very.pdf
2019-12-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人