- 博客(44)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 人工智能--JupyterNoteBook 转换成 PDF
您可以使用 Conda Forge 工具安装 Pandoc，例如 Conda、[Micro]Mamba 或 Pixi。Conda forge 还包括多个 LaTeX 和其他与 Pandoc 相关的软件包（包括 pandoc-citeproc、pandoc-plot、通过 librsvg 的 rsvg-convert 等）。注意：conda forge 会安装静态链接的可执行文件。我们希望将ipynb文件转换成pdf文件，需要如何处理？安装MiKTex，找到对应的版本进行安装。
2024-11-05 14:39:27
478
原创 项目开发--uml与项目代码实现
如果你的项目结构非常复杂，或者pyreverse不能满足你的需求，你可能需要考虑使用其他的工具或服务，或者手动创建UML图。这里的outputformat可以是xmi或其他支持的格式，your_project_package是你的FastAPI项目的包名或模块名。使用上述工具生成UML图。4.安装完成后,点击菜单栏"工具",选择"Code Engineering",然后选择"GenerateCode"。5.在弹出的"Generate Code"窗口中,选择你想要生成代码的语言,这里选择"Python"。
2024-10-28 17:17:00
557
原创 金融工程--pine-script 入门
马丁格尔策略具有高风险，因为它涉及在每次亏损后增加头寸大小，这可能导致在一系列亏损后迅速耗尽资本。策略入口和出口：定义策略的入场条件和出场条件。更新头寸：创建一个函数来更新头寸大小、止损价格和止盈价格。初始化变量：定义初始资本、初始头寸大小、止损百分比、止盈百分比以及当前资本和当前头寸大小等变量。开仓函数：定义一个函数来开启新的交易，记录入场价格，并更新头寸大小和止损止盈价格。策略循环：在策略循环中，根据入场和出场条件来执行开仓和平仓函数。平仓函数：定义一个函数来关闭当前的交易，并更新资本和头寸大小。
2024-10-25 23:05:22
2163
原创 项目开发--基于docker实现模型容器化服务
通常，工作流程是先使用 docker-compose build 构建镜像，然后使用 docker-compose up -d 启动容器。启动时，Docker Compose 会创建或启动 docker-compose.yml 文件中定义的服务容器，并将它们连接到指定的网络和卷（volumes）。使用 pickle 可能无法正确保存模型的结构，特别是如果模型定义在保存和加载时不可见（例如，模型定义在某个特定的脚本中，而该脚本在加载模型时未被执行）。如果不使用 -d，容器会在前台运行，日志会输出到你的终端。
2024-10-12 10:08:27
1198
1
原创 项目开发--并发测试
假设 FastAPI 服务运行在 http://localhost:8991，测试 /chat/ 端点。-H “Content-Type: application/json”：设置请求头，表示发送的是 JSON 数据。然后在浏览器中访问 http://localhost:8089，可以设置并发用户数和请求速率来进行压力测试。通过 hey 或 locust 这样的工具，可以轻松模拟大量并发请求，测试 FastAPI 服务的抗压能力。http://localhost:8991/chat/：服务的 URL。
2024-10-10 13:56:02
523
原创 项目开发--大模型--个人问答知识库
在 LangChain 中，链（chain）可以根据需要变得非常长，并且可以包含多种不同类型的组件。链的目的是将多个步骤串联起来，以便以特定的顺序执行，从而处理复杂的任务。在这个例子中，链不仅包括了提示、模型调用和输出解析，还加入了缓存检查、输出验证、文本摘要和通知发送。记住，链中的每个组件都应该实现 Runnable 接口，并且具有 invoke 方法，这样才能确保它们可以被串联起来执行。后处理（Post-Processing）: 对 LLM 输出进行额外的处理，如文本摘要、翻译或数据格式化。
2024-10-09 10:08:47
223
原创 项目开发--基于Git的代码版本管理
这个错误信息表明你在尝试将本地的更改推送到远程GitHub仓库时，远程仓库包含一些你的本地仓库没有的提交。这通常发生在其他人已经向远程仓库推送了新的更改，而你本地的仓库还没有更新这些更改。如果在过程中遇到任何问题，可以查看Git或GitHub的帮助文档，或者搜索具体的错误信息来找到解决方案。–force-with-lease 选项会在远程分支没有新的提交时才允许强制推送，这可以防止覆盖其他人的工作。提示：缺省的配置项。暂存本地修改，更新远程库的内容到本地，再恢复出刚才暂存的修改，最后处理内容冲突。
2024-09-14 13:47:49
744
原创 人工智能-GPU版本机器学习、深度学习模型安装
为了根据当前环境自动判断是否使用 GPU，可以通过检测系统是否支持 GPU 加速，然后动态修改参数设置。你可以使用 LightGBM 和 XGBoost 的 API 来检测 GPU 支持情况，并根据结果在代码中自动选择 GPU 或 CPU。如果不支持 GPU，则切换到 CPU。1、在有Nvidia-GPU的情况下模型使用cuda加速计算，但是很有多模型的GPU和CPU版本安装方式不同，如何安装lgb\cat\xgb.注意：确保已经安装了 CUDA Toolkit，并且你的系统支持 NVIDIA GPU。
2024-09-12 13:58:44
1165
原创 人工智能--模型评估指标
分类评估指标：Accuracy：适合类平衡数据。Precision、Recall：适合误报、漏报代价不同的场景。F1-Score：适合 Precision 和 Recall 同时重要的场景。AUC-ROC：用于评估模型整体性能。Confusion Matrix：用于分析分类错误的分布。Cohen’s Kappa：处理类别不平衡时的评估。Average Precision (AP)：衡量不同阈值下的精确率和召回率。
2024-09-11 18:01:36
1341
原创 金融工程--论文资料整理方法
这个网站能够很好帮助找到相关联的贡献文章。对所有的科研方向和行业都适用。sci-hub sci-hub.yncjkj.com DOI号。1、金融工程的主要参考文献来源，帮助了解最新的量化研究进展。这个神器帮你3分钟找到1000篇相关文献。2、这个工作其实对于所有的工程领域都能够使用。推荐一下ChatPaper这个项目。3、如何使用ai工具提升阅读效率？
2024-09-11 00:13:35
325
原创 人工智能--交叉验证
在使用 GroupKFold 时，划分的训练集和验证集保证同一个组内的数据不会同时出现在训练集和验证集中，以避免数据泄露问题。组（groups）的定义是，数据的某些样本属于同一个组，在交叉验证时，不应将同一组的样本分配到不同的折中。你希望在模型训练时，同一病人的所有数据只能出现在训练集或验证集中，但不能同时出现在两者中，这样可以防止数据泄露。在交叉验证中，所有组ID为 A 的样本（1 和 2）要么都在训练集中，要么都在验证集中，而不会拆分到两个不同的集群。将其中一个折作为测试集，其余K-1个折作为训练集。
2024-09-10 18:17:37
758
原创 项目开发--数据库--postgresql数据库操作
然而，出于安全考虑，你应该在安装后立即为 postgres 用户设置密码。如果你在设置密码或连接数据库时遇到问题，可以检查 PostgreSQL 的日志文件，通常位于 /var/log/postgresql/ 目录下，以获取更多信息。此外，确保你的 PostgreSQL 配置文件（通常位于 /etc/postgresql//main/ 目录下）中的认证设置是正确的。你可以使用 sudo 命令切换到 postgres 用户，因为 PostgreSQL 的服务和数据库通常以该用户身份运行。
2024-09-06 10:26:43
1251
原创 金融工程--霍华德马克斯笔记
霍华德·马克斯（Howard Marks）是一位著名的美国投资者、作家，以及橡树资本管理有限公司（Oaktree Capital Management）的联合创始人。他出生于1946年4月23日，拥有丰富的投资经验，曾在花旗银行担任高级职位，并在1985年加入TCW，1995年离开TCW后与他人共同创办了橡树资本。
2024-09-05 22:54:32
649
原创 项目开发--fastapi框架入门
#背景1、fastapi的同步和异步是如何进行控制的？2、主要的参数有哪些？3、RESTful的API设计规范是什么？4、什么是路由？5、关于序列化和反序列化如何才能像java一样便捷？6、HTTP cookies有什么设计规范？7、FastAPI的特性？8、依赖注入是什么？9、什么叫依赖倒置原则？10、Fastapi当中的中间件有哪些？作用是什么？
2024-09-02 14:50:07
1295
原创 竞赛实战--天池金融风控分类问题
保存数据，在部分情况下由于数据体量过大，保存中间数据有助于后续处理。1、金融风控分类问题，作为机器学习竞赛是一个比较好的选择。对不同类型变量进行分类分组处理。2、如何进行数据处理。
2024-08-27 23:57:05
672
原创 项目开发--python内置实用功能
如果你正在使用相对导入（例如 from . import initialize_sys_path），确保你的脚本被当作包的一部分来执行，而不是作为主程序。如果你尝试从同级的 .py 文件中直接调用 initialize_sys_path 函数，而没有通过 import 导入它，Python 解释器将无法识别这个函数。如果你的脚本是作为主程序运行的，尝试将其作为模块来运行，例如使用 python -m your_package.some_module。在使用时，需要谨慎，以避免不期望的行为。
2024-08-27 16:56:14
1098
原创 金融工程--基础策略构建
具体来说，策略首先计算前N天内最高的最高价（HH）、最高的收盘价（HC）、最低的收盘价（LC）、最低的最低价（LL），然后计算两个差值：HH-LC和HC-LL，取这两个差值的最大值作为区间值，再乘以不同的系数K1和K2得到上下轨的触发值。例如，在A股市场中，使用中证1000指数进行回测时，如果没有适当的优化，策略可能并不会带来预期的高收益。总的来说，Dual Thrust策略是一个经典的交易策略，通过适当的优化和参数调整，可以在不同的市场环境中发挥作用。
2024-08-25 21:31:15
670
原创 金融工程--基于backtrader的回测框架
在量化交易框架如 Backtrader 中，Observer 和 Analyzer 是用于监控和分析策略表现的工具。它提供了一套丰富的工具，可以帮助交易者评估策略的表现，并与基准进行比较。Broker 可以是传统的金融经纪商，也可以是提供算法交易接口的电子经纪商。这个费用可能是固定的，也可能是基于交易金额的百分比。Writer 在交易系统中可能指的是将交易数据写入文件或数据库的组件，用于记录交易历史和策略表现。这是指对交易策略的表现进行定量和定性的评估，以确定其有效性和潜在的改进空间。
2024-08-25 16:58:28
447
原创 金融工程--基础概念--期货知识
在期货交易中，如果市场朝着对投资者不利的方向发展，导致他们的保证金账户余额低于维持保证金（Maintenance Margin）的要求，他们将收到追补保证金的通知，需要存入额外的资金以维持其头寸。C. 窝轮（Warrants）：窝轮是一种衍生金融工具，类似于期权，通常也不需要投资者追补保证金，因为它们是标准化的合约，并且有固定的到期日和执行价格。C. 窝轮（Warrants）：窝轮是与正股相关的衍生产品，如果正股停牌，窝轮的交易可能会受到影响，因为它们的价值与正股的表现直接相关。
2024-08-25 16:29:14
1545
原创 项目开发--基于PyPi的祖传代码打包更新
module1.py, module2.py 等：你的包的代码文件。setup.py：包含包的元数据和安装配置的脚本。README.md 应该提供关于包的基本信息，包括它的用途、安装说明、使用方法等。LICENSE 文件应该包含你的包的许可证的完整文本。README.md：包的说明文件，通常为Markdown格式。将代码打包并发布为可安装的程序包是一个涉及多个步骤的过程，但遵循上述指南将帮助你顺利完成。1、如何将代码打包成能够被pip install 的程序包，方便后续的使用和管理更新。
2024-08-23 11:30:23
266
原创 金融工程--基于akshare的数据获取
在进行金融工程和量化交易的时候，如何获取准确的数据来为我们模型和后期的判断提供支撑和依据成为了比较关键的一个点。对这个问题有几个方面的要求。第一，获取的数据的准确性，第二，大批量数据获取的接口稳定程度，第三，对于分钟和秒级别频率的实时支持程度。注意目前tushare这个框架对于权限的要求较高，可以理解为会员，因此主要使用akshare作为主要的数据获取框架和接口。对比四种不同的框架获取K线数据的速度。关于其中的token获取方式需要通过。
2024-08-23 10:48:17
1618
原创 金融工程--基础技术指标构建
计算方法：(TP - TP的移动平均) / (0.015 * TP的标准差)，其中TP是商品价格的平均值。计算方法：当前价格与前一交易日价格的差额除以前一交易日的价格，再乘以100%。计算方法：将收益率指标应用到过去的数据上，例如，Lag1 表示前一天的收益率。用途：衡量价格相对于其平均价格的位置，常用于发现价格的异常波动。计算方法：当前价格与若干天前价格之差除以若干天前的价格。用途：衡量价格变动的强度和持续性，常用于识别趋势的强度。用途：衡量价格变动的速率，常用于识别趋势的加速或减缓。
2024-08-22 09:56:15
434
原创 项目开发--云计算--基于docker容器爬虫数据持久化到mysql
来结束命令，然后按回车键执行。如果你使用的是具有不同权限的用户，可能需要进行相应的调整。这里some-mysql是容器的名字，MYSQL_ROOT_PASSWORD是MySQL root用户的密码，-d表示后台运行，mysql:tag是Docker Hub上的MySQL镜像和标签，你可以替换为你需要的版本。这里new-mysql-container是新容器的名字，MYSQL_ROOT_PASSWORD是新的root密码，-d表示后台运行，mysql:tag是MySQL镜像和标签，你可以替换为你需要的版本。
2024-08-21 22:18:39
1416
4
原创 人工智能--数据本地持久化管理
要实现对项目代码数据的本地持久化控制，可以使用 os 模块来操作文件系统，结合其他标准库模块如 json、pickle 来序列化和反序列化数据。由于项目的代码路径和文件路径很可能并不在一个位置，并且会存在多种不同格式的文件，因此需要能够先做到相对路径的切换和判别，然后是文件类型的判别。使用 os 模块的方法来管理文件和目录，例如删除旧文件、获取目录中的文件列表等。序列化和反序列化时，确保数据的版本兼容性，特别是在使用 pickle 时。使用 os 模块来确定和创建数据存储的目录。
2024-08-18 20:45:59
278
原创 项目开发--线程池IO操作以及线程安全保证
值得注意的是，你定义了一个results [dict]作为返回值的处理和存放方式，而且全都是在写入过程当中，在url完全不一致的情况下可能不会出现任何问题。但是如果需要让这个代码有更强的普适性，我们需要思考，python当中的字典、DataFrame以及对数据库的同步操作当中，这些数据结构是否是线程安全的？在构建模型池之后需要对大量的数据进行批更新和同步，在这个过程当中会产生大量的请求访问和数据返回，并且由于数据之间的独立性。改进方式，在必要的位置增加lock锁，保证读写的线程是唯一的。
2024-08-16 15:18:25
373
原创 人工智能--时间序列--基于Prophet单因子预测
可以是一个整数表示周期的天数，也可以是一个字符串表示“年”、“季度”、“月”、“周”、“日”、“小时”、“分钟”或“秒”。daily_seasonality：控制每日季节性的建模方式，可以是“auto”、“True”、“False”或一个整数。weekly_seasonality：控制周季节性的建模方式，可以是“auto”、“True”、“False”或一个整数。yearly_seasonality：控制年季节性的建模方式，可以是“auto”、“True”、“False”或一个整数。默认是“auto”。
2024-08-16 10:50:04
836
原创 人工智能--机器学习--可视化与交互模式
如果需要更高级的交互式可视化功能，可以考虑使用 Plotly 或 Bokeh 这样的库，它们支持创建丰富的交互式图表，并且可以与 Matplotlib 和 Seaborn 无缝集成。Seaborn 是基于Matplotlib的高级绘图库，专注于统计数据可视化，提供了简化的API和美观的默认主题。总之，虽然 Matplotlib 和 Seaborn 本身主要是用于生成静态图表，但通过 Jupyter Notebook 的交互模式或集成其他交互式可视化库，它们也能够提供交互式数据可视化的体验。
2024-08-14 21:46:12
1026
原创 人工智能--机器学习--模型池与参数管理
背景：如果说我有很多模型都在做这个任务，它们有不同的参数，如何构建一个模型池的类？def(self):# 初始化一个字典来存储模型，键为模型名称，值为模型实例。
2024-08-13 16:06:25
683
原创 金融工程--基础概念
具体来说，策略首先计算前N天内最高的最高价（HH）、最高的收盘价（HC）、最低的收盘价（LC）、最低的最低价（LL），然后计算两个差值：HH-LC和HC-LL，取这两个差值的最大值作为区间值，再乘以不同的系数K1和K2得到上下轨的触发值。例如，在A股市场中，使用中证1000指数进行回测时，如果没有适当的优化，策略可能并不会带来预期的高收益。总的来说，Dual Thrust策略是一个经典的交易策略，通过适当的优化和参数调整，可以在不同的市场环境中发挥作用。滑点是指交易实际执行价格与预期执行价格之间的差异。
2024-08-04 15:57:35
317
原创 机器学习--数据工程
数据分类# 单类别数据one_value_fea = [col for col in data.columns if data[col].nunique() <= 1]# 数值类型变量numerical_fea = list(data.select_dtypes(exclude=['object']).columns)# 类别类型category_fea = list(filter(lambda x: x not in numerical_fea,list(data.columns)))
2022-04-22 14:23:11
299
原创 机器学习--数据读取
不同来源的数据集的读取方式不同批量读取数据或者分批次读取数据遇到大的文件，需要分块读取的方式import pandas as pd# 读取前1000行数据data = pd.read_csv('data.csv',nrows =1000)#只读第一列，想读哪一列就在后面写哪一列 df=pd.read_csv("data.csv",usecols=colums_label)#设置chunksize参数，来控制每次迭代数据的大小，分块读取chunker = pd.read_csv("./
2022-04-22 14:17:47
972
原创 机器学习--构建数据集
1、sklearn自带数据集sklearn中的算法一样，使用“实例化、fit、predict/score”三部曲。datasets里面能够自己创建数据集、也提供可使用的数据集，二者在同一级from sklearn import datasetsfrom sklearn.linear_ .model import LinearRegressionimport matplotib.pyplot as plt#laded_data = dasetsload. boston##data_X = l
2022-04-22 14:13:38
1908
原创 机器学习决策树
目录分类与回归构建决策树分类与回归分类法的例子包括决策分类法，基于规则的分类法，神经网络，支持向量机和朴素贝叶斯分类法构建决策树树的形状决策树的特征选择
2021-09-27 13:55:23
149
原创 机器学习——智能优化之遗传算法
目录简介代码实现简介代码实现import numpy as npimport matplotlib.pyplot as pltfrom matplotlib import cmfrom mpl_toolkits.mplot3d import Axes3DDNA_SIZE = 24POP_SIZE = 200CROSSOVER_RATE = 0.8MUTATION_RATE = 0.005N_GENERATIONS = 50X_BOUND = [-3, 3]Y_BOUND = [-
2021-09-03 14:25:53
214
原创 人工智能--机器学习--随机森林算法实现
目录简介随机森林分类直接实现随机森林回归简介随机森林分类直接实现'''随机森林需要调整的参数有：（1） 决策树的个数（2） 特征属性的个数（3） 递归次数（即决策树的深度）'''from numpy import inffrom numpy import zerosimport numpy as npfrom sklearn.model_selection import train_test_split #生成数据集。数据集包括标签，全包含在返回值的dataset
2021-09-03 10:50:24
187
原创 人工智能--机器学习--模型持久化
目录简介使用python自带的pickle使用sklearn中的模块joblib实例简介当我们训练好一个模型之后，将其保存下来之后下次就可以直接使用而不需要再次耗费很多时间去重新对模型进行训练。使用python自带的picklefrom sklearn.ensemble import RandomForestClassifierfrom sklearn import datasetsimport pickle#方法一:python自带的pickle(X,y) = datasets.load
2021-09-03 09:19:12
611
1
原创 机器学习——主成分分析法(PCA)
目录简介代码实现简介代码实现import matplotlib.pyplot as plt #加载matplotlib用于数据的可视化from sklearn.decomposition import PCA #加载PCA算法包from sklearn.datasets import load_iris data=load_iris()y=data.targetx=data.datapca=PCA(n_components=2)
2021-09-02 15:41:30
345
学生成绩管理系统.zip
2020-01-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人