RAG部署本地知识库

部署运行你感兴趣的模型镜像

RAG部署本地知识库
requirements.txt

#
# This file is autogenerated by pip-compile with Python 3.11
# by the following command:
#
#    pip-compile cookbook/llms/ollama/rag/requirements.in
#
altair==5.3.0
    # via streamlit
annotated-types==0.6.0
    # via pydantic
anyio==4.3.0
    # via httpx
attrs==23.2.0
    # via
    #   jsonschema
    #   referencing
beautifulsoup4==4.12.3
    # via bs4
blinker==1.7.0
    # via streamlit
bs4==0.0.2
    # via -r cookbook/llms/ollama/rag/requirements.in
cachetools==5.3.3
    # via streamlit
certifi==2024.2.2
    # via
    #   curl-cffi
    #   httpcore
    #   httpx
    #   requests
cffi==1.16.0
    # via curl-cffi
charset-normalizer==3.3.2
    # via requests
click==8.1.7
    # via
    #   duckduckgo-search
    #   streamlit
    #   typer
curl-cffi==0.6.2
    # via duckduckgo-search
duckduckgo-search==5.3.0
    # via -r cookbook/llms/ollama/rag/requirements.in
gitdb==4.0.11
    # via gitpython
gitpython==3.1.43
    # via
    #   phidata
    #   streamlit
h11==0.14.0
    # via httpcore
httpcore==1.0.5
    # via httpx
httpx==0.27.0
    # via
    #   ollama
    #   phidata
idna==3.7
    # via
    #   anyio
    #   httpx
    #   requests
jinja2==3.1.3
    # via
    #   altair
    #   pydeck
jsonschema==4.21.1
    # via altair
jsonschema-specifications==2023.12.1
    # via jsonschema
markdown-it-py==3.0.0
    # via rich
markupsafe==2.1.5
    # via jinja2
mdurl==0.1.2
    # via markdown-it-py
numpy==1.26.4
    # via
    #   altair
    #   pandas
    #   pgvector
    #   pyarrow
    #   pydeck
    #   streamlit
ollama==0.1.8
    # via -r cookbook/llms/ollama/rag/requirements.in
orjson==3.10.1
    # via duckduckgo-search
packaging==24.0
    # via
    #   altair
    #   streamlit
pandas==2.2.2
    # via
    #   altair
    #   streamlit
pgvector==0.2.5
    # via -r cookbook/llms/ollama/rag/requirements.in
phidata==2.4.20
    # via -r cookbook/llms/ollama/rag/requirements.in
pillow==10.3.0
    # via streamlit
protobuf==4.25.3
    # via streamlit
psycopg[binary]==3.1.18
    # via -r cookbook/llms/ollama/rag/requirements.in
psycopg-binary==3.1.18
    # via psycopg
pyarrow==15.0.2
    # via streamlit
pycparser==2.22
    # via cffi
pydantic==2.7.0
    # via
    #   phidata
    #   pydantic-settings
pydantic-core==2.18.1
    # via pydantic
pydantic-settings==2.2.1
    # via phidata
pydeck==0.8.1b0
    # via streamlit
pygments==2.17.2
    # via rich
pypdf==4.2.0
    # via -r cookbook/llms/ollama/rag/requirements.in
python-dateutil==2.9.0.post0
    # via pandas
python-dotenv==1.0.1
    # via
    #   phidata
    #   pydantic-settings
pytz==2024.1
    # via pandas
pyyaml==6.0.1
    # via phidata
referencing==0.34.0
    # via
    #   jsonschema
    #   jsonschema-specifications
requests==2.31.0
    # via streamlit
rich==13.7.1
    # via
    #   phidata
    #   streamlit
    #   typer
rpds-py==0.18.0
    # via
    #   jsonschema
    #   referencing
shellingham==1.5.4
    # via typer
six==1.16.0
    # via python-dateutil
smmap==5.0.1
    # via gitdb
sniffio==1.3.1
    # via
    #   anyio
    #   httpx
soupsieve==2.5
    # via beautifulsoup4
sqlalchemy==2.0.29
    # via -r cookbook/llms/ollama/rag/requirements.in
streamlit==1.33.0
    # via -r cookbook/llms/ollama/rag/requirements.in
tenacity==8.2.3
    # via streamlit
toml==0.10.2
    # via streamlit
tomli==2.0.1
    # via phidata
toolz==0.12.1
    # via altair
tornado==6.4
    # via streamlit
typer==0.12.3
    # via phidata
typing-extensions==4.11.0
    # via
    #   phidata
    #   psycopg
    #   pydantic
    #   pydantic-core
    #   sqlalchemy
    #   streamlit
    #   typer
tzdata==2024.1
    # via pandas
urllib3==1.26.18
    # via requests

➜  ~ ollama pull llama3
➜  ~ ollama pull nomic-embed-text

➜  ~ docker run -d -e POSTGRES_DB=ai -e POSTGRES_USER=ai -e POSTGRES_PASSWORD=ai -e PGDATA=/var/lib/postgresql/data/pgdata -v pgvolume:/var/lib/postgresql/data -p 5532:5432 --name pgvector phidata/pgvector:16

➜  ~ conda create --name envrag python=3.11
➜  ~ conda activate envrag
(envrag) ➜  ~ pip install -r requirements.txt
(envrag) ➜  ~ pip install -U phidata

(envrag) ➜  ~ pip install streamlit
(envrag) ➜  ~ streamlit --version
Streamlit, version 1.40.1
(envrag) ➜  ~ pip install socksio

(envrag) ➜  ~ streamlit run app.py

您可能感兴趣的与本文相关的镜像

Python3.11

Python3.11

Conda
Python

Python 是一种高级、解释型、通用的编程语言,以其简洁易读的语法而闻名,适用于广泛的应用,包括Web开发、数据分析、人工智能和自动化脚本

内容概要:本文详细介绍了一个基于Java和Vue的联邦学习隐私保护推荐系统的设计与实现。系统采用联邦学习架构,使用户数据在本地完成模型训练,仅上传加密后的模型参数或梯度,通过中心服务器进行联邦平均聚合,从而实现数据隐私保护与协同建模的双重目标。项目涵盖完整的系统架构设计,包括本地模型训练、中心参数聚合、安全通信、前后端解耦、推荐算法插件化等模块,并结合差分隐私与同态加密等技术强化安全性。同时,系统通过Vue前端实现用户行为采集与个性化推荐展示,Java后端支撑高并发服务与日志处理,形成“本地训练—参数上传—全局聚合—模型下发—个性化微调”的完整闭环。文中还提供了关键模块的代码示例,如特征提取、模型聚合、加密上传等,增强了项目的可实施性与工程参考价值。 适合人群:具备一定Java和Vue开发基础,熟悉Spring Boot、RESTful API、分布式系统或机器学习相关技术,从事推荐系统、隐私计算或全栈开发方向的研发人员。 使用场景及目标:①学习联邦学习在推荐系统中的工程落地方法;②掌握隐私保护机制(如加密传输、差分隐私)与模型聚合技术的集成;③构建高安全、可扩展的分布式推荐系统原型;④实现前后端协同的个性化推荐闭环系统。 阅读建议:建议结合代码示例深入理解联邦学习流程,重点关注本地训练与全局聚合的协同逻辑,同时可基于项目架构进行算法替换与功能扩展,适用于科研验证与工业级系统原型开发。
源码来自:https://pan.quark.cn/s/a4b39357ea24 遗传算法 - 简书 遗传算法的理论是根据达尔文进化论而设计出来的算法: 人类是朝着好的方向(最优解)进化,进化过程中,会自动选择优良基因,淘汰劣等基因。 遗传算法(英语:genetic algorithm (GA) )是计算数学中用于解决最佳化的搜索算法,是进化算法的一种。 进化算法最初是借鉴了进化生物学中的一些现象而发展起来的,这些现象包括遗传、突变、自然选择、杂交等。 搜索算法的共同特征为: 首先组成一组候选解 依据某些适应性条件测算这些候选解的适应度 根据适应度保留某些候选解,放弃其他候选解 对保留的候选解进行某些操作,生成新的候选解 遗传算法流程 遗传算法的一般步骤 my_fitness函数 评估每条染色体所对应个体的适应度 升序排列适应度评估值,选出 前 parent_number 个 个体作为 待选 parent 种群(适应度函数的值越小越好) 从 待选 parent 种群 中随机选择 2 个个体作为父方和母方。 抽取父母双方的染色体,进行交叉,产生 2 个子代。 (交叉概率) 对子代(parent + 生成的 child)的染色体进行变异。 (变异概率) 重复3,4,5步骤,直到新种群(parentnumber + childnumber)的产生。 循环以上步骤直至找到满意的解。 名词解释 交叉概率:两个个体进行交配的概率。 例如,交配概率为0.8,则80%的“夫妻”会生育后代。 变异概率:所有的基因中发生变异的占总体的比例。 GA函数 适应度函数 适应度函数由解决的问题决定。 举一个平方和的例子。 简单的平方和问题 求函数的最小值,其中每个变量的取值区间都是 [-1, ...
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值