我在使用Jupyter进行Web Search项目的时候,希望试用异步方法来进行页面的加载,如下图:
from langchain_community.document_loaders import AsyncChromiumLoader
from langchain_community.document_transformers import BeautifulSoupTransformer
from langchain_openai import ChatOpenAI
BASE_URL = "https://apejhvxcd.cloud.sealos.io/v1"
llm = ChatOpenAI(
temperature = 0.5,
base_url= BASE_URL,
model = 'gpt-3.5-turbo',
)
loader = AsyncChromiumLoader(["https://www.baidu.com"])
# Load the URLs
html = loader.load()
# Print the HTML content
print(html)
运行结果报错:
奇怪的是,同样的代码,我在pycharm环境跑就OK,如下图:
可以获得百度的页面信息。我思考了一下这个问题,认为可能是这样的:
1. Jupyter是一个基于浏览器运行的开发环境,他在调用AsyncChromiumLoader方法去启用另外一个浏览器(Chromium)时,可能存在某种冲突,这种冲突导致chromium的异步方法无法加载
2. Pycharm开发环境不急于浏览器,因此不存在冲突因此可以运行
如果有大神能指出这种冲突的底层原因就好了,我目前无力找到这个问题的根源。