- 博客(12)
- 收藏
- 关注
RSS订阅原创 创建第一个python项目
2. 进入py_demo,创建虚拟环境，这里使用venv作为虚拟环境，如果你装了conda，也可以用conda创建虚拟环境。pycharm创建项目时会自动让你选择虚拟环境，并会在当前目录下创建.venv的目录，和上面的效果一样。确保是当前虚拟环境激活的状态下执行安装指令。1. 在你的工程根目录下创建项目文件夹py_demo.(这里已py_demo为例)此时命令行前面会出现(.venv)前缀，表明你已进入当前虚拟环境。此时在py_demo下会自动创建一个.venv的目录。4. 退出当前虚拟环境。
2025-02-25 14:19:03
452
原创 IntelliJ IDEA 运行 Apache Nutch项目并自定义构建应用
到这里会发现没有生成对应的runtime目录，runtime目录是当你开发时测试运行的目录，此时可以再通过ant命令执行一次编译，则会生成runtime目录和其下面的local和deploy文件夹，此次编译会比较快,我的这次是耗时。nutch是用Ant作为编译工具，ivy作为依赖管理工具运行的，所以在这之前，要确保你的机器上有ant和ivy这两个组件，这里我用的是ant (1.10.15) , ivy(2.5.3)此步骤会编译项目，并下载项目所需要的依赖。至此，Nutch的开发环境就配置完成了。
2025-02-13 15:55:50
1542
原创 使用Apache Nutch抓取网站内容
自定义爬网属性创建 URL 种子列表创建 URL 种子列表seed.txt配置正则表达式过滤器编辑文件并替换替换为与您要爬取的域匹配的正则表达式。例如，如果您希望将爬取限制到域注意：如果不指定要包含在 regex-urlfilter.txt 中的任何域，将导致链接到您的种子 URL 文件的所有域也被抓取。使用 URL 列表为 crawldb 设定种子1. 从初始种子列表引导现在我们有一个 Web 数据库（在当前目录下会新建一个crawl文件夹），其中包含您未爬取的 URL。
2025-02-12 16:38:02
1618
原创 Apache Nutch 1.x介绍
Nutch 是一个成熟的、可用于生产的 Web 爬网程序。Nutch 1.x 支持精细配置，依赖于 Apache Hadoop 数据结构，非常适合批处理。可插拔和模块化当然有它的好处，Nutch 为自定义实现提供了可扩展的接口，例如 Parse、Index 和。我们可以以自动方式找到网页超链接，减少大量维护工作，例如检查断开的链接，并创建所有访问过的页面的副本以供搜索。选项 1：从二进制发行版设置 Nutch。选项 2：从源分配设置 Nutch。选项 3：从源设置 Nutch。验证您的 Nutch 安装。
2025-02-12 10:49:29
381
原创 Manticore介绍和特点
Manticore Search 是一个专为搜索和分析而构建的高性能、多存储数据库，提供快如闪电的全文搜索、实时索引以及矢量搜索和列式存储等高级功能，以实现高效的数据分析。它旨在处理小型和大型数据集，为现代应用程序提供无缝的可扩展性和强大的洞察。作为一个开源数据库（可在上获得），Manticore Search 创建于 2017 年，是的延续。Manticore Search 是一种现代、快速、轻量级的数据库，具有卓越的全文搜索功能，几乎完全重写了其前身。
2025-02-12 10:39:38
2255
原创 【从零搭建税务自动化系统-前端篇】eslint.config.ts 配置自定义的rule规则， eslint 版本＞ 9.9.0
TypeScript中的any类型是类型系统的一个危险的“转义舱口”。在用Vue官方文档中 create vue的方式创建一个新的vue项目时，我们选择了支持typescript语法，并且使用eslint作为代码质量检查工具的话，项目会自动在根目录生成一个。现在我不想让它显示error，那我就可以在eslint.config.ts中关闭这个选项。我们想要修改或者自己配置自定义的规则，可以在下面添加一个对象，对象里面再配置自己的规则。默认情况下，eslint不建议定义一个any类型，默认规则配置的是“
2025-02-08 11:31:56
639
原创 【从零搭建税务自动化系统-前端篇】记一个引入Antd Vue组件没有样式的问题
调试后发现，加了cjs：true之后，居然连手动reset.css都不用写了，不知道为什么？有说是vite没用esm构建，由于其他一些配置要用commonJS构建，所以导致项目没用ESM 格式构建，但是具体是什么配置导致的，我也没找到，只找到了解决方案，但是不知道根本原因。然后排查了一整体，才发现是vite.config.ts中 AntDesignVueResolver的配置少了cjs:true的选项。然后在main.ts中调用。
2025-02-07 16:48:04
498
原创 【从零搭建税务自动化系统-前端篇】关于使用useStorage在Typescript中类型错误问题
那我就纳闷了，defaultSettings.navTheme 明明定义的时候是ThemeType类型，为什么useStoreage返回的是string呢？看官方文档，我的理解是对原始类型，useStorage能够自动拆箱成正确的类型，对于其他对象类型或自定义类型，则需要显式的给到useStorage范型类型。ThemeType 是上篇文章中定义的联合类型，类型为”dark“｜”light“上面报错的意思是useStorage返回的类型是。
2025-02-06 18:45:24
587
原创 【从零搭建税务自动化系统-前端篇】typescript keyof typeof 理解
今天在看别人写的代码的时候，有个keyof和typeof的代码看不懂，下面就通过查找原理之后做个记录。想要理解 TypeScript 里是如何工作的，首先需要理解什么是字面量类型和联合类型。
2025-02-06 17:26:43
792
原创 【从零搭建税务自动化系统-前端篇】env.d.ts 和 import.meta.env 的使用
写env.development和env.production文件里的自己创建的环境变量的类型声明文件在import.meta.env.自己创建的变量会用上/** 应用端口 *//*** 后端接口调用地址*/在vue文件中可以直接使用import.meta.env.VITE_APP_PORT 进行调用main.ts。
2025-02-05 19:26:19
292
原创 【从零搭建税务自动化系统-前端篇】tsconfig.json文件配置
可以继承另一个文件的配置。如果一个项目有多个配置，可以把共同的配置写成，其他的配置文件继承该文件，这样便于维护和修改。extends属性用来指定所要继承的配置文件。它可以是本地文件。如果extends属性指定的路径不是以./或../开头，那么编译器将在目录下查找指定的配置文件。extends属性也可以继承已发布的 npm 模块里面的 tsconfig 文件。指定的会先加载，然后加载当前的。如果两者有重名的属性，后者会覆盖前者。属性指定编译的文件列表，如果其中有一个文件不存在，就会报错。
2025-02-05 19:24:47
769
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人