这里是二进制空间安全博客,主要分享网络安全、信息安全和数据安全相关的技术文章。内容覆盖编程语言、基础知识、漏洞分析、攻防技巧、安全工具使用、最佳实践等安全技术主题。

在大多数Go语言项目中, 配置文件通常为yaml文件格式, 在文件中可以设置项目中可灵活配置的各类参数, 通常这类参数都是比较固定的, 可以将其映射为对应的结构体在项目中进行使用, 如果需要调整参数时, 只需要增减结构体参数字段内容即可。

本次用Go语言实现的网络协议解析功能是基于Google公司开发一个开源库:gopacket, 该库帮我们完成了网络协议的一些底层封装, 它允许我们能够捕获、解析和处理网络数据包, 与Wireshark一样,也支持对离线抓包文件的分析。gopacket库提供了一系列功能,包括:数据包捕获、解析和构建, 以及对多种协议的支持,如:Ethernet、IP、TCP、UDP、HTTP等。它还提供了方便的API, 以帮助开发者操作和分析网络数据包。

在本文中,我首先对网站常用的反爬虫和反自动化技术做了一个梳理, 并对可能能够绕过这些反爬技术的开源库chromedp所使用的技术分拆做一个介绍, 最后利用chromedp库对一个测试网站做了爬虫测试, 并利用chromedp库绕开了爬虫限制,成功通过程序自动获取到信息。在测试过程中,顺便对chromedp库经常使用的一些API做了一些调用尝试。

在工作中经常有多个项目要管理,但我没有财力为每个项目支付单独的虚拟私有服务器(VPS)进行托管。使用反向代理, 有了已经拥有的VPS,可以托管多个项目,并使用反向代理根据用户使用的网址将请求引导到正确的项目。这为我以合算的价格有效地管理所有项目打开了新的大门。

以自己的发展方向为目标, 工作内容尽量不要偏离自己的发展目标, 否则自己将来的知识很难构成体系, 在这个基础上, 逐步去接触各类编程语言, 用来解决工作中的实际问题, 只有这样,才可能更容易将知识点逐步以点盖面, 建立起自己的知识网络。

这里主要利用了rsrc开源库将图标资源写入可执行程序, 利用Go语言的跨平台特性方便的在Linux系统上生成了在WIndows系统中执行的程序。