信息收集--OSINT

---

一、开源情报信息收集

1.搜索引擎语法

• 百度
• 必应
• 谷歌

2.在线接口

• https://anquan.baidu.com/product/secindex?industry=total
• http://www.webscan.cc/
• https://censys.io/certificates?q=.example.com
• https://crt.sh/?q=%25.example.com
• https://github.com/c0ny1/WorkScripts/tree/master/get-subdomain-from-baidu
• https://dnsdumpster.com/
• https://www.threatcrowd.org/searchApi/v2/domain/report/?domain=baidu.com
• https://findsubdomains.com/
• https://dnslytics.com/search?q=www.baidu.com
• https://viewdns.info/
• https://www.ipneighbour.com/#/lookup
• https://securitytrails.com/domain/baidu.com/dns
• http://www.yunsee.cn/finger.html

3.相关工具

• https://github.com/rshipp/awesome-malware-analysis/blob/master/恶意软件分析大合集.md#域名分析

4.DNS历史解析记录

• dnsdb
  全球DNS搜索引擎
• viewdns.info
  DNS历史记录网站
• securitytrails.com
  DNS历史数据库

.A记录：IP指向记录，将一个IP和一个子域名相对应，从而实现通过一个域名找到服务器，而且指向的目标主机地址类型只能使用IP地址
CNAME记录：别名指向记录
MX记录：邮件交换记录，将以该域名为结尾的电子邮件指向对应的邮件服务器以进行处理
NS记录：解析服务器记录

5.Github Hacking

您可以在所有公共GitHub存储库中搜索以下类型的信息，以及您有权访问的所有私有GitHub存储库：

• Repositories
• Topics
• lssues and pull requests
• Code
• Commits
• Users
• Wikis
  

参考：

• Searching for repositories
• Searching topics
• Searching code
• Searching commits
• Searching issues and pull requests
• Searching users
• Searching wikis
• Searching in forks

您可以使用搜索页面或高级搜索页面搜索GitHub
您可以使用>, >= , <和<=搜索大于，大于或等于，小于和小于或等于另一个值的值

搜索仓库

Query	Example
> _ n _	cats stars:>1000匹配关键字"cats"且star大于1000的仓库
> = _ n _	cats topics:>=5匹配关键字"cats"且标签数量大于等于5的仓库
< _ n _	cats size:<10000匹配关键字"cats"且文件小于10KB的仓库
<= _ n _	cats stars:<=50匹配关键字"cats"且star小于等于50的仓库
_ n _ …*	cats stars:10…*匹配关键字"cats"且star大于等于10的仓库
* … _ n _	cats stars:*…10匹配关键字"cats"且star小于等于10的仓库
n…n	cats stars:10…50匹配关键字"cats"且star大于10且小于50的仓库

以下搜索语法与上面差不多，就不贴表格了

搜索代码

注意事项

• 只能搜索小于384 KB的文件
• 只能搜索少于500,000个文件的存储库
• 登录的用户可以搜索所有公共存储库
• 除filename搜索外，搜索源代码时必须至少包含一个搜索词。例如，搜索language:javascript无效，而是这样：amazing language:javascript
• 搜索结果最多可以显示来自同一文件的两个片段，但文件中可能会有更多结果
• 您不能将以下通配符用作搜索查询的一部分:﹒ ， : ; / \ ’ " = * ! ?# $&+Al-> ( ) { }[ ]。搜索将忽略这些符号

日期条件
cats pushed:<2012-07-05 搜索在2012年07月05日前push代码，且cats作为关键字
cats pushed:2016-04-30…2016-07-04 日期区间
cats created:>=2017-04-01 创建时间

逻辑运算
AND、OR、NOT

排除运算
cats pushed:<2012-07-05 -language:java 搜索在2012年07月05日前push代码，且cats作为关键字，排除java语言仓库

包含搜索
cats in:file 搜索文件中包含cats的代码
cats in:path 搜索路径中包含cats的代码
cats in:path，file 搜索路径、文件中包含cats的代码
console path:app/public language:javascript 搜索关键字console，且语言为javascript，在app/public下的代码

主体搜索
user:USERNAME 用户名搜索
org:ORGNAME 组织搜索
repo:USERNAME/REPOSITORY 指定仓库搜索

文件大小
size:>1000 搜索大小大于1KB的文件

文件名称
filename:config.php language:php 搜索文件名为config.php，且语言为php的代码
例如搜索Java项目配置文件：mail filename:.properties

扩展名
extension:EXTENSION 指定扩展名搜索
例如：extension:properties jdbc

自动化工具

GitHub敏感信息泄露监控的工具有好几种，目前基本上是调用GitHub token通过关键词搜索匹配到的。常见的有GSIL、GShark、hawkeye、Github-Monitor、x-patrol等。

资源链接：

• Gitrob
  http://www.github.com/michenriksen/gitrob
• x-patrol
  https://github.com/MiSecurity/x-patrol
• GitMiner
  https://github.com/UnkL4b/GitMiner
• GShark
  https://github.com/neal1991/gshark

GitMiner安装

$ git clone http://github.com/UnkL4b/GitMiner
$ cd GitMiner
$ curl -s https://bootstrap.pypa.io/get-pip.py | python3
$ pip -V
~/GitMiner $ pip3 install -r requirements.txt

我的是装好过一遍的了

$ git clone http://github.com/UnkL4b/GitMiner
$ cd GitMiner
$ docker build -t gitminer .
$ docker run -it gitminer -h