com.google.code:sitemapgen4j介绍

seo优化之robots.txt 与 sitemap.xml 简介 最近做了自己的blog网站。seo优化是自己建站必会遇到的问题。这次主要讲的是robots.txt文件与sitemap.xml文件。以及spring boot jar 包项目如何让搜索引擎通过url来查看到这个文件。 robots.txt robots.txt文件是搜索引擎访问网站第一个要查看的文件。通过robots.txt文件搜索引擎可以确定哪些链接是搜索引擎可以访问的。哪些链接是不希望搜索引擎访问的。甚至可以告知允许哪些搜索引擎访问网站。相当于网站与搜索引擎之间的协议。在搜索引擎找到robots. 阅读详情

作用:

    生成sitemap:在生成sitemap时,该类就比较好用,也不用自己再重新写。


总体类图:

   



使用:

package com.madding.shared.misc.sitemap;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.MalformedURLException;
import java.text.SimpleDateFormat;
import java.util.Date;

import com.redfin.sitemapgenerator.ChangeFreq;
import com.redfin.sitemapgenerator.SitemapGeneratorBuilder;
import com.redfin.sitemapgenerator.WebSitemapGenerator;
import com.redfin.sitemapgenerator.WebSitemapUrl;

public class SitemapGen {

    public final static String        INDEX_HTML = "index.html";

    public static WebSitemapGenerator wsg        = null;

    // public static LinkedBlockingQueue<String> lbQueue = new LinkedBlockingQueue<String>();

    public static void main(String[] args) throws IOException, InterruptedException {
        String baseUrl = "http://detail.china.alibaba.com/";
        File oDir = new File("/home/madding/output/seo/sitemap/output");
        File iFile = new File("/home/madding/output/seo/sitemap/detail.china.alibaba.com");

        init(baseUrl, oDir);

        // read(iDir);

        // while(!lbQueue.isEmpty()) {
        // String url = (String) lbQueue.poll();
        // addUrl(url);
        // }

        BufferedReader br = new BufferedReader(new InputStreamReader(new FileInputStream(iFile)));
        while (br.ready()) {
            String url = br.readLine();
            if(url == null || "".equals(url)) continue;
            WebSitemapUrl.Options op =new WebSitemapUrl.Options(url);
            op.priority(1.0d);
            op.changeFreq(ChangeFreq.DAILY);
            op.lastMod(new Date());
            addUrl(op.build());
        }
        
        finish();
    }

    public static void init(String baseUrl, File oDir) throws MalformedURLException {
        SitemapGeneratorBuilder<WebSitemapGenerator> sitemapGenBuilder = WebSitemapGenerator.builder(baseUrl, oDir);
        
        sitemapGenBuilder.gzip(true);
        
        SimpleDateFormat dateformat=new SimpleDateFormat("yyyy-MM-dd_HH");
        String dataStr=dateformat.format(new Date());
        sitemapGenBuilder.fileNamePrefix("sitemap_" + dataStr);
        
        wsg = sitemapGenBuilder.build();
    }

    public static void addUrl(String url) throws MalformedURLException {
        wsg.addUrl(url);
    }

    public static void addUrl(WebSitemapUrl url) throws MalformedURLException {
        wsg.addUrl(url);
    }

    public static void finish() {
        wsg.write();
        wsg.writeSitemapsWithIndex();
    }
    

    // public static void read(File iFile) throws IOException, InterruptedException {
    // BufferedReader br = new BufferedReader(new InputStreamReader(new FileInputStream(iFile)));
    // while(br.ready()) {
    // lbQueue.put(br.readLine());
    // }
    // }
}

具体见:

https://programmer-tools.googlecode.com/svn/trunk/tools.doc





模拟HashMap死循环现象 Java中有一个HashMap,我们也都知道,改类型为线程不安全,会出现线程死循环问题,今天我们通过一个小代码来模拟一下HashMap产生死循环,同时描述一下现象:   代码: java代码: package com.wmmad.threadlocal.test; import java.util.HashMap; /** * * @author madding.lip * 阅读详情

相关推荐

sitemapgen4j:SitemapGen4j是一个用于在Java中生成XML网站地图的库

sitemapgen4j SitemapGen4j是一个库,用于以Java生成XML站点地图。 什么是XML网站地图? 引用 : 站点地图是网站站长通知搜索引擎有关其站点上可进行爬网的页面的一种简便方法。 Sitemap是最简单的形式,它是一个XML文件,其中列出了站点的URL以及有关每个URL的其他元数据(相对于站点中其他URL的最新更新时间,通常更改的频率以及重要性) ),以便搜索引擎可以更智能地抓取该网站。 Web爬网程序通常从站点内的链接和其他站点发现页面。 Sitemaps补充了这些数据,以允许支持Sitemaps的爬网程序拾取Sitemaps中的所有URL,并使用关联的元数据了解这些URL。 使用Sitemaps协议不能保证网页会包含在搜索引擎中,但是会为网络爬虫提供提示,以帮助他们更好地爬网您的网站。 Sitemap 0.90是根据Attribution-ShareA

Springboot使用插件sitemapgen4j自动生成最大限度50000个url的sitemap文件,并自动创建sitemap的index索引型文件

Index 如果超出了 5 万条需要写入另外一个 sitemap 当中,这个功能 sitemapgen4j 已经替我们实现了,无需担心。如果超出,生成的文件就像是这样的: - q1.xml - q2.xml - q3.xml - q4.xml 这样的话,在站长平台这里,如果新增了文件就要新增一条sitemap 网址记录,很麻烦。 但是各个搜索引擎的站长平台已经想到可以提交索引文件的方法,而这个插件也是可以自动生成索引文件的。 我们把每次生成的 sitemap 文件的地址,添..

qq_38680405的博客 2093

SiteMap网站地图生成器

此软件需要微软.Net Framework2.0运行库支持,此软件在dotnetfx文件夹下,如果你的电脑提示软件无法运行,请安装运行库. 生成了网站地图后,把sitemap.xml文件放到你的网站根目录下即可. 此软件可以快速提升你的网站收录数量 ,进而提升网站PR,提升搜索排名.

Spring Boot集成sitemapgen4j实现网站地图生成

1.什么是sitemapgen4j是一个用于在Java中生成XML网站地图的库,比如生成网站的sitemap,如果超出了 5 万条需要写入另外一个 sitemap 当中,这个功能 sitemapgen4j 已经替我们实现了,无需担心。sitemap站点地图是网站管理员向搜索引擎告知其网站上可用于抓取的页面的一种简单方法。 站点地图最简单的形式是一个 XML 文件,其中列出了站点的 URL 以及有...

HBLOG 1111

kaptcha-2.3.2.jar

kaptcha-2.3.2.jar:用于生成图形验证码的开源Java库

【3D目标检测】环境搭建(OpenPCDet、MMdetection3d、Det3d)

在Conda虚拟环境中搭建MMdetection3d环境

qq_44703886的博客 4252

java sitemap.xml站点地图创建 sitemap提交百度提示xml格式错误 sitemapgen4j使用 java百度链接主动(实时)推送

一、前言 前几个月用jeesite4开发了个网站,上线运行了几个月,因为自己搞过SEO,所有,想把站点提交到百度收录,遇到了一些很尴尬的事,就是百度链接提交通过sitemap提交,一直提示XML格式错误,提示这个也就算了,问题是没有任何错误信息,无语。。 检查了好几遍,没有任何问题,上面提示着XML错误,点击去就提示网页找不到。。 本来想着反馈下问题,没想到,百度那边半个多月了...

fendo 3278

用pyqtgraph 和pyqt5绘制股票K线图

# -*- coding: utf-8 -*- # Form implementation generated from reading ui file 'QWidget_plot.ui' # # Created by: PyQt4 UI code generator 4.11.4 # # WARNING! All changes made in this file will be lost!...

qq_23114283的博客 5427

SitemapGen4j:Java开发者必备的XML站点地图生成神器

SitemapGen4j:Java开发者必备的XML站点地图生成神器 项目地址:https://gitcode.com/gh_mirrors/si/sitemapgen4j 在网站优化和搜索引擎友好性日益重要的今天,管理一个站点的有效索引变得至关重要。SitemapGen4j 正是为了解决这一需求而生,它是一款强大的Java库,专门用于自动生成XML格式的站点地图,帮助你的网站更好地被搜索引擎理解...

gitblog_00022的博客 589

[pcie]gen6 下 L0p

000b~100b: 触发L0p 操作流程协商工作link width 到target link width.为111b:link width 硬件动态调整。硬件动态:Device control 3 register.target link width=111b当pcie链路检测到空闲状态时,设备可以主动进入L0p状态。L0p 是pcie gen6 新引入的链路状态,是L0的子状态。(5)LINK WIDTH:当LINK WIDTH CHANGE.cmd为Request时表示请求的链路宽度。

BIG_APPLE1的博客 1675

AutoDL跑yolo

由于博主在AutoDL的JupyterLab的终端直接上传ZIp文件要么老是再上传中被中断,要么就是上传后使用unzip指令解压显示“找不到”,作为纯小白的我实在太难了!这个文件列出了一个 Python 项目所需的所有依赖包及其精确的版本号。这个文件是 Python 项目中常见的一种方式,用于确保项目在不同环境中都能以相同的依赖包配置运行。3.进入JupyterLab,在文件夹目录中找到上传的文件夹,右键点击“复制路径”。然后在终端中输入以下指令进行切换到该文件夹路径。9.安装成功后开始输入指令开跑!

m0_73804659的博客 1204

sitemap java_SitemapGen4j:用Java产生Sitemap网站地图

SitemapGen4j:用Java产生Sitemap网站地图Sitemap网站地图是一个为网站管理员通知google 百度等搜索网站蜘蛛抓取自己网站内容的简单的方式。网站地图是一个简单的XML文件,包含URL网址和其他一些细节如最后更新时间,以及多久更新URL(URL变化频和网址的优先级。Sitemap网站地图是提高网站SEO的基础必备之一,在百度或google的网站管理工具中有专门让你输入你网...

weixin_42332123的博客 807

QKD(量子密钥分发)

量子密钥分发(Quantum Key Distribution,QKD)是一种基于量子力学原理的安全通信协议,它允许两个用户通过不安全的通信信道创建并共享一个安全的密钥。这个密钥随后可以用于加密和解密信息,确保通信的机密性。QKD的核心原理是量子不可克隆定理和量子测量的不确定性。

qq_40844444的博客 2896

使用sitemapgen4j结合htmlParser生成网站的sitemap.xml

今天尝试写了小段代码来给别人的网站生成sitemap.xml文件。 在google code中找到sitemapgen4j 开源组件,专门针对生成对应google search engine 的sitemap.xml文件。 sitemapgen4j 组件的主页:http://code.google.com/p/sitemapgen4j/ 上面包括组件的源代码和简易的使用教程,懂点英文的就...

给生活加点盐 442

W5500 TCP服务器状态机详解:从SOCK_CLOSED到SOCK_ESTABLISHED的完整流程

本文深入解析W5500芯片作为TCP服务器时的状态机转换流程,从SOCK_CLOSED到SOCK_ESTABLISHED的完整链路实践。通过硬件协议栈架构分析、状态机全流程拆解及异常处理方案,帮助开发者构建高可靠性的嵌入式网络服务端,优化TCP连接性能与稳定性。

Jerry的专栏 1165

SKUA-GOCAD入门教程-第七节 点的创建与编辑3

本文介绍了四种从井数据创建点集的方法

江洋大葱的博客 963

SitemapGen4j 使用教程

SitemapGen4j 使用教程 项目介绍 SitemapGen4j 是一个用于在 Java 中生成 XML 网站地图的库。XML 网站地图是网站管理员向搜索引擎告知其网站上可用于抓取的页面的一种简单方法。SitemapGen4j 可以帮助开发者轻松生成这些 XML 文件,以便搜索引擎能够更智能地抓取网站。 项目快速启动 1. 添加依赖 首先,在你的 Maven 项目中添加 SitemapGen...

gitblog_00287的博客 954

AI使能的SVD算子:基于深度学习的矩阵分解方法

奇异值分解(Singular Value Decomposition, SVD)是线性代数中一种重要的矩阵分解方法,广泛应用于信号处理、数据降维、推荐系统等领域。传统SVD算法虽然精确,但在处理大规模矩阵时面临计算复杂度高、内存需求大等问题。本文提出了一种基于深度学习神经网络的SVD算子实现方法,完全摒弃传统数值算法,仅使用PyTorch框架构建的神经网络模型来完成大规模信道矩阵的SVD分解与还原。

huanghm88的专栏 1321

SitemapGen4j:Java语言的XML网站地图生成库

SitemapGen4j:Java语言的XML网站地图生成库 项目基础介绍 SitemapGen4j 是一个使用 Java 语言编写的开源项目,它旨在帮助开发者生成 XML 格式的网站地图。网站地图是一种便于搜索引擎爬虫更好地理解网站结构的方式,通过列出网站上的 URL 以及相关的元数据(如最后更新时间、更新频率和相对重要性),搜索引擎可以更智能地进行爬取。 核心功能 SitemapGen4j 的...

gitblog_00801的博客 315

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

jradius session lock引起的性能下降问题排查

session lock影响性能 问题描述: 在我们使用jradius时,发现线上请求大于10 req/s时,jradius出现性能极差,部分请求响应大概要5s甚至更长才能响应出去。 分析过程: 1.发现是响应问题,我通过btrace分析几个时间关键点,发现我们自定义的auth handler响应基本能在20ms左右响应,但是整个处理结束需要5s,大部分出问题都是这种场景; btrace

madding 1828

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

Java生成sitemap网站地图

sitemap 是什么?对应没有接触过网站 SEO 的同学可能不知道,这里引用一下百度站长的一段解释。 Sitemap(即站点地图)就是您网站上各网页的列表。创建并提交Sitemap有助于百度发现并了解您网站上的所有网页。您还可以使用Sitemap提供有关您网站的其他信息,如上次更新日期、Sitemap文件的更新频率等,供百度Spider参考 简单来说,sitemap 就是搜索引擎爬虫便于爬取...

weixin_33709219的博客 962

sitemap java_Java动态生成SiteMap.xml,无需插件

建站以来,试过好多方法实现sitemap.xml ,从最早的手动更新,到后来每次更新自动写入本地io文件。一方面感觉太零零散散,另外实时的程度不高,再加上好多ZZ引擎,sitemap的要求还能和别人不一样。。。总之最终决定写个动态的,通过springboot的GET接口返回字符串实现,xml结构不复杂,就自己拼。共计3部分:其中sitemap类是封装sitemap的实体类;提供了一个简单的Uti...

weixin_39958112的博客 802

sitemapgen4j的No URLs added, sitemap index would be empty; you must add some URLs with add异常

sitemap基础知识:http://wenku.baidu.com/view/bb33f4956bec0975f465e277.html见这个文档 情景:        线上线下数据量不一致导致,线上数据较多,加上wsg.writeSitemapsWithIndex();这句代码,把生成的sitemap.xml文件分成多个。线下数据较少,不需要wsg.writeSitemapsWithI

aiguoxin 1365

java生成xml格式文件-提交sitemap

通过使用org.jdom包的功能生成xml文件,提交搜索资源平台网站sitemap文件:mavan:&lt;!-- https://mvnrepository.com/artifact/org.jdom/jdom --&gt; &lt;dependency&gt; &lt;groupId&gt;org.jdom&lt;/groupId&gt; &lt;artifactId&gt;j...

鱼儿眼中的海 1921
上一篇: velocity源码分析:上下文承载类
下一篇: 几种字符乱码
「已注销」
博客等级 码龄20年 47粉丝 107原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值