小龍人博客提供最新的技术,源码,营销推广等知识
当前位置:网站首页 > 软件工具 > 正文

网站文章内容页地址URL提取工具-SEO必备

作者:admin 日期:2018-07-17 分类:软件工具

我在学做seo的时候,不管蜘蛛池还是webshell 其实原理都差不多,基本上都需要把自己网站的文章内容页放入自己的池子里面去引蜘蛛,但是一直很困扰的是不知道怎么把文章页的url给提取出来, 地图上提取还是比较麻烦,网上找了很久,目前发现的就是这个软件,还不错,推荐给大家


大家介绍一个可能大家不太熟悉,功能却非常强大的,只流传于SEO大神之间的一个工具:


ScreamingFrogSEOSpider,ScreamingFrogSEOSpider官网&下载地址:


ScreamingFrogSEOSpider功能简介


 ScreamingFrogSEOSpider搜索引擎蜘蛛爬行工具&报告如下:

    HTTP错误代码——客户端错误等失效链接&服务器错误(5没有反应,4 xx,xx)。

    重定向——永久或临时重定向(3 xx响应)。

    外部链接,外部链接和他们的状态码。

    协议- url是否安全(HTTPS)或不安全的(HTTP)。

    URI问题——非ASCII字符,下划线,大写字符,参数,或长url。

    重复的页面-散列值/ MD5checksums算法检查准确复制页面。

    页面标题——失踪的,重复的,超过65个字符,短,像素宽度截断,h1一样,或多个。

    元描述——失踪,重复,超过156个字符,短,截断或多个像素宽度。

    元关键字——主要是供参考,因为他们没有使用谷歌、必应(Bing)或者雅虎。

    文件大小——网址和图片的大小。

    响应时间。

    last – modified头。

    页面深度的水平。

    字数。

    H1 -失踪、复制、超过70个字符,多个。

    H2 -失踪、复制、超过70个字符,多个。

    noindex元机器人——指数,效仿,nofollow,noarchive,nosnippet,noodp,noydir等等。

    Meta刷新——包括目标页面和时间延迟。

    规范link元素和规范的HTTP标头。

    X-Robots-Tag。

    rel = “下一个”和rel = “上一页”。

    AJAX的SEO AJAX爬行蜘蛛遵循谷歌的计划。

    Inlinks——所有页面链接到一个URI。

    Outlinks——所有页面链接到URI。

    锚文本,链接文本。Alt文本图像的链接。

    遵循& Nofollow——在页面和链接(真/假)。

    图像——所有uri与图像&所有图像从一个给定的页面的链接。图片大小超过100 kb,丢失的alt文本,alt文本超过100个字符。

    用户代理切换器——Googlebot爬行,Bingbot,雅虎!发出声音,移动用户代理或您自己的自定义UA。

    重定向链,发现重定向链和循环。

    自定义源代码搜索——搜索引擎蜘蛛可以找到任何你想要在一个网站的源代码!无论是谷歌分析代码,具体的文本,或代码等。(请注意,这不是一个数据提取或刮特性。)

    XML网站地图生成器——你可以创建一个XML站点地图和图像地图使用SEO蜘蛛。

ScreamingFrogSEOSpider使用方法

ScreamingFrogSEOSpider使用起来非常方便,只需要输入你网站首页的URL,然后点Start就行了,静待爬取完成,就可以看各种详细的数据了。

下图以提取我博客的整站URL为例子,给大家展示一下效果:

201508291440814121591816.png

红框1处这些选项卡,依次给大家翻译一下吧:内部链接、外部链接、HTTP协议(HTTP或者HTTPS)、HTTP状态码(200、3XX、4XX、5XX)、URI(注意不是URL,URI是Uniform Resource Identifier,统一资源标识符;URL:Uniform Resource Locator,统一资源定位符;想知道更多自己百度去)、页面title标签、页面description标签、页面keywords标签、页面H1标签、页面H2标签、站内图像、页面链接指向、使用了AJAX技术的链接、用户自定义的过滤规则。

红框2处:点击之后,会看到我们首页的一些信息,比如红框4处的,首页上的导入链接有哪些,红框3处,是ScreamingFrogSEOSpider提取到的整站的链接数量,结合site指令,就能知道我们网站的大概整站收录情况了。

通过上面的解释,相信你已经了解这个工具的强大之处了吧!那么接下来你关心的可能是这个工具是收费的还是免费的呢?

通过官网的介绍,我们知道了,我们可以自由下载使用该软件,只不过免费版本只能爬取整站的500个URL,如果是小企业站,已经是足够了,如果是大站,可以考虑购买一个,一年收费99英镑起,约合人民币972元(感谢seolabs留言指正:)),对于玩大站的朋友来说,简直是太便宜了,哈哈!

你以为文章写到这儿就该结束了是吗?如果你这样想,那就错了!方法博客只为分享有价值的文章而生,所以,今天就送一个价值694元的大礼给有幸看到这篇文章的朋友!那就是:(瞪大眼睛了!)

ScreamingFrogSEOSpider注册码!可以使用一年!

201508291440814136116078.png


为方便大家COPY,我粘到这儿来:

Username:gn168

Licence Key:20D8E5C5AF-1467881526-81359030D5


PS:如果大家和我的需求是一样的,只需要导出本站的内容页的HTML 链接,基本上按照上面的方法倒出来,然后把里面的连接全部复制到excel表里面,然后在排序一下,就可以出来的了,很基础的东西,这里不做相关的讨论的了。


本文标题:网站文章内容页地址URL提取工具-SEO必备
本文链接:http://xlrcq.com/9.html
作者授权:除特别说明外,本文由 admin 原创编译并授权 小龍人传奇 刊载发布。
版权声明:本文不使用任何协议授权,您可以任何形式自由转载或使用。

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

请填写验证码