- 20
- 11月
robots.txt基本介绍
robots.txt是一个纯文本文件,在这个文件中网站管理者可以声明该网站中不想被robots访问的部分,或者指定搜索引擎只收录指定的内容。
当一个搜索机器人(有的叫搜索蜘蛛)访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,那么搜索机器人就沿着链接抓取。
另外,robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。
robots.txt基本介绍
robots.txt是一个纯文本文件,在这个文件中网站管理者可以声明该网站中不想被robots访问的部分,或者指定搜索引擎只收录指定的内容。
当一个搜索机器人(有的叫搜索蜘蛛)访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,那么搜索机器人就沿着链接抓取。
另外,robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。
游侠一直没出,这个是猪猪乐园做的。今天好不容易找到的。
适用于极品飞车11(NFS11)繁体中文版,而且无需虚拟光驱。
下载地址:
http://2007btpig.ys168.com/
说实话,这次游侠确实让人有点失望…
在中文Windows平台下,Java读取文本文件是以ANSI编码的,这样在打开utf-8编码的中文文件时会乱码,解决方案参考以下文章:
搜斧SearchFull – Java读取UTF-8/UNICODE等字符编码格式的文本文件
其核心为InputStreamReader 类,它负责Java输入中的编码转换。JDK里对其说明为:“It reads bytes and decodes them into characters using a specified charset.”
在遇到输入中文乱码问题的时候,只需要把它套在原有的Reader里,设置好输入源的编码即可正确输入。