robots协议,爬虫拿到数据违法吗?数据可以商业化吗?有大神懂得吗?
robots协议,爬虫拿到数据违法吗?数据可以商业化吗?有大神懂得吗?
1、Robots协议是一种用于网站管理者通知网络爬虫哪些页面可以被爬取的协议。通过在网站的根目录下放置一个名为robots.txt的文件，网站管理者可以指定哪些页面可以被爬取，哪些页面不可以被爬取。
1、也就是说你爬虫爬取信息没有问题，但不能涉及到个人的隐私问题，如果涉及了并且通过非法途径收益了，那肯定是违法行为。
2、可能违法。其爬虫下载数据，一般而言都不违法，因为爬虫爬取的数据同行也是网站上用户打开页面能够看到的数据，但是如果符合下列条件的网站进行强行数据采集时，会具有法律风险。可能会造成侵犯隐私权的违法行为。
3、爬虫不违法，违法的是不遵从网站的爬虫协议，对网站造成负担，对正常用户造成影响。其次，搜索引擎也是爬虫，爬虫协议就是告诉爬虫怎么爬取可以。
4、法律分析：可能违法。其爬虫下载数据，一般而言都不违法，因为爬虫爬取的数据同行也是网站上用户打开页面能够看到的数据，但是如果符合下列条件的网站进行强行数据采集时，会具有法律风险。可能会造成侵犯隐私权的违法行为。
5、法律分析：下列三种情况，爬虫有可能违法，严重的甚至构成犯罪：爬虫程序规避网站经营者设置的反爬虫措施或者破解服务器防抓取措施，非法获取相关信息，情节严重的，有可能构成“非法获取计算机信息系统数据罪”。
6、爬虫软件抓取数据违法。技术是无罪的，技术本身确实是没有对错的，但使用技术的人是有对错的，公司或者程序员如果明知使用其技术是非法的，那么公司或者人就需要为之付出代价。
1、为了解决这个问题，行业中有人发起和制定Robots协议，通过在网站程序写入robots.txt文件，标示限制搜索引擎爬虫机器人访问的信息。
2、搜索引擎案2014年8月7日，围绕360搜索引擎是否违反Robots协议而引发的不正当竞争案，2014年8月7日上午在北京市一中院宣判。法院判决360的行为违反反不正当竞争法相关规定，应赔偿原告百度经济损失及合理支出70万元。
3、某度和某虎争夺搜索引擎市场，初期就爆发了一系列诉讼，其中与Robots协议相关的有三个案子，目前两个审结、一个待结。背景 2012年8月16日，360搜索引擎服务上线当天双方就产生摩擦。
4、百度方面认为，360公然违反Robots协议，随意抓取、复制其网站内容据为己有的行为严重侵犯了百度公司的权益，并损害了百度及广大网民的利益，构成了不正当竞争，向其索赔1亿元人民币。
5、违背Robots协议将带来巨大安全隐忧——此前，曾经发生过这样一个真实的案例：国内某公司员工郭某给别人发了封求职的电子邮件，该Email存储在某邮件服务公司的服务器上。
1、简单来说即：robots协议是一个君子协议，是网站所有者编写的，用来告诉搜索引擎该网站下的哪些内容可以爬取、收录，哪些内容不可以爬取和收录。
2、Robots是一个英文单词，对英语比较懂的朋友相信都知道，Robots的中文意思是机器人。
3、Robots协议是网站国际互联网界通行的道德规范，其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。因其不是命令，故需要搜索引擎自觉遵守。
4、Robots简单来说就是搜索引擎和我们网站之间的一个协议，用于定义搜索引擎抓取和禁止的协议。
5、robots是一个协议，是建立在网站根目录下的一个以（robots.txt）结尾的文本文件，对搜索引擎蜘蛛的一种限制指令。
6、Robots协议（也称为爬虫协议、机器人协议等）是约束所有蜘蛛的一种协议。搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信息。
爬虫本身并不违法，作为一种技术，本身不存在违法的问题，关键是用爬虫爬什么，以及怎么爬。所有爬虫都要遵守Robots协议，虽然Robots协议并不是强制性要求，但由此可能引发法律纠纷等问题。
法律分析：如果遵守 Robots 协议，不能造成对方服务器瘫痪，不非法获利，是合法的。如果涉及个人隐私则是不合法的。
如果大量频繁爬取造成对方的计算机系统负载过高，影响对方的系统正常运行，这是违法了。爬虫现在严打的，最危险的是设计个人用户隐私的数据。无论做什么目的，设计个人隐私的一定要避开。
Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
robots.txt 说到底也是君子协议，一般相当多的网站都只允许搜索引擎爬取页面。如果你要遵守君子协议——没什么不好——但只恐怕寸步难行。爬虫本质上和你访问网页没什么不同。
Robots协议是建议但非约束性，网络爬虫可以不遵守，但存在法律风险。 原则：类人行为可以不参考Robots协议。
1、对的。Robots协议是一种用于网站管理者通知网络爬虫哪些页面可以被爬取的协议。通过在网站的根目录下放置一个名为robots.txt的文件，网站管理者可以指定哪些页面可以被爬取，哪些页面不可以被爬取。
2、你说的这个情况应该是网站对搜索引擎做了一定的限制了。比如：限制某个浏览器或者全部浏览器不能抓取整个网站，或者是限制某个浏览器或者所有浏览器不能抓取某个特定的页面。
3、搜索引擎采集数据的程序被称为“爬虫”或“蜘蛛”，爬虫根据别的网页上面的链接搜索到你网站的地址，然后以该地址为入口对你网站上的页面数据进行采集。
4、采集，一般指定向将指定范围的网页内容拷贝下来。网络爬虫，包含采集功能，但有一定的自主性，可以自主决定要访问的网页，看起来带有一定的“智能”性，但都是按事先拟定的程序逻辑运行。
5、“robots.txt”的限制，对该文件来说，至少要有一条User-agent记录。
6、Robots.txt - 禁止爬虫robots.txt用于禁止网络爬虫访问网站指定目录。robots.txt的格式采用面向行的语法：空行、注释行（以#打头）、规则行。规则行的格式为：Field： value。常见的规则行：User-Agent、Disallow、Allow行。
