一直以来，淘宝认为百度来的都是垃圾流量，，所以大家在百度上是无法通过搜索关键词和URL找到淘宝店铺和淘宝产品页面的，如今淘宝部分开放百度蜘蛛，这也意味着百度可以遵循OROBOTS协议，对淘宝内容进行排序，那么本来日子过的不太舒坦的电商网站，是否会从百度中获得流量并增加收入呢？
以下是www.taobao.com/robots.txt 协议文件的内容：
User-agent: Baiduspider
Allow: /article
Allow: /oshtml
Allow: /product
Allow: /spu
Allow: /dianpu
Allow: /wenzhang
Allow: /oversea
Disallow: /
User-Agent: Googlebot
Allow: /article
Allow: /oshtml
Allow: /product
Allow: /spu
Allow: /dianpu
Allow: /wenzhang
Allow: /oversea
Disallow: /
User-agent: Bingbot
Allow: /article
Allow: /oshtml
Allow: /product
Allow: /spu
Allow: /dianpu
Allow: /wenzhang
Allow: /oversea
Disallow: /
User-Agent: 360Spider
Allow: /article
Allow: /oshtml
Allow: /wenzhang
Disallow: /
User-Agent: Yisouspider
Allow: /article
Allow: /oshtml
Allow: /wenzhang
Disallow: /
User-Agent: Sogouspider
Allow: /article
Allow: /oshtml
Allow: /product
Allow: /wenzhang
Disallow: /
User-Agent: Yahoo! Slurp
Allow: /product
Allow: /spu
Allow: /dianpu
Allow: /wenzhang
Allow: /oversea
Disallow: /
User-Agent: *
Disallow: /
从以上文件可以看出，淘宝开放了百度、谷歌、必应、360、一搜、搜狗以及雅虎的部分目录权限，虽然这仅仅是很小的一部分，但从这个举动可以看出，淘宝对于各大搜索引擎的态度以及逐渐舒缓，大胆猜想一下不久的将来会开放全部的页面数据，让各大店铺受益也不无可能。
1 、/article 目录下，都是位于网站地图下的列表页面；
2 、/oshtml 目录下，也是位于网站地图下的全球购，爱逛街等列表页面，开放给百度；
3 、/product目录下，很不幸，都是403Fobidden页面（牧马怀疑是操作错误，因为没有理由对搜索引擎开放一个已经403的页面，还专门写一个Robots协议）；
4 、/Spu 目录下，很遗憾没找到相应页面；
5、/dianpu 目录下，空欢喜一场，这不是店铺首页，而是繁体的台湾店铺列表页；
6、/wenzhang 目录下，全是淘宝头条下的文章，内容大部分都是分享资讯类页面；
7、/oversea 目录下，没有这个目录。
个人观点：淘宝目录结构雷同，所以对seo不利，主要看内容了。淘宝本来就是大家所熟知的最大购物网站，谁会去先到搜索引擎中搜到店铺再到淘宝店铺，还不如直接在淘宝搜容易些？淘宝自身的seo估计大多研究淘宝的知道了怎么做，所以这次开发蜘蛛协议对店铺影响不会太大，该怎么做还是怎么做吧！
不过淘宝既然开始开放，我们做推广、seo人员就应该把注意力转一部分过来，看看是否淘宝外部seo有机可循？大家共同探讨。
放眼当下，流量的来源已经不单单是来自搜索引擎。比如当下比较火的粉丝经济，网红经济，视频直播，都不是依赖搜索引擎了!包括微信都是封闭式的流量系统。开放肯定是大势所趋。而这种开放要以何种形式开放？现在各式各样的app都有，我们只要下载自己需要的app就可以解决问题，搜索引擎似乎变得越来越不重要了！
网络营销论坛（www.mywlyx.cn） 原创。