抓取时间:2016年09月29日 09:51:07
网址:http://blog.9sir.com/
标题:九哥博客
关键字:
描述:
主体:

九哥博客承接数据采集、网站制作、软件定制等业务。首页示例页面火车头采集阿里妈妈淘宝客推广链接2015年2月21日phickers没有评论众所周知，阿里妈妈2013年6月6日收回淘宝客API权限后，做淘宝客网站的都陆续的转型做其他网站了，经过一年多时间的洗礼，现在能留下来继续做淘宝客的已经不多了，换句话说现在做淘宝客的竞争远不如当初大了，于是乎现在好多站长又想重新做回淘宝客来。可是问题来了，没有API权限怎么办呢？不妨探究一下这一年多时间坚持下来的淘宝客们是怎么做到的，其实无外乎两种方法：一是淘宝客金冠会员，拥有API权限；另一种就是使用采集工具。采集工具功能最强大的就是火车头，而采集阿里妈妈难度最大的也就是推广链接，所以今天就分享一下火车头采集器采集阿里妈妈淘宝客推广链接技巧。工具：火车头7.6版及以上，Fiddler。以单品推广为例，根据关键词采集多个相关商品信息及其推广链接。我们以ciku5的热词库为关键词。第一步：采集网址规则的起始网址填ciku5的热词库网址：第二步：查找商品推广列表页真是地址。登陆阿里妈妈单品推广页，输入关键词，搜索推广商品列表，同时使用Fiddler工具捕获Web会话，如果排序不符合你的要求，可以再点击列表顶端有箭头的字段重新排序并重新捕获会话。依次点击上图中几个有箭头拍的地方，如果右侧下方出现商品信息等相关数据则说明红色框内的地址即是列表真实地址，如果右侧下方内容出现乱码，请先点击右侧中间那个红色箭头处提示语。红色框内真是地址格式：http://HOST + GET(注意：GET尾部的“HTTP/1.1”不需要填写)。在真实地址中包含这段：“q=%E7%94%B7%E8%A3%85&toPage=1&sort”，实际使用时把“q=”之后至“&”前面，替换成ciku5的热词库关键词，在火车头软件中用“[参数]”标记，用“[参数1]”引用。按理说到这一步就应该能够采集到阿里妈妈单品推广的列表页了，但是测试采集却什么也采集不到，这是因为阿里妈妈需要登陆才能采集的。第三步：填写网页登陆信息。先点击“浏览器登陆获取”，在弹出的窗口输入HOST地址，然后登陆淘宝账号，在cookie信息列表下选择pub开头的阿里妈妈网址，点击确定返回，然后点击保存。注意：cookie信息有时效性，过一定时间没有任何操作就会失效，失效后需重复上述操作。现在点击“测试网址采集”就可以采集到商品推过列表页网址了。第四步：获取单品推广链接页真实地址同样使用Fiddler工具捕获Web会话，从浏览器中打开单品推广页面，点击“立即推广”会弹出一个对话框，填写好推广单元和渠道等信息点击确定的同时用Fiddler工具捕获Web会话。然后从中找出真实地址，方法同前。在多级网址处再添加一级网址，参数如图，“脚本规则”处填写内容，从第二步中获取到的网址在浏览器中打开的源码找，实际链接就是刚才Fiddler工具捕获的推广页真实地址，注意把关键词替换成参数引用。第五步：获取商品推广链接在火车头采集器中填写采集内容规则，左侧添加内容标签“推广链接”，开始标签填写“”eliteUrl”:””，结束标签填写“””，然后测试保存。大功告成！通常只采集阿里妈妈淘宝客推广链接是不够的，还需要采集商品的其他信息和店铺等信息，这就需要用到火车头采集器的多页和分页功能，此文不作详述，近期会有详细教程敬请关注。因本人水平有限，文章可能存在疏漏之处，敬请谅解，欢迎共同交流学习。附：我的百度经验地址：http://jingyan.baidu.com/article/6b97984da0c58a1ca2b0bf18.html分类: 火车头采集器标签:火车头采集器如何导入导出采集规则2014年3月19日phickers没有评论自从开始承接数据采集业务以来，定制火车头采集规则的客户特别多，其中很大一部分都是新手朋友们，连怎样导入规则都不会，经常需要发起远程协助，有的甚至干脆付费代采数据。为了减少不必要的麻烦，也为了减少客户不必要的代采数据费用，今天在此写个简单教程，仅供大家参考。本文系百度经验系列教材《9SiR火车头采集器教程》欢迎前往查阅http://jingyan.baidu.com/article/c14654134cf5d30bfdfc4c68.html1、新建分组如果已经存在分组可跳过此步骤。依次点击菜单栏“分组”->“新建分组”，在弹出对话框中所属分组选择“根节点[id=0]”（也可选择其他分组），填上“分组名称”，“分组备注”可以不用填。2、导入规则方法一右键点击刚才新建的分组，选择“导入任务至该分组”（记住：不是“导入分组规则”），在弹出的对话框中选择已经采集规则文件（后缀为.ljobx）。3、导入规则方法二也可以选择刚才新建的分组，然后依次点击菜单“分组”->“导入任务至该分组” 在弹出的对话框中选择已经采集规则文件（后缀为.ljobx）。4、导入分组规则如果你手上的规则文件后缀名为“.lgrp”，那么你需要通过菜单或右键快捷菜单选择“导入分组规则”，而不是“导入任务至该分组”。5、开始采集数据勾选“采网址”、“采内容”和“发布”复选框，点击开始即可开始采集数据，待数据采集完成后会自动发布（需要事先写好发布规则）。注意：初次采集建议分步进行。先采网址，之后再采内容，最后再发布。如需重新采集，需要先清空网址库和所有采集数据。如在数据采集、发布模块、插件开发等方面有需求，价格公道，服务包你满意。欢迎与我联系QQ8-5-3-8-6-4-4-3。分类: 火车头采集器标签:火车头新手教程：怎样写火车头采集规则2014年3月19日phickers没有评论火车头采集器是一款非常不错的数据采集软件，也是互联网上最流行的采集工具，但是使用相对比较专业，很多火车头采集器新手感到无从下手，今天教新手朋友们如何快速使用火车采集数据。本文系百度经验系列教材《9SiR火车头采集器教程》欢迎前往查阅：http://jingyan.baidu.com/article/3aed632e7ade8b7011809168.html首先讲一讲网站结构，通常网站结构为树形结构，一个网站主要包以下几种页面：首页、栏目页、文章页。其结构如下图：第二步火车头采集原理，火车头的运行需要一套规则来指定该如何采集所需数据，即需要编写火车头采集规则，编写采集规则也是新手最头痛的问题。火车头采集器通常通过网址抓取网站返回的源代码，然后在源代码中提取需要的信息。因此，采集数据需要先采集网址，然后再采集数据。下面开始编写采集规则：1.运行LocoyPlatform.exe2.在左侧“任务列表树”选择一个分组点击右键，选择“新建任务”弹出新建任务对话框。填写任务名，网站编码一般选择自动即可，3.添加起始网址填写“第一步：采集网址规则”这里需要按照网站的树形结构逐级获取下一级结构的网址，直至获取到内容页的网址。先填写起始网址，通常为目标站首页地址。点击“添加”，在单条网址处填上火车头博客的首页地址，然后依次点击“添加” ->“完成”。4.编写“多级网址获取”规则这里需要先在起始地址页面找到所有需要采集的栏目页的代码区域，先查看起始页地址的源码，找到