- 时间:2021-10-13 00:27 编辑: 来源: 阅读:
- 扫一扫,手机访问
摘要:.net 解决spider多次和重复抓取的方案
原因:
早期由于搜索引擎蜘蛛的不完善,蜘蛛在爬行动态的url的时候很容易由于网站程序的不合理等原因造成蜘蛛迷路死循环。
所以蜘蛛为了避免之前现象就不读取动态的url,特别是带?的url
解决方案:
[b]1):配置路由[/b]
[url=@Url.Action(][b]3):获取参数[/b]
int areaId = GetRouteInt("AredId");//获取参数
/// <summary>
/// 获得路由中的值
/// </summary>
/// <param name="key">键</param>
/// <param name="defaultValue">默认值</param>
/// <returns></returns>
protected int GetRouteInt(string key, int defaultValue)
{
return Convert.ToInt32(RouteData.Values[key], defaultValue);
}
/// <summary>
/// 获得路由中的值
/// </summary>
/// <param name="key">键</param>
/// <returns></returns>
protected int GetRouteInt(string key)
{
return GetRouteInt(key, 0);
}
根据上面3个步骤操作,显示的url地址为:
[url=http://localhost:3841/rentofficelist/3-0-0-0-0.html]http://localhost:3841/rentofficelist/3-0-0-0-0.html[/url]
这样就可以避免静态页面上使用动态参数,显示的页面都为静态页面