源码网商城,靠谱的源码在线交易网站 我的订单 购物车 帮助

源码网商城

零基础写Java知乎爬虫之将抓取的内容存储到本地

  • 时间:2021-07-26 00:21 编辑: 来源: 阅读:
  • 扫一扫,手机访问
摘要:零基础写Java知乎爬虫之将抓取的内容存储到本地
说到Java的本地存储,肯定使用IO流进行操作。 首先,我们需要一个创建文件的函数createNewFile:
[u]复制代码[/u] 代码如下:
public static boolean createNewFile(String filePath) {          boolean isSuccess = true;          // 如有则将"\\"转为"/",没有则不产生任何变化          String filePathTurn = filePath.replaceAll("\\\\", "/");          // 先过滤掉文件名          int index = filePathTurn.lastIndexOf("/");          String dir = filePathTurn.substring(0, index);          // 再创建文件夹          File fileDir = new File(dir);          isSuccess = fileDir.mkdirs();          // 创建文件          File file = new File(filePathTurn);          try {              isSuccess = file.createNewFile();          } catch (IOException e) {              isSuccess = false;              e.printStackTrace();          }          return isSuccess;      } 
然后,我们需要一个写入文件的函数:
[u]复制代码[/u] 代码如下:
public static boolean writeIntoFile(String content, String filePath,              boolean isAppend) {          boolean isSuccess = true;          // 先过滤掉文件名          int index = filePath.lastIndexOf("/");          String dir = filePath.substring(0, index);          // 创建除文件的路径          File fileDir = new File(dir);          fileDir.mkdirs();          // 再创建路径下的文件          File file = null;          try {              file = new File(filePath);              file.createNewFile();          } catch (IOException e) {              isSuccess = false;              e.printStackTrace();          }          // 写入文件          FileWriter fileWriter = null;          try {              fileWriter = new FileWriter(file, isAppend);              fileWriter.write(content);              fileWriter.flush();          } catch (IOException e) {              isSuccess = false;              e.printStackTrace();          } finally {              try {                  if (fileWriter != null)                      fileWriter.close();              } catch (IOException e) {                  e.printStackTrace();              }          }            return isSuccess;      } 
我们把这两个函数封装到一个FileReaderWriter.java文件中以便后续使用。 接着我们回到知乎爬虫中。 我们需要给知乎的Zhihu封装类加个函数,用来格式化写入到本地时的排版。
[u]复制代码[/u] 代码如下:
public String writeString() {          String result = "";          result += "问题:" + question + "\r\n";          result += "描述:" + questionDescription + "\r\n";          result += "链接:" + zhihuUrl + "\r\n";          for (int i = 0; i < answers.size(); i++) {              result += "回答" + i + ":" + answers.get(i) + "\r\n";          }          result += "\r\n\r\n";          return result;  } 
OK,这样就差不多了,接下来吧mian方法中的System.out.println改成
[u]复制代码[/u] 代码如下:
// 写入本地          for (Zhihu zhihu : myZhihu) {              FileReaderWriter.writeIntoFile(zhihu.writeString(),                      "D:/知乎_编辑推荐.txt", true);          } 
运行,便可以看到本来在控制台看到的内容已经被写到了本地的txt文件里: [img]http://files.jb51.net/file_images/article/201411/2014110711153431.png[/img] 大体一看没什么问题,仔细看看发现问题:存在太多的html标签,主要是<b>和<br>。 我们可以在输出的时候对这些标记进行处理。 先把<br>换成io流里面的\r\n,再把所有的html标签都删除,这样看起来便会清晰很多。
[u]复制代码[/u] 代码如下:
public String writeString() {      // 拼接写入本地的字符串      String result = "";      result += "问题:" + question + "\r\n";      result += "描述:" + questionDescription + "\r\n";      result += "链接:" + zhihuUrl + "\r\n";      for (int i = 0; i < answers.size(); i++) {          result += "回答" + i + ":" + answers.get(i) + "\r\n\r\n";      }      result += "\r\n\r\n\r\n\r\n";      // 将其中的html标签进行筛选      result = result.replaceAll("<br>", "\r\n");      result = result.replaceAll("<.*?>", "");      return result;  } 
这里的replaceAll函数可以使用正则,于是所有的<>标签在最后就都被删除了。
  • 全部评论(0)
联系客服
客服电话:
400-000-3129
微信版

扫一扫进微信版
返回顶部