科技行者

行者学院 转型私董会 科技行者专题报道 网红大战科技行者

知识库

知识库 安全导航

至顶网软件频道JAVA/JSP学习系列之十一简单的“抓网页”代码

JAVA/JSP学习系列之十一简单的“抓网页”代码

  • 扫一扫
    分享文章到微信

  • 扫一扫
    关注官方公众号
    至顶头条

从一个网站上,看到一个“抓网页”的代码,觉得有点意思,但是没有提供源代码,于是,自己想写一个,其实代码比较简单的。

作者:中国IT实验室 来源:中国IT实验室 2007年9月5日

关键字: 抓网页 JSP java

  • 评论
  • 分享微博
  • 分享邮件
 一、前言
  从一个网站上,看到一个“抓网页”的代码,觉得有点意思,但是没有提供源代码,于是,自己想写一个,其实代码比较简单的。
  
  二、代码
  <%@ page contentType="text/html;charset=gb2312"%>
  
  <%
  
  String sCurrentLine;
  
  String sTotalString;
  
  sCurrentLine="";
  
  sTotalString="";
  
  java.io.InputStream l_urlStream;
  
  java.net.URL l_url = new java.net.URL("http://www.163.net/");
  
  java.net.HttpURLConnection l_connection = (java.net.HttpURLConnection) l_url.openConnection();
  
  l_connection.connect();
  
  l_urlStream = l_connection.getInputStream();
  
  java.io.BufferedReader l_reader = new java.io.BufferedReader(new java.io.InputStreamReader(l_urlStream));
  
  while ((sCurrentLine = l_reader.readLine()) != null)
  
  {
  
  sTotalString+=sCurrentLine;
  
  }
  
  out.println(sTotalString);
  
  %>
  
  三、后记
  虽然代码比较简单,但是,我认为根据这个,可以实现“网络爬虫”的功能,比如从页面找href连接,然后再得到那个连接,然后再“抓”,不停止地(当然可以限定层数),这样,可以实现“网页搜索”功能。

查看本文来源

    • 评论
    • 分享微博
    • 分享邮件
    邮件订阅

    如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。

    重磅专题
    往期文章
    最新文章