加入收藏 | 设为首页 | 会员中心 | 我要投稿 聊城站长网 (https://www.0635zz.com/)- 智能语音交互、行业智能、AI应用、云计算、5G!
当前位置: 首页 > 教程 > 正文

在Java上如何获取URL的内容

发布时间:2023-06-29 14:53:24 所属栏目:教程 来源:
导读:在java中我们可以很方便的调用各种类库处理各种字符,那你知道在Java中如何获取URL的内容吗?其实Java获取URL的内容的方法非常简单,一起来看看以下内容吧。

第一:创建HttpURLConnection

第二
在java中我们可以很方便的调用各种类库处理各种字符,那你知道在Java中如何获取URL的内容吗?其实Java获取URL的内容的方法非常简单,一起来看看以下内容吧。
 
       第一:创建HttpURLConnection
 
       第二:打开URL,创建一个InputStream
 
       第三:逐行(逐字节)读取,如果需要,转换编码,放入字符串。
 
       好,一下就开始代码吧:
 
复制代码 代码如下:
 
public String getUrlContent(String path){
 
String rtn = "";
 
int c;
 
try{
 
java.net.URL l_url = new java.net.URL(path);
 
java.net.HttpURLConnection l_connection = (java.net.HttpURLConnection) l_url.openConnection();
 
l_connection.setRequestProperty("User-agent","Mozilla/4.0");
 
l_connection.connect();
 
InputStream l_urlStream = l_connection.getInputStream();
 
while (( ( c= l_urlStream.read() )!=-1)){
 
int all=l_urlStream.available();
 
byte[] b =new byte[all];
 
l_urlStream.read(b);
 
rtn+= new String(b, "UTF-8");
 
}
 
//Thread.sleep(2000);
 
l_urlStream.close();
 
}catch(Exception e){
 
e.printStackTrace();
 
}
 
return rtn;
 
}
 
其中
 
l_connection.setRequestProperty("User-agent","Mozilla/4.0");
 
这句是必须的,很多服务器对于没有User-agent头的请求直接403了就。
 
然后采用InputStream.available()来一次性读取,返回此输入流方法的下一个调用方可以不受阻塞地从此输入流读取(或跳过)的字节数,如果需要的话,可以在后面稍微Sleep一下线程:
 
Thread.sleep(2000);

复制代码 代码如下:

while (( ( c= l_urlStream.read() )!=-1)){
 
int all=l_urlStream.available();
 
byte[] b =new byte[all];
 
l_urlStream.read(b);
 
rtn+= new String(b, "UTF-8");
 
}
 
是个很重要的读取过程,c表示读取流的标注,当结束的时候是-1,然后all是本次循环可用的最大字节数目,然后读取全部可用字节到byte[] b中,然后转换成UTF-8类型的字符串,注意,这里可以自己写方式,如果读取GB2312,就要写GB2312,至于有没有万能的,可以获取Meta,匹配下。自己想办法吧。
 
      通过上面的内容你知道在Java中如何获取URL的内容的方法了吗?其实POST和其它方式的都是比较类似的。只要掌握三点技术要点即可。
 
 

(编辑:聊城站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!