php中CURL实现模拟登录并采集数据
在php中采集我们用的是简单的采集方式,例如file_get_contents就无法做到了,但是如果想模拟登录用户并采集利用它就没办法了,我们可利用CURL函数来实现模拟登录并采集数据.
这里要说一些,默认情况下,PHP的CURL功能是没有开启的,所以你要自己去开启这个功能,需要在php.ini中把 ;extension= php_curl.dll 前面的 " ; " 号去掉！！！
我讲讲昨天晚上的程序吧,虽然最后没有成功,但是还是学习到一些东西的,代码如下:
$login = "http://HdhCmsTestphpfensi测试数据/index.php?action=login" ; $post_file = "user=××&pw=××" ; $cookie_file = tempnam( './temp' , 'cookie' ); //创建一个具有唯一文件名的临时文件,若成功,则该函数返回新的临时文件名,若失败,则返回 false,代码如下: $ch =curl_init( $login_url ); /////初始化一个CURL对象 curl_setopt( $ch ,CURLOPT_HEADER,0); //开源代码phpfensi测试数据 //如果你想把一个头包含在输出中，设置这个选项为一个非零值。 curl_setopt( $ch ,CURLOPT_RETURNTRANSFER,1); ///设置不输出在浏览器上 curl_setopt( $ch ,CURLOPT_POST,1); //如果你想PHP去做一个正规的HTTP POST，设置这个选 项为一个非零值。这个POST是普通的 application/x-www-from-urlencoded 类型，多数被HTML表单使用。 curl_setopt( $ch ,CURLOPT_POSTFIELDS, $post_file ); ////传递一个作为HTTP "POST"操作的所有数据的字符串。 curl_setopt( $ch , CURLOPT_COOKIEJAR, $cookie_file ); /////把返回来的cookie信息保存在$cookie_jar文件中 curl_exec( $ch ); ///执行 curl_close( $ch ); ////关闭上面已经完成了模拟登录的过程,下面要做的就是进入具有权限的页面了,要记得你现在已经登录了,你应该把登录的凭证cookie保存了起来,代码如下:
$url = "http://HdhCmsTestphpfensi测试数据/admin/××" ; $ch = curl_init( $url ); curl_setopt( $ch , CURLOPT_HEADER, 0); curl_setopt( $ch , CURLOPT_RETURNTRANSFER, 0); //把这个页面显示在浏览器上，这里要特别注意！！就是如果把它显示在浏览器上的时候 下面的$contents 就会变成 一个布尔类型 true curl_setopt( $ch , CURLOPT_COOKIEFILE, $cookie_file ); $contents = curl_exec( $ch );例2,代码如下:
<?php $cookie_path = './' ; //设置cookie保存路径 //-----登录要提交的表单数据--------------- $vars [ 'username' ] = '张三' ; $vars [ 'pwd' ] = '123' ; //------------------------------------- $method_post = true; //登录提交的url地址(表单中的action的绝对地址) $url = 'http://****测试数据/login' ; //---------------------------- $ch = curl_init(); $params [CURLOPT_URL] = $url ; //请求url地址 $params [CURLOPT_HEADER] = true; //是否返回响应头信息 $params [CURLOPT_RETURNTRANSFER] = true; //是否将结果返回 $params [CURLOPT_FOLLOWLOCATION] = true; //是否重定向 $params [CURLOPT_USERAGENT] = 'Mozilla/5.0 (Windows NT 5.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1' ; $postfields = '' ; foreach ( $vars as $key => $value ){ $postfields .= urlencode( $key ) . '=' . urlencode( $value ) . '&' ; } $params [CURLOPT_POST] = true; $params [CURLOPT_POSTFIELDS] = $postfields ; //判断是否有cookie,有的话直接使用 if (isset( $_COOKIE [ 'cookie_jar' ]) && ( $_COOKIE [ 'cookie_jar' ] || is_file ( $_COOKIE [ 'cookie_jar' ]))) { $params [CURLOPT_COOKIEFILE] = $_COOKIE [ 'cookie_jar' ]; //这里判断cookie } else { $cookie_jar = tempnam( $cookie_path , 'cookie' ); //产生一个cookie文件 $params [CURLOPT_COOKIEJAR] = $cookie_jar ; //写入cookie信息 setcookie( 'cookie_jar' , $cookie_jar ); //保存cookie路径 } curl_setopt_array( $ch , $params ); //传入curl参数 $content = curl_exec( $ch ); //执行 echo ' '; echo $content ; //输出登录结果 /* //---------登录成功后再次请求其他地址,如果有多个可以循环执行--------- echo ' -------------------------------------------------------------------------------- '; $nexturl = 'http://****测试数据/test' ; $params [CURLOPT_URL] = $nexturl ; $params [CURLOPT_POSTFIELDS] = '' ; curl_setopt_array( $ch , $params ); //传入curl参数 $content = curl_exec( $ch ); //执行 echo $content ; //输出请求结果 //------------------------------------------------- */ curl_close( $ch ); //关闭连接 ?>注: 如果遇到无法请求https站点的情况,可能是因为无法验证证书或者域名,只要在curl_setopt_array前增加以下两项就可以了,代码如下:
$params[CURLOPT_SSL_VERIFYPEER] = false;
$params[CURLOPT_SSL_VERIFYHOST] = false;
查看更多关于php中CURL实现模拟登录并采集数据 - php高级应用的详细内容...
声明：本文来自网络，不代表【好得很程序员自学网】立场，转载请注明出处：http://haodehen.cn/did30302