好得很程序员自学网
  • 首页
  • 后端语言
    • C#
    • PHP
    • Python
    • java
    • Golang
    • ASP.NET
  • 前端开发
    • Angular
    • react框架
    • LayUi开发
    • javascript
    • HTML与HTML5
    • CSS与CSS3
    • jQuery
    • Bootstrap
    • NodeJS
    • Vue与小程序技术
    • Photoshop
  • 数据库技术
    • MSSQL
    • MYSQL
    • Redis
    • MongoDB
    • Oracle
    • PostgreSQL
    • Sqlite
    • 数据库基础
    • 数据库排错
  • CMS系统
    • HDHCMS
    • WordPress
    • Dedecms
    • PhpCms
    • 帝国CMS
    • ThinkPHP
    • Discuz
    • ZBlog
    • ECSHOP
  • 高手进阶
    • Android技术
    • 正则表达式
    • 数据结构与算法
  • 系统运维
    • Windows
    • apache
    • 服务器排错
    • 网站安全
    • nginx
    • linux系统
    • MacOS
  • 学习教程
    • 前端脚本教程
    • HTML与CSS 教程
    • 脚本语言教程
    • 数据库教程
    • 应用系统教程
  • 新技术
  • 编程导航
    • 区块链
    • IT资讯
    • 设计灵感
    • 建站资源
    • 开发团队
    • 程序社区
    • 图标图库
    • 图形动效
    • IDE环境
    • 在线工具
    • 调试测试
    • Node开发
    • 游戏框架
    • CSS库
    • Jquery插件
    • Js插件
    • Web框架
    • 移动端框架
    • 模块管理
    • 开发社区
    • 在线课堂
    • 框架类库
    • 项目托管
    • 云服务

当前位置:首页>后端语言>PHP
<tfoot draggable='sEl'></tfoot>

包含snoopyphp的词条

很多站长朋友们都不太清楚snoopyphp,今天小编就来给大家整理snoopyphp,希望对各位有所帮助,具体内容如下:

本文目录一览: 1、 PHP snoopy采集类怎样采集我想要的内容 2、 用php的Snoopy如何抓取网页的验证码呢? 3、 php伪造ip获取网页内容,求高手 PHP snoopy采集类怎样采集我想要的内容

Snoopy是一个php类,用来模拟浏览器的功能,可以获取网页内容,发送表单,可以用来开发一些采集程序和小偷程序,本文章详细介绍snoopy的使用教程。

Snoopy的一些特点:

抓取网页的内容 fetch

抓取网页的文本内容 (去除HTML标签) fetchtext

抓取网页的链接,表单 fetchlinks fetchform

支持代理主机

支持基本的用户名/密码验证

支持设置 user_agent, referer(来路), cookies 和 header content(头文件)

支持浏览器重定向,并能控制重定向深度

能把网页中的链接扩展成高质量的url(默认)

提交数据并且获取返回值

支持跟踪HTML框架

支持重定向的时候传递cookies

要求php4以上就可以了 由于本身是php一个类 无需扩支持 服务器不支持curl时候的最好选择,

Snoopy类方法及示例:

fetch($URI)

这是为了抓取网页的内容而使用的方法。

$URI参数是被抓取网页的URL地址。

抓取的结果被存储在 $this->results 中。

如果你正在抓取的是一个框架,Snoopy将会将每个框架追踪后存入数组中,然后存入 $this->results。

fetchtext($URI)

本方法类似于fetch(),唯一不同的就是本方法会去除HTML标签和其他的无关数据,只返回网页中的文字内容。

fetchform($URI)

本方法类似于fetch(),唯一不同的就是本方法会去除HTML标签和其他的无关数据,只返回网页中表单内容(form)。

fetchlinks($URI)

本方法类似于fetch(),唯一不同的就是本方法会去除HTML标签和其他的无关数据,只返回网页中链接(link)。

默认情况下,相对链接将自动补全,转换成完整的URL。

submit($URI,$formvars)

本方法向$URL指定的链接地址发送确认表单。$formvars是一个存储表单参数的数组。

submittext($URI,$formvars)

本方法类似于submit(),唯一不同的就是本方法会去除HTML标签和其他的无关数据,只返回登陆后网页中的文字内容。

submitlinks($URI)

本方法类似于submit(),唯一不同的就是本方法会去除HTML标签和其他的无关数据,只返回网页中链接(link)。

默认情况下,相对链接将自动补全,转换成完整的URL。

Snoopy采集类属性: (默认值在括号里)

$host 连接的主机

$port 连接的端口

$proxy_host 使用的代理主机,如果有的话

$proxy_port 使用的代理主机端口,如果有的话

$agent 用户代理伪装 (Snoopy v0.1)

$referer 来路信息,如果有的话

$cookies cookies 如果有的话

$rawheaders 其他的头信息, 如果有的话

$maxredirs 最大重定向次数, 0=不允许 (5)

$offsiteok whether or not to allow redirects off-site. (true)

$expandlinks 是否将链接都补全为完整地址 (true)

$user 认证用户名, 如果有的话

$pass 认证用户名, 如果有的话

$accept http 接受类型 (image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, */*)

$error 哪里报错, 如果有的话

$response_code 从服务器返回的响应代码

$headers 从服务器返回的头信息

$maxlength 最长返回数据长度

$read_timeout 读取操作超时 (requires PHP 4 Beta 4+) 设置为0为没有超时

$timed_out 如果一次读取操作超时了,本属性返回 true (requires PHP 4 Beta 4+)

$maxframes 允许追踪的框架最大数量

$status 抓取的http的状态

$temp_dir 网页服务器能够写入的临时文件目录 (/tmp)

$curl_path cURL binary 的目录, 如果没有cURL binary就设置为 false

用php的Snoopy如何抓取网页的验证码呢?

curl就可以了

<?php

header('Content-Type:image/png');

$url = "图片链接";//图片链接

$ch = curl_init();

//Cookie:PHPSESSID=121b1127dcded8702c6a1e702c40eca4

curl_setopt($ch, CURLOPT_URL, $url);

curl_setopt($ch,CURLOPT_COOKIE,'这里是你的cookies');

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 0);

curl_setopt($ch, CURLOPT_TIMEOUT,0);//忽略超时

curl_setopt($ch, CURLOPT_NOBODY, false);

$str = curl_exec($ch);

curl_close($ch);

php伪造ip获取网页内容,求高手

伪造IP是不可能的,HTTP协议是机遇TCP,你发送GET命令过去必须留有准确的IP地址,否则对方无法把结果发给你,你与服务器xxx.xxx.xx的通讯相当于写信,你匿名写信只能攻击,要获取返回的东西必须提交真实的地址。

无论使用CURL还是别的方法,都要受前面的基本规则限制。

编程上已经没有办法可走了,你可以考虑使用代理,通过代理服务器去获取数据,查封就换个代理服务器。不过现在代理服务器是很难找的。

关于snoopyphp的介绍到此就结束了,不知道本篇文章是否对您有帮助呢?如果你还想了解更多此类信息,记得收藏关注本站,我们会不定期更新哦。

查看更多关于包含snoopyphp的词条的详细内容...

声明:本文来自网络,不代表【好得很程序员自学网】立场,转载请注明出处:http://haodehen.cn/did208728
更新时间:2023-05-03   阅读:14次

上一篇: 学前端要学php吗 学前端要学php吗知乎

下一篇:关于php-fm+502的信息

相关资讯

最新资料更新

  • 1.php下面有哪些技术 php运用的技术php开发有哪些实用的技术
  • 2.php的如何使用数组if php中数组
  • 3.php技术网学习 php技术门户
  • 4.phpfpm出错 php报错信息
  • 5.php读取pdf内容 php读取文本文件
  • 6.php闭包this php闭包函数使用场景
  • 7.php中序递归 php递归算法1加到100
  • 8.php多继承的作用 php继承关键字
  • 9.php接收post php接收post数据在发出代码
  • 10.php判断多个字符串 php判断字符串包含字符
  • 11.php薪资1680 php一个月能挣多少钱
  • 12.php获取数组坐标 php获取数组的值
  • 13.php事务的隔离级别 php事务处理
  • 14.phpmywind phpmywind去重复
  • 15.php提取css文件 php引用css文件
  • 16.iconv函数php iconv函数参数
  • 17.php数组键名排序 php数组值排序
  • 18.php微信推送提醒 php主动推送消息到安卓
  • 19.php数据库对象 php针对数据库的查询函数是
  • 20.php的环境安装 phpstudy安装环境

CopyRight:2016-2025好得很程序员自学网 备案ICP:湘ICP备09009000号-16 http://haodehen.cn
本站资讯不构成任何建议,仅限于个人分享,参考须谨慎!
本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等)版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。

网站内容来源于网络分享,如有侵权发邮箱到:kenbest@126.com,收到邮件我们会即时下线处理。
网站框架支持:HDHCMS   51LA统计 百度统计
Copyright © 2018-2025 「好得很程序员自学网」
[ SiteMap ]