Run JS While Grabing Web Page With PHP(用PHP爬取需要运行JS的页面)

初衷

近日在学习爬虫的时候遇到一个小问题,当在抓取某些网页的时候,在线测试通过的正则匹配在用PHP抓取时却发现只能抓取某些非关键元素。

经过排查,才发现在抓取该页面(是一个电商页面)时,该页面的详情页面是通过JS二次请求动态添加上去的,而PHP(通过curl函数库的方式)只是将其静态页面抓下,所以正则匹配的不是整个渲染好的完整页面,而是一个隐藏了详情板块的页面。

解决方案

大致涉猎了一下,一般业界的解决方法有二:

分析JS文件,模拟JS中的请求

想方法运行JS,抓取JS......

2017-01-06 11:38 602

对于PHP参数操作函数的一些浅见

PHP 内置操作函数

fun_num_args() 返回的是参数数量

fun_get_args() 返回的是一个索引array,值是每个参数的值

fun_get_arg(int $arg_num) 参数是原方法参数的下标(从0开始) 返回的某个参数的值

example

public function version($version, $second, $third = null)

{

if (func_num_args() == 2) {

list($version, $cal......

2016-12-13 23:20 56

Laravel Core Concept

初衷

先抛几个问题,比如,

为什么不等到类要被使用时直接实例化对象,而是先被绑定进容器之中,要被使用的时候才__解析__

为什么通过契约(Contracts)来绑定实现类,这样做有什么好处

依赖注入,在整个历程中又起到了什么样的作用

那么多服务提供者究竟在提供什么

留坑,日后再写

2016-11-20 19:46 55