在腾讯云上从0搭建Java服务器

购买腾讯云主机

这一步就不多说了,配置见仁见智,这里我选择的是centOS6.5系统

系统安装

连接主机

ssh root@IP_ADDRESS

输入密码 Enter

安装wget与screen

yum install wget -y

yum install screen -y

screen的使用教程

安装并解压oneinstack

wget http://mirrors.linuxeye.com/oneinstack-full.tar.gz

......

2017-04-12 09:27 50

Gsoc2017 Speed optimizations for iregnet

For The Easy Test

Test environment: OS X Yosemite 10.10.5

Main R package used: microbenchmark, glmnet, ElemStatLearn

The code in test procedure:

library(ElemStatLearn)

library(microbenchmark)

library(iregnet)

library(glmnet)

x.model = as.matr......

2017-01-26 23:56 270

Run JS While Grabing Web Page With PHP(用PHP爬取需要运行JS的页面)

初衷

近日在学习爬虫的时候遇到一个小问题,当在抓取某些网页的时候,在线测试通过的正则匹配在用PHP抓取时却发现只能抓取某些非关键元素。

经过排查,才发现在抓取该页面(是一个电商页面)时,该页面的详情页面是通过JS二次请求动态添加上去的,而PHP(通过curl函数库的方式)只是将其静态页面抓下,所以正则匹配的不是整个渲染好的完整页面,而是一个隐藏了详情板块的页面。

解决方案

大致涉猎了一下,一般业界的解决方法有二:

分析JS文件,模拟JS中的请求

想方法运行JS,抓取JS......

2017-01-06 11:38 565