curl 和 file_get_contents 抓取网页乱码的解决之道

    今天用 curl_init 函数抓取搜狐的网页时，发现采集的网页时乱码，经过分析发现原来是服务器开启了gzip压缩功能。只要往函数 curl_setopt 添加多个选项 CURLOPT_ENCODING 解析 gzip 就可以正确解码了。


    还有如果抓取的网页时 GBK 编码，但是脚本确是 utf-8 编码，还得把抓取的网页再用函数 mb_convert_encoding 转换下。

<?php

    $tmp = sys_get_temp_dir();

    $cookieDump = tempnam($tmp, 'cookies');
    $url = 'http://tv.sohu.com';
    $ch = curl_init();
    curl_setopt ($ch, CURLOPT_URL, $url);
    curl_setopt ($ch, CURLOPT_HEADER, 1);// 显示返回的Header区域内容
    curl_setopt ($ch, CURLOPT_FOLLOWLOCATION, 1); // 使用自动跳转
    curl_setopt ($ch, CURLOPT_TIMEOUT, 10);// 设置超时限制
    curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1); // 获取的信息以文件流的形式返回
    curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT,10);// 链接超时限制
    curl_setopt ($ch, CURLOPT_HTTPHEADER,array('Accept-Encoding: gzip, deflate'));//设置 http 头信息
    curl_setopt ($ch, CURLOPT_ENCODING, 'gzip,deflate');//添加 gzip 解码的选项，即使网页没启用 gzip 也没关系
    curl_setopt ($ch, CURLOPT_COOKIEJAR, $cookieDump);  // 存放Cookie信息的文件名称
    $content = curl_exec($ch);
    // 把抓取的网页由 GBK 转换成 UTF-8 
    $content = mb_convert_encoding($content,"UTF-8","GBK");
?>


<?php
    $url = 'http://tv.sohu.com';
    // 只要添加 compress.zlib 选项，即使服务器启用了gzip 压缩功能，就能够解码了
    $content = file_get_contents("compress.zlib://".$url);
    // 把抓取的网页由 GBK 转换成 UTF-8 
    $content = mb_convert_encoding($content,"UTF-8","GBK");

?>

PHP 设置动态网页在浏览器的缓存

很多人可能不知道，动态网页在浏览器也是可以缓存的。下面就以 PHP 脚本为例子，阐述如何设置动态网页在浏览器缓存

<?php

//设置网页过期时间为1小时
$duetime = 3600*24*30;

//获取浏览器会向服务器传送 Last-Modified 报头
$modify_time =  $_SERVER['HTTP_IF_MODIFIED_SINCE'];

//当浏览器在设置时间之内再次访问该网页时，发送 HTTP 304 的状态码,这样就节省了传输数据量。
if(strtotime($modify_time) + $duetime > time())
{
header('HTTP/1.1 304');
exit(1);
}

header('Connection: keep-alive');
//设置网页 Last-Modified 报头
header('Last-Modified: '.gmdate('D, d M Y H:i:s').' GMT');
//设置网页过期时间
header('Expires: '.gmdate('D, d M Y H:i:s',time()+$duetime).' GMT');
//执行缓存时间长，跟 Expires 有点类似，让我们可以更全面的控制网页过期时间，因为浏览器时间可能跟服务器时间不协调，用  Cache-Control 报头可以得到限制
header('Cache-Control: max-age='.$duetime);

//输出内容
……
?>

普通用户 mysqldump 导出数据库出现错误的解决办法

今天用 mysql 的一个普通用户 admin 用 mysqldump 工具进行备份的时候，出现以下错误

mysqldump: Got error: 1044: Access denied for user 'admin'@'localhost' to database 'mydatabase' when using LOCK TABLES


后来查阅网上资料，终于得到解决办法。只需添加 --single-transaction 选项。

$ mysqldump --single-transaction -u admin -p mydatabase > mydatabase.sql