linux下镜像网站的几种方法

Shell命令
1637
linux
linux 举报
2020-08-01
  1. 通过wget方式获取网站镜像

网站抓取对于做前端模版的人来说是很好用的,一般来说使用wget就已经足够使用。

wget本身没有图形界面,所以要进入终端进行操作

wget -m -e robots=off -k -E "http://www.csroad.cn" 可以将全站下载以本地的当前工作目录,生成可访问、完整的镜像。

解释:

-m //镜像,就是整站抓取

-e robots=off //忽略robots协议,强制、流氓抓取

-k //将绝对URL链接转换为本地相对URL

-E //将所有text/html文档以.html扩展名保存

2.通过HTTrack:克隆一个网站页面到本地

安装:

centos :yum install httrack

ubuntu:apt-get install httrack 使用起来也比较简单:

直接一条命令执行: httrack "http://www.csroad.cn" -O /home/backup/myweb/ "+.linux.csroad.cn/" -v

注释: "+.linux.csroad.cn/" 表示以 ".linux.csroad.cn/" 开头的所有页面,当然这里也可以直接是 "+http://linux.csroad.cn"


倒序看帖 只看楼主
热点关注
You need Perl 5 安装openssl时报错提示需要安装perl 5
shell 脚本中常见的 if [ $? -ne 0 ]; 意思
shell 中 if [ “x${var}“ == “x“ ] 中 x的作用
shell脚本每行后面多了一个^M的原因和解决办法
服务停止、启动、重启一体化脚本,万能语言启动脚本
shell参数判断
在后台用进程名运行bash脚本
shell脚本每行后面多了一个^M的原因和解决办法
定时检测服务,检测down掉后重启。系统检测到DMSERVER运行正常
挂载磁盘的时候遇到一个问题,挂载完磁盘之后重启服务器挂载的盘丢失了.
中标麒麟系统Your trial is EXPIRED and no VALID licens
termux 开启ssh并用用户名和密码登陆
extman-1.1自带了图形化显示日志的功能;此功能需要rrdtool的支持,您需要安装此些模块才可能正常显示图形日志。
postfix的相关个别参数设置
postfix中recipient/client/sender/helo四者的区别