首先我们需要了解什么是爬虫？

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

简单示例
接下来写一个简单的示例：

package main

import (
    "fmt"
    "net/http"
    "os"
    "strconv"
)

func pachong(start, end int) {
    //明确爬的地址
    url := "https://tieba.baidu.com/f?kw=%E6%AE%B5%E5%AD%90&ie=utf-8&pn="
    for i := start; i < end+1; i++ {
        fmt.Printf("当前爬取第 %d 页\n", i)
        res, err := curl(url + strconv.Itoa(i*50))
        if err != nil {
            fmt.Println("你有错误:", err)
        }
        name := strconv.Itoa(i) + ".html"
        //创建文件
        f, err1 := os.Create(name)
        if err1 != nil {
            fmt.Println("文件创建失败:", err1)
        }
        //内容写入文件
        f.WriteString(res)
        //关闭文件
        f.Close()
    }
}

//爬取网页内容
func curl(url string) (reques string, err error) {
    resq, err1 := http.Get(url)
    if err1 != nil {
        err = err1
        return
    }
    //最后关闭
    defer resq.Body.Close()
    str := make([]byte, 1024*5)
    //循环读取数据
    for {
        number, _ := resq.Body.Read(str)
        if number == 0 {
            fmt.Println("爬取页面成功!")
            break
        }
        reques += string(str[:number])
    }
    return
}

func main() {
    var start, end int
    //var c chan int
    fmt.Println("[请输入起始页面:]")
    //获取输入
    fmt.Scan(&start)
    fmt.Println("[请输入终止页面:]")
    fmt.Scan(&end)
    pachong(start, end)
}

这只是简单的爬去网页的源代码，我们可以使用正则表达式爬去想要获得的内容。