golang 爬虫

2021-01-28

goalng的学习官方文档 goalng中文教程

发起请求

使用Golang原生http库

package main

import (
	"fmt"
	"io/ioutil"
	"net/http"
)

func main()  {
	url := "http://www.baidu.com"
	res,err :=http.Get(url)
	if err !=nil {
		fmt.Println("http get err ",err)
	}
	Body,err := ioutil.ReadAll(res.Body)
	if err != nil {
		fmt.Println("read error", err)
	}
	fmt.Println(string(Body))
}

自定义请求头

res,err :=http.Get(url)
res.Header.Set("User-Agent",agent)
res.Header.Set("X-Forwarded-For","127.0.0.1")
res.Header.Set("Referer","www.google.com")

当然也可以用goroutine并发。

解析网页，goquery

元素选择器

基于element的html选择器，直接使用Find('')例如寻找div标签就是Find('div'),寻找p标签就是Find('p')
基于id寻找，例如，寻找id=a的标签，就是Find("#a")
基于class寻找，class=’abcde’,，则是Find(".abcde")
基于属性寻找，通过div[class]这个选择器，可以筛选出Element为div并且有class这个属性的标签

获取元素

获取元素的文本内容，也是使用最多的。
获取节点的html部分，获取的是节点下的html，不带节点本身的html标签，同时需要使用a ,_ := selection.Html()方法获取。

例子

html

<!DOCTYPE html>
<html>
<head>
        <title>text</title>
</head>
<body>
        <h1 id="adc">test</h1>
        <p id='aaa'>hello <b>world</b></p>
        <p class="test">hello tunan</p>
        <a href="http://www.baidu.com">baidu</a>

</body>
</html>

package main

import (
	"fmt"
	"github.com/PuerkitoBio/goquery"
	"io/ioutil"
	"net/http"
	"strings"
)

func main()  {
	url := "待爬取url"
	res,err :=http.Get(url)
	if err !=nil {
		fmt.Println("http get err ",err)
	}
	defer res.Body.Close()
	Body,err := ioutil.ReadAll(res.Body)
	if err != nil {
		fmt.Println("read error", err)
	}
	doc := string(Body)
	dom, err := goquery.NewDocumentFromReader(strings.NewReader(doc))
	if err != nil {
		fmt.Println("html read err", err)
	}
	dom.Find("#aaa").Each(func(i int, selection *goquery.Selection) {
		fmt.Println(selection.Text())
		a,_ := selection.Html()
		fmt.Println(a)
	})
}