爬取Facebook廣告素材庫（附工具）

小破站配置低，僅開放兩天給看官體驗下。如有定制需求可以私聊哦~

前些天，有同學問我能不能抓取Facebook廣告庫中的廣告素材，根據需要每天自動發送指定產品的新素材。

Facebook的廣告庫理論上列出了所有在Facebook上展示的廣告素材，大家通常會去它的網頁端直接查看。但是如果同時在關注很多款產品，一個個地看過來的確會占用很多時間。

那既然有這需求了，咱就動手吧。在廣告庫網頁的左下角有一個Ad Library API的鏈接，這么簡單的嗎，接口居然這么明晃晃地給出來了？我感覺事情遠沒有這么簡單……

成與不成，試試再說。打開

按照文檔中的說明，隨便找個產品的粉絲頁ID，填入相應參數：

果然報錯了，提示是：

For access to the API you need to be authorized and logged into Facebook.To begin authorization, you can visit facebook.com/ID.

需要驗證賬戶。訪問它給的這個鏈接地址，跳轉到了如下頁面：

居然要先通過一個身份審核，這個審核是為了在Facebook上投放政治類廣告。感覺不太對啊，調用個查詢廣告的接口而已，我不花錢投放??！

人在屋檐下不得不低頭，審核就審核吧，點擊開始驗證：

沒有中國??？我就是要調個接口怎么這么難！

行吧，只能拿起媳婦的Facebook賬號和臺灣護照，提交審核。過了1天，審核通過了。我們繼續。

（此處本應有截圖）

WTF，又報錯了。本來應該放個截圖，但是懶得換賬號再試一次，就不截了?？傊?，瞎折騰了兩天才發現通過這個接口只能查詢政治類廣告，難怪要通過之前的審核。

所以你這接口的參數放了這么多選項干啥？明明只能選擇政治類廣告。這么看來，Facebook開放這一接口只是迫于政治和輿論壓力，普通廣告主就別想通過這個接口輕松獲得其他廣告商的素材了。

既然這樣，通過調用接口實現開篇說的需求是沒辦法了。我也不打算去破解Facebook的加密算法，那就簡單粗暴祭出Puppeteer吧。

Puppeteer
Puppeteer is a project from the Google Chrome team which enables us to control a Chrome (or any other Chrome DevTools Protocol based browser) and execute common actions, much like in a real browser – programmatically, through a decent API. Put simply, it’s a super useful and easy tool for automating, testing and scraping web pages over a headless mode or headful either.
Puppeteer是Google Chrome團隊推出的一個工具，允許我們通過調用API來模擬在Chrome瀏覽器中的真實操作。它被廣泛用于自動化測試和網頁爬蟲。

思路很簡單，訪問

https://www.facebook.com/ads/library/?active_status=active&ad_type=all&country=ALL&impression_search_field=has_impressions_lifetime&view_all_page_id=這個鏈接，將粉絲頁的ID加到鏈接最后面，即可看到該粉絲頁的所有廣告。Facebook采用Ajax來展示和加載數據，因此需要不斷將頁面滾動到最下面來獲取更多數據。

每個廣告元素都和這個類似：

我們可以通過歸納，抓取到每個廣告的ID、上線時間、標題、描述以及視頻/圖片鏈接。

最后，每天定時爬取指定的粉絲頁，將上線時間為昨天的廣告通過郵件發送給自己。

由于項目代碼比較冗長，此處不再上傳。