【Python】ブログ記事をスクレイピング＆Twitterに投稿

SNSでWebサイトの更新を紹介するのはよくあると思いますが、定期的に過去に書いた記事も紹介したいなと思ったことはありませんか。

そこで今回は、Pythonを使って自ブログやWebサイトをスクレイピングして、全記事のうち一つをランダムにチョイス、Twitterにツイートするプログラムを紹介します。

・Twitter APIを申請する
・RobobrowserとTweepyを使ってコードを書く
1. ステップ１：robobrowserの関数を定義する
2. ステップ２：twitterにツイートする関数を定義する
まとめ

・Twitter APIを申請する

まずはTwitterをプログラムで操作できるようにTwitter API登録を申請しましょう。

Twitter APIとは、Twitterが公式に出しているAPI(Application Programming Interface)のことです。Twitterの投稿されたデータをもとに大量のデータを得ることも、上手く使えばTwitterの運営を全て自動で行うbotを作成することも可能です。

今回紹介するプログラムは、このTwitter APIを利用するのですが、登録するにあたり審査があります。

その所感を過去に記事で書いたので、まだ登録されていない方はぜひ参考にしてみて下さい。

【参考記事】Twitter APIの審査が通ったから難易度とか語る

・RobobrowserとTweepyを使ってコードを書く

Twitter APIの登録が完了したら、実際にコードを書いていきますが、スクレイピングするサイトはこのブログとします。

実は以前robobrowserでこのブログを全てスクレイピングする記事を書いたので、ぜひ参考にしてみて下さい。

【参考記事】自動で(次へ)ボタン＆サイトを全スクレイピング

このコードのガキとなるのがRobobrowserとTwitter APIです。

簡単に説明すると、robobrowserで記事タイトル＆リンクをスクレイピングして、それを全てリストにして戻り値として吐き出す関数を定義し、その関数をツイートする関数の変数に入れるという流れです。

全コードは以下の通りです。

import time
import random
import tweepy
from robobrowser import RoboBrowser

#  Robobrowserオフジェクト作成
browser = RoboBrowser(parser="html.parser")

def article_lists():
    titles_urls = []
    browser.open("https://barniclebattleline.com/")

    names = browser.select(".entry-card-title")
    links = browser.select(".entry-card-wrap")

    #  最初の１ページ全ての記事タイトルとリンクを取得
    for i in range(len(names)):
        titles_urls.append(names[i].text + links[i].get("href"))

    browser.open("https://barniclebattleline.com/page/2")

    while True:
        names = browser.select(".entry-card-title")
        links = browser.select(".entry-card-wrap")

        #  残りのページ全ての記事タイトルとリンクを取得
        for i in range(len(names)):
            titles_urls.append(names[i].text + links[i].get("href"))

        link_to_next = browser.get_link("次のページ")  # "次のページ"というテキストを持つリンク取得
        
　　　　if not link_to_next:
            break  # "次のページ"のリンクがない場合はループを抜けて終了する

        browser.follow_link(link_to_next)  # "次のページ"というリンクをたどる

    return titles_urls

def twitter(contents):

    # twitter_APIのKeys
    consumer_key = input("Consumer Key: ")
    consumer_secret = input("Consumer Secret: ")
    access_key = input("Access Key: ")
    access_secret = input("Access Secret: ")

    # インスタンス作成
    auth = tweepy.OAuthHandler(consumer_key, consumer_secret)
    auth.set_access_token(access_key, access_secret)
    api = tweepy.API(auth)

    # Twitterにツイート
    api.update_status(random.choice(contents))

twitter(article_lists())