import requests
from bs4 import BeautifulSoup
def crawl(url, max_depth=2):
if max_depth < 0:
return
try:
response = requests.get(url)
content = response.content
soup = BeautifulSoup(content, ‘html.parser’)
links = set()
for link in soup.find_all(‘a’):
href = link.get(‘href’)
if href and href.startswith(‘http’):
links.add(href)
print(f”Found {len(links)} links at {url}”)
for link in links:
crawl(link, max_depth – 1)
except requests.RequestException as e:
print(f”Error during requests to {url} : {str(e)}”)
# 使用例
start_url = “https://b.hatena.ne.jp/” # スタートするURL
crawl(start_url, max_depth=2) # 深さ2でクロール
タグ: Web
TwitterRSS
Twitterには直接RSSフィードを自動投稿する機能はありませんが、いくつかの方法を使用してTwitterに自動投稿することができます。以下にいくつかの一般的な方法を紹介します。
IFTTT（If This Then That）: IFTTTは、さまざまなウェブサービスやアプリケーションを連携させるためのプラットフォームです。IFTTTを使用して、RSSフィードの新しいエントリがある場合にTwitterに投稿するルールを作成できます。
Zapier: ZapierはIFTTTと同様のサービスで、さまざまなアプリケーションやサービスを統合するための自動化ツールです。Zapierを使用して、RSSフィードの更新をトリガーとしてTwitterに投稿するワークフローを作成できます。
カスタムスクリプト: プログラミングやスクリプトの知識がある場合は、RSSフィードを監視し、新しいエントリがある場合にTwitterに投稿するカスタムスクリプトを作成することもできます。Pythonなどのプログラミング言語を使用して、フィードを解析し、Twitter APIを介してツイートを投稿する方法があります。
これらの方法の詳細な手順は、それぞれのサービスやツールのドキュメントやチュートリアルを参照してください。また、開発者にとってはTwitter APIを直接使用する方法もありますが、それには開発者アカウントの登録とAPIキーの取得が必要です。