Pythonのurllib3でBasic認証を通す

Basic認証をかけて制作しているWEBサイトをクロールする場面があった。 urllib3を使ってクローラーの準備はできているものとして、basic認証を通したい。 header情報を追加するだけだった。 通常は、 http = urllib3.PoolManager() response = http.request...

[Python] RequestsでBasic認証をパスして情報を取得する

RequestsはPythonでhttpコンテンツを簡単に取得できるライブラリ。初心者がスクレイピングを勉強する時にも使いやすい。 Basic認証がかかっているウェブサイトの場合でも、認証情報を指定することで問題なくコンテンツを取得できる。 Python環境で、 import requests requests.get...

Googleが勝手にHTTPSを検索結果に出してきたのでその対策

状況 2016年末に仕事で関わりのあったWordpressサイトがSSL対応された(僕以外の人により)。 問題だったのが、サーバーにSSL証明書が入っただけで、httpからhttpsへの適切なリダイレクト処理がなされていなかった。 とはいえ、httpでは普通にサイト見れてたし、googleに通知もしてなかったから、まぁ...

SlackとGASを使ってヨーダの名言を自動返答するbot

チャットツールSlackと、GAS(Google Apps Script)を使って、特定のキーワードに反応してジェダイの師ヨーダがメッセージを返してくれるBotを作ってみた。息抜きや人生に迷った時にメッセージを賜りたいと思う。 使うのはSlack、Googleスプレッドシート、Google Apps Script(GA...

Search Consoleから自動データ取得:スプレッドシートアドオン[Search Analytics]

WEB分析の中でも検索キーワード分析は「ほーこんな単語を調べてうちに辿り着いたか」というインサイトが得られて楽しい作業。 細かいワードごとの流入状況を確認するにはGoogle AnalyticsだけでなくGoogle Search Consoleを併用することになるが、検索アナリティクスはこの記事執筆時点で3ヶ月程度し...

Google Datastudioでアナリティクスを格好良くビジュアライズする。

2016年10月ごろ日本でも使えるようになったGoogle Datastudio(データスタジオ)。 使ってみるとかなり良い感触だったので、業務で役立った使い方やレポートをメモしておく。 Google Datastudioとは Google公式のデータビジュアライズツール。BIツールともいうか。数字をダッシュボード的に...