Lycolog

アクセス解析にノイズが出て鬱陶しいので、海外IPのUAを幾らか調べてみたまとめ。

今年の1月末付近と、5月末に調査を実施している。

集計条件

https://blog.lycolia.info/配下にHTTPリクエストが来た時で、そのURLにファイルが存在しない場合に、海外IP判定が出たものについて次の基準で集計している。

• 2026-01-29 19:30:25 -> 2026-02-03 07:23:22
  • UAに次を含まない
    • bot | curl | wget | google | bing | mastodon | misskey | pleroma | akkoma | lemmy | activitypub | hatena | github | tumblr
  • 日本、韓国、台湾のIP以外
• 2026-05-25 20:15:52 -> 2026-05-29 23:19:00
  • UAに次を含まない
    • bot | curl | wget | google | bing | mastodon | misskey | pleroma | akkoma | lemmy | activitypub | hatena | github | tumblr | meta
  • 日本のIP以外

IPの国判定にはその月のDBIP-City.mmdbを使用した。

2026-01-29 19:30:25 -> 2026-02-03 07:23:22

UA別

• meta-externalagent/1.1はFacebookやInstagramのOGP収集クローラーらしいが、異常にアクセスが多い。無害なので5月のログでは許可している
• Baiduspiderは百度のクローラー、個人的にいい印象はない。
• NULL、UA未設定。まともなアクセスでない可能性が高い。PHPのfile_get_contents()だとデフォは空。curlはcurl/8.19.0みたいなのがデフォルトで入る。
• FaradayはRubyのHTTPクライアントらしい
• Twingly Recon-Sjostromは何かしらのフィードリーダーの可能性がある

国別

アメリカが最多で、中国、インドと続いた。

UAがNULLの国別

アメリカにNULLのUAが多く、意外と中国にはなかった。偽装UAであれ設定してるだけまともといえる。

アクセス先URL

ほとんどが公開URLへのアクセスで有害なURLへのアクセスは思ったよりなかった。

2026-05-25 20:15:52 -> 2026-05-29 23:19:00

UA別

• metaを弾くようにした結果NULLがトップに上がってきた
• Baiduspiderが来なくなった
• Faradayがrururu.appからのクロールであることが判明した（rururu.appに出た瞬間にログを確認したところ、これしかいなかったため）
• Fediverse系のUAが増えた気がする

国別

前回15件しかなかったブラジルが425件に増えてトップに躍り出た。ブラジルに何があるんだ…。AWSのデータセンター？

そしてアメリカ、カナダ、中国、台湾と次ぐ。アメリカはAWSとかが多い気がする。カナダは知らん。中国は多分人間が来ている気がしているがよくわかっていない。台湾は今回ログの範囲に含めたため初登場。韓国からのアクセスはなかったようだ。

UAがNULLの国別

ブラジルからのアクセスに悪質なものが多かったことが推測できる。

アクセス先URL

圧倒的に有害なアクセスが増えていた。

集計クエリ

事後分析するためにデータをSQLiteに保存していたので、そのクエリ。実は1月のデータはTSVだったので、地味にコンバートに苦労したが、SQLiteクライアントがTSVからのインポートをサポートしていたので、引っかかったのはTSVのタイムスタンプがSat May 30 00:50:56 2026だったのを、DBのタイムスタンプのYYYY-MM-DD HH:mm:ssに変えるくらいだった。これはLLMに変換SQLを出してもらって良しなにしてもらった。

集計テーブルのDDL

CREATE TABLE "deny_log" (
	"id"	INTEGER,
	"url"	TEXT,
	"country"	TEXT,
	"remote_addr"	TEXT,
	"user_agent"	TEXT,
	"timestamp"	TEXT,
	PRIMARY KEY("id" AUTOINCREMENT)
)

UA別

SELECT
	T.UA,
	COUNT(T.UA)
FROM
	(
		SELECT
			CASE
				WHEN user_agent IS NULL
				THEN "NULL"
				ELSE user_agent
			END AS UA
		FROM
			deny_log
		WHERE
			timestamp < '2026-05-20'
	) T
GROUP BY
	UA
ORDER BY
	COUNT(T.UA) DESC

国別

SELECT
	country,
	COUNT(country)
FROM
	deny_log
WHERE
	timestamp < '2026-05-20'
GROUP BY
	country
ORDER BY
	COUNT(country) DESC

UAがNULLの国別

SELECT
	country,
	COUNT(country)
FROM
	deny_log
WHERE
	timestamp < '2026-05-20'
AND user_agent IS NULL
GROUP BY
	country
ORDER BY
	COUNT(country) DESC

アクセス先URL

URLの善悪分類はエクセルを使って手動。

無害＝robot.txtや記事URLなどの公開URL、有害＝管理画面や何かのスクリプトのURLを叩いているもの。

SELECT
	url,
	COUNT(url)
FROM
	deny_log
WHERE
	timestamp < '2026-05-20'
AND (
	url != '/'
	AND url NOT LIKE '/0%'
)
GROUP BY
	url
ORDER BY
	COUNT(url) DESC

あとがき

元々はアクセス解析に出ないようにブロックするために集計していたが（robot.txtが尊重されるとか思ってないので)、善良なBOTの大半が海外IPで対応が面倒なのでいったんブロックはやめることにした。

将来的にはAnubis辺りを導入してWAFを掛けることで対応したいと思う。

あとこれをやってて思ったこととしてUAの中に自分が何者かを入れてくれてるクライアントは凄く親切だなと思った。

やりたいことが多すぎて消化が追い付かない！

• サイト運営周り
  • 自作サーバー近隣
  • CMS開発回り
• 書きたいけど書けてない日記のネタを書く
• 旅行回り

サイト運営周り

自作サーバー近隣

• 監視周りの整備
  • OpenWrtのメトリクス集め
  • データソースのセットアップはしたものの整備されてないGrafanaのダッシュボード整理
  • 発報体制の整備
  • 外形監視とステータスページの導入
    • 実は空っぽの敷地だけはある
• 自宅サーバーのリプレース
  • Ubuntu -> Debian
• WAF(Anubis)の導入
  • Claudflareより自由ソフトウェアだろ！
  • かわいいし！

CMS開発回り

まずは何が欲しいのかの要件整理からしていかないといけない奴ら。

• adiary代替CMSの作成
  • adiaryの基本機能は保ったままプラガブルでメンテナンスがしやすいCMSの作成
  • MCP対応もしたい
  • パフォーマンスはadiaryほどギチギチに詰めない予定
  • CGI動作
  • Markdown parserの全面刷新
• Wikiの作成
  • 上記CMSの基盤を転用して整備したい
  • PukiwikiがMarkdownで書けず、既存の改造品もしっくりこないため
  • ブログには日々のログを、Wikiにはあとで見返す情報の集約を、というので役割分担をしたい

書きたいけど書けてない日記のネタを書く

全部書くかどうかはわからないが書いてないと忘れてしまいそうなのと、発生日が不明だと日付ベースで管理している行動メモから引き出せないのでメモっておく。

ゾンサガの鑑賞録も書いてないが、これについては書くかどうかがとても怪しい。

旅行回り

それ以前にやりたいことが多すぎるため、いずれも優先度は低い。

• 姫路市立水族館でナマコを触りたい
  • ナマコ触れる場所では恐らく三宮から最も近く、他だと和歌山や豊岡、玉野になってくる
• 冬雨文庫に行ってみる
  • 岡山市・オランダ通りの古書店「よつば文庫」
• 鷲羽山ハイランドでバンジージャンプをする