自宅サーバー(Raspberry Pi 4 / 8GB RAM + 外付けSSD)で稼働させている Suricata(IPS/IDS)の検知ログ(eve.json)を、Vector でリアルタイムにパース・振り分けし、列指向データベース ClickHouse の最新 JSON 型へ投入するログ分析基盤を構築したので作業メモとして残します。
構築のポイント
- Raspberry Pi 4(ARMv8.0-A)ネイティブ稼働: 公式 Docker イメージの
linux/arm64版は ARMv8.2-A 命令セットを要求するためラズパイ4では動作しませんが、公式ワンライナーインストーラーが自動選択する ARMv8.0 互換バイナリ(aarch64v80compat)をdebian:bookworm-slimに組み込むことで、QEMU エミュレーションなしのネイティブ速度で軽量稼働させています。 - イベント別の自動テーブル振り分け:
alert、dns、http、tls、flowなどのevent_typeごとにテーブルを自動分割して保存。 - スキーマレスな自動カラム展開: ClickHouse(v26.11)の新しい
JSON型を利用し、手作業のカラム定義なしで全フィールドを自動解析・インデックス化。 - 3年間の長期保管:
TTL設定により3年経過したログを自動削除し、128GB SSD 環境でも長期のログ調査を可能にする。 - 安全なログ閲覧(VIEW設計): 攻撃者が送り込む制御文字(
\u0000等)やバイナリによる表示崩れを防ぐため、ClickHouse の VIEW 側で JSON エスケープ表記を維持したまま展開。
1. バージョン・構築環境情報
ハードウェア・OS環境
- 本体: Raspberry Pi 4 Model B(Cortex-A72 / ARMv8.0-A / 8GB RAM)
- ストレージ: 外付け USB SSD 128GB(マウント先:
/mnt/ssd) - OS: Raspberry Pi OS(64bit /
linux/arm64) - コンテナ基盤: Docker / Docker Compose
ミドルウェア・コンテナバージョン
- ClickHouse: v26.11.1.2337(
debian:bookworm-slimベース独自ビルド /aarch64v80compatネイティブバイナリ) - Vector:
timberio/vector:latest-alpine(linux/arm64ネイティブ) - Suricata(ログ出力元):
dgken-ips/suricata:1.0(ログ出力先:/mnt/ssd/docker-base/dgken.net/logs/suricata/eve.json)
2. ディレクトリ構成と事前設定(ClickHouse)
作業用ディレクトリを作成します。ホストのmntディレクトリにssdフォルダを作って、そこにSSDをマウントしたので、以下のディレクトリパスにしています。
Bash
sudo mkdir -p /mnt/ssd/docker-base/clickhouse/{data,logs,config/users.d}
sudo mkdir -p /mnt/ssd/docker-base/vector/{config,data}
2-1. パスワード設定ファイル(default-user.xml)の作成
公式 Docker イメージの entrypoint.sh と同じ仕様で、SHA-256 ハッシュ化したパスワードを users.d/default-user.xml に定義します(changeme_password は任意のパスワードに変更してください)。
Bash
HASH=$(echo -n "changeme_password" | sha256sum | tr -d ' -')
cat << EOF > /mnt/ssd/docker-base/clickhouse/config/users.d/default-user.xml
<clickhouse>
<users>
<default>
<password remove='1' />
<password_sha256_hex>${HASH}</password_sha256_hex>
<networks>
<ip>::/0</ip>
</networks>
<profile>default</profile>
<quota>default</quota>
<access_management>1</access_management>
</default>
</users>
</clickhouse>
EOF
2-2. メモリ制限設定(memory_limit.xml)の作成
ラズパイ4(8GB RAM)で他のコンテナと同居させているため、ClickHouse 側のメモリ上限設定ファイルを /mnt/ssd/docker-base/clickhouse/config/memory_limit.xml に配置します。
XML
<clickhouse>
<max_server_memory_usage_to_ram_ratio>0.5</max_server_memory_usage_to_ram_ratio>
</clickhouse>
3. ARMv8.0 ネイティブ対応 ClickHouse のビルドと起動
3-1. Dockerfile の作成
debian:bookworm-slim をベースに公式ワンライナーを実行します。ソースビルドではなくコンパイル済みの aarch64v80compat 単一バイナリが自動でダウンロードされるため、ラズパイ4上でも数分でビルドが完了します。
/mnt/ssd/docker-base/clickhouse/Dockerfile を作成します。
Dockerfile
FROM debian:bookworm-slim
RUN apt-get update \
&& apt-get install -y --no-install-recommends ca-certificates curl tzdata \
&& rm -rf /var/lib/apt/lists/*
RUN curl -fsSL -o /tmp/clickhouse \
https://builds.clickhouse.com/master/aarch64v80compat/clickhouse \
&& chmod +x /tmp/clickhouse \
&& DEBIAN_FRONTEND=noninteractive /tmp/clickhouse install \
&& rm /tmp/clickhouse \
&& printf '<clickhouse><listen_host>0.0.0.0</listen_host></clickhouse>\n' \
> /etc/clickhouse-server/config.d/listen.xml
USER clickhouse
VOLUME /var/lib/clickhouse
EXPOSE 8123 9000
ENTRYPOINT ["clickhouse", "server", "--config-file=/etc/clickhouse-server/config.xml"]
3-2. docker-compose.yml の作成
/mnt/ssd/docker-base/clickhouse/docker-compose.yml を作成します。
YAML
services:
clickhouse:
build: .
image: dgken-siem/clickhouse-arm64:latest
container_name: clickhouse
restart: unless-stopped
ports:
- "8123:8123"
- "9000:9000"
environment:
TZ: Asia/Tokyo
volumes:
- ./data:/var/lib/clickhouse
- ./logs:/var/log/clickhouse-server
- ./config/memory_limit.xml:/etc/clickhouse-server/config.d/memory_limit.xml:ro
- ./config/users.d/default-user.xml:/etc/clickhouse-server/users.d/default-user.xml:ro
ulimits:
nofile:
soft: 262144
hard: 262144
deploy:
resources:
limits:
memory: 2G
3-3. ビルド・権限調整・コンテナ起動
コンテナ内の clickhouse ユーザーの UID/GID に合わせて、ホスト側の ./data と ./logs の所有者を変更してから起動します。
Bash
cd /mnt/ssd/docker-base/clickhouse
# イメージのビルド
docker compose build --no-cache
# コンテナ内 clickhouse ユーザーの UID:GID を確認してディレクトリ所有者を統一
CH_UID=$(docker run --rm --entrypoint id dgken-siem/clickhouse-arm64:latest -u clickhouse)
CH_GID=$(docker run --rm --entrypoint id dgken-siem/clickhouse-arm64:latest -g clickhouse)
sudo chown -R ${CH_UID}:${CH_GID} ./data ./logs
# コンテナ起動
docker compose up -d
起動後、ブラウザから http://<ラズパイのIP>:8123/play にアクセスし、ClickHouse Play UI が開くことを確認します。
4. データベース・テーブルの作成(Play UI で実行)
event_type ごとにテーブルを分けて保存するため、共通構造のテーブルを作成します。timestamp(パーティション・ソートキー用)と data JSON(全フィールド自動展開用)の2カラム構成とし、TTL で 3年間(INTERVAL 3 YEAR) 保持するように設定します。
ClickHouse Play UI で以下の SQL を実行します。
SQL
CREATE DATABASE IF NOT EXISTS suricata;
CREATE TABLE IF NOT EXISTS suricata.eve_alert (
timestamp DateTime64(3, 'Asia/Tokyo'),
data JSON
) ENGINE = MergeTree()
PARTITION BY toYYYYMM(timestamp)
ORDER BY timestamp
TTL toDateTime(timestamp) + INTERVAL 3 YEAR;
CREATE TABLE IF NOT EXISTS suricata.eve_anomaly (
timestamp DateTime64(3, 'Asia/Tokyo'),
data JSON
) ENGINE = MergeTree()
PARTITION BY toYYYYMM(timestamp)
ORDER BY timestamp
TTL toDateTime(timestamp) + INTERVAL 3 YEAR;
CREATE TABLE IF NOT EXISTS suricata.eve_dhcp (
timestamp DateTime64(3, 'Asia/Tokyo'),
data JSON
) ENGINE = MergeTree()
PARTITION BY toYYYYMM(timestamp)
ORDER BY timestamp
TTL toDateTime(timestamp) + INTERVAL 3 YEAR;
CREATE TABLE IF NOT EXISTS suricata.eve_dns (
timestamp DateTime64(3, 'Asia/Tokyo'),
data JSON
) ENGINE = MergeTree()
PARTITION BY toYYYYMM(timestamp)
ORDER BY timestamp
TTL toDateTime(timestamp) + INTERVAL 3 YEAR;
CREATE TABLE IF NOT EXISTS suricata.eve_drop (
timestamp DateTime64(3, 'Asia/Tokyo'),
data JSON
) ENGINE = MergeTree()
PARTITION BY toYYYYMM(timestamp)
ORDER BY timestamp
TTL toDateTime(timestamp) + INTERVAL 3 YEAR;
CREATE TABLE IF NOT EXISTS suricata.eve_fileinfo (
timestamp DateTime64(3, 'Asia/Tokyo'),
data JSON
) ENGINE = MergeTree()
PARTITION BY toYYYYMM(timestamp)
ORDER BY timestamp
TTL toDateTime(timestamp) + INTERVAL 3 YEAR;
CREATE TABLE IF NOT EXISTS suricata.eve_flow (
timestamp DateTime64(3, 'Asia/Tokyo'),
data JSON
) ENGINE = MergeTree()
PARTITION BY toYYYYMM(timestamp)
ORDER BY timestamp
TTL toDateTime(timestamp) + INTERVAL 3 YEAR;
CREATE TABLE IF NOT EXISTS suricata.eve_ftp (
timestamp DateTime64(3, 'Asia/Tokyo'),
data JSON
) ENGINE = MergeTree()
PARTITION BY toYYYYMM(timestamp)
ORDER BY timestamp
TTL toDateTime(timestamp) + INTERVAL 3 YEAR;
CREATE TABLE IF NOT EXISTS suricata.eve_http (
timestamp DateTime64(3, 'Asia/Tokyo'),
data JSON
) ENGINE = MergeTree()
PARTITION BY toYYYYMM(timestamp)
ORDER BY timestamp
TTL toDateTime(timestamp) + INTERVAL 3 YEAR;
CREATE TABLE IF NOT EXISTS suricata.eve_icmp (
timestamp DateTime64(3, 'Asia/Tokyo'),
data JSON
) ENGINE = MergeTree()
PARTITION BY toYYYYMM(timestamp)
ORDER BY timestamp
TTL toDateTime(timestamp) + INTERVAL 3 YEAR;
CREATE TABLE IF NOT EXISTS suricata.eve_quic (
timestamp DateTime64(3, 'Asia/Tokyo'),
data JSON
) ENGINE = MergeTree()
PARTITION BY toYYYYMM(timestamp)
ORDER BY timestamp
TTL toDateTime(timestamp) + INTERVAL 3 YEAR;
CREATE TABLE IF NOT EXISTS suricata.eve_smb (
timestamp DateTime64(3, 'Asia/Tokyo'),
data JSON
) ENGINE = MergeTree()
PARTITION BY toYYYYMM(timestamp)
ORDER BY timestamp
TTL toDateTime(timestamp) + INTERVAL 3 YEAR;
CREATE TABLE IF NOT EXISTS suricata.eve_smtp (
timestamp DateTime64(3, 'Asia/Tokyo'),
data JSON
) ENGINE = MergeTree()
PARTITION BY toYYYYMM(timestamp)
ORDER BY timestamp
TTL toDateTime(timestamp) + INTERVAL 3 YEAR;
CREATE TABLE IF NOT EXISTS suricata.eve_ssh (
timestamp DateTime64(3, 'Asia/Tokyo'),
data JSON
) ENGINE = MergeTree()
PARTITION BY toYYYYMM(timestamp)
ORDER BY timestamp
TTL toDateTime(timestamp) + INTERVAL 3 YEAR;
CREATE TABLE IF NOT EXISTS suricata.eve_tls (
timestamp DateTime64(3, 'Asia/Tokyo'),
data JSON
) ENGINE = MergeTree()
PARTITION BY toYYYYMM(timestamp)
ORDER BY timestamp
TTL toDateTime(timestamp) + INTERVAL 3 YEAR;
※ メモ: ClickHouse の新しい
JSON型は、データ投入時に内部のキー構造を自動解析し、裏側で自動的に列指向のサブカラムへ分割・圧縮してくれます。将来 Suricata のバージョンアップで新しい JSON フィールドが増えても、テーブル定義の変更は不要です。
5. Vector(ログ収集・振り分けパイプライン)の構築
Suricata がリアルタイム出力する eve.json(およびローテーションファイル eve.json-yyyymmdd)を監視し、不要な統計ログ(stats)を除外した上で event_type ごとのテーブル(eve_{{ event_type }})へ動的ルーティングします。
5-1. Vector 設定ファイル(vector.yaml)の作成
/mnt/ssd/docker-base/vector/config/vector.yaml を作成します。なお、私はすでにeve.json-20261115みたいな形でログローテーションをさせており、delaycompressを行っています。そのため、2日前のログはgzとなっており、1つ前のログローテーションされたばかりのファイルは末尾に-yyyymmddが付くような形にしています。
YAML
data_dir: /var/lib/vector
sources:
suricata_eve:
type: file
include:
- /var/log/suricata/eve.json*
exclude:
- /var/log/suricata/*.gz
fingerprint:
strategy: checksum
ignore_older_secs: 86400
read_from: end
transforms:
parse_eve:
type: remap
inputs:
- suricata_eve
source: |
parsed, err = parse_json(string!(.message))
if err != null {
abort
}
ev = downcase(to_string(parsed.event_type) ?? "")
if ev == "" || ev == "stats" {
abort
}
ev = replace(ev, r'[^a-z0-9_]', "_")
ts = parse_timestamp(parsed.timestamp, format: "%+") ?? now()
. = {
"timestamp": format_timestamp!(ts, format: "%Y-%m-%d %H:%M:%S%.3f", timezone: "Asia/Tokyo"),
"event_type": ev,
"data": parsed
}
sinks:
clickhouse_dynamic:
type: clickhouse
inputs:
- parse_eve
endpoint: http://clickhouse:8123
database: suricata
table: "eve_{{ event_type }}"
format: json_each_row
compression: gzip
skip_unknown_fields: true
auth:
strategy: basic
user: default
password: changeme_password
batch:
max_bytes: 5242880
timeout_secs: 120
buffer:
type: disk
max_size: 536870912
when_full: drop_newest
※ メモ:
buffer.type: disk(最大512MB)を設定しているため、ClickHouse の再ビルドやメンテナンス中であってもログを取りこぼさず、復旧後に自動再送されます。
5-2. Vector 用 docker-compose.yml の作成と起動
/mnt/ssd/docker-base/vector/docker-compose.yml を作成します(ClickHouse 側で自動生成されたブリッジネットワーク clickhouse_default に接続します)。
YAML
services:
vector:
image: timberio/vector:latest-alpine
container_name: vector
restart: unless-stopped
volumes:
- ./config/vector.yaml:/etc/vector/vector.yaml:ro
- ./data:/var/lib/vector
- /mnt/ssd/docker-base/dgken.net/logs/suricata:/var/log/suricata:ro
networks:
- clickhouse_default
networks:
clickhouse_default:
external: true
コンテナを起動し、ログにエラーが出ていないか確認します。
Bash
cd /mnt/ssd/docker-base/vector
docker compose up -d
docker compose logs --tail=20 vector
6. 検索用ビュー(VIEW)の作成と制御文字エスケープ対策
ClickHouse の JSON 型に格納されたサブカラムは data.src_ip や data.alert.signature のようにドット区切りで高速検索できますが、日常的な調査を楽にするため展開用の VIEW を作成します。
ハマりポイント・工夫した点
インターネット上のスキャナー(ZGrab2等)から送りつけられる不正パケットには、http_method や payload 内に \u0000(NULLバイト)などの制御文字が含まれており、そのまま表示すると UI 上で文字化け(“)や表示崩れを起こします。 そこで、元データは生のまま ClickHouse に保存しつつ、VIEW 側で toJSONString() を使って元のログ通り `\u0000` 表記にエスケープし、空値は SQL の `NULL` を返すように設計しました。
ClickHouse Play UI で以下を実行して suricata.v_alert を作成します。
1. 共通エスケープ関数(SQL UDF)を1つ作っておく方法(推奨)
まず Play UI で「NULL なら NULL、それ以外は trimBoth(toJSONString(x), '"') を返す」という短い関数 suricata_esc を1回だけ作成します。
SQL
CREATE FUNCTION IF NOT EXISTS suricata_esc AS (x) -> if(isNull(x), NULL, trimBoth(toJSONString(x), '"'))
上記関数を定義しておくと、CREATE VIEW する時、各行が圧倒的に短く、読みやすくなります。
SQL
CREATE OR REPLACE VIEW suricata.v_alert AS
SELECT
timestamp,
suricata_esc(data.event_type) AS event_type,
suricata_esc(data.src_ip) AS src_ip,
suricata_esc(data.src_port) AS src_port,
suricata_esc(data.dest_ip) AS dest_ip,
suricata_esc(data.dest_port) AS dest_port,
suricata_esc(data.proto) AS proto,
suricata_esc(data.app_proto) AS app_proto,
suricata_esc(data.ip_v) AS ip_v,
suricata_esc(data.direction) AS direction,
suricata_esc(data.pkt_src) AS pkt_src,
suricata_esc(data.flow_id) AS flow_id,
suricata_esc(data.tx_id) AS tx_id,
suricata_esc(data.stream) AS stream,
suricata_esc(data.ts_progress) AS ts_progress,
suricata_esc(data.tc_progress) AS tc_progress,
-- alert.*
suricata_esc(data.alert.action) AS alert_action,
suricata_esc(data.alert.severity) AS alert_severity,
suricata_esc(data.alert.category) AS alert_category,
suricata_esc(data.alert.signature) AS alert_signature,
suricata_esc(data.alert.signature_id) AS alert_signature_id,
suricata_esc(data.alert.gid) AS alert_gid,
suricata_esc(data.alert.rev) AS alert_rev,
-- http.*
suricata_esc(data.http.hostname) AS http_hostname,
suricata_esc(data.http.http_method) AS http_method,
suricata_esc(data.http.url) AS http_url,
suricata_esc(data.http.protocol) AS http_protocol,
suricata_esc(data.http.length) AS http_length,
suricata_esc(data.http.xff) AS http_xff,
suricata_esc(data.http.http_user_agent) AS http_user_agent,
-- flow.*
suricata_esc(data.flow.start) AS flow_start,
suricata_esc(data.flow.src_ip) AS flow_src_ip,
suricata_esc(data.flow.src_port) AS flow_src_port,
suricata_esc(data.flow.dest_ip) AS flow_dest_ip,
suricata_esc(data.flow.dest_port) AS flow_dest_port,
suricata_esc(data.flow.pkts_toserver) AS flow_pkts_toserver,
suricata_esc(data.flow.pkts_toclient) AS flow_pkts_toclient,
suricata_esc(data.flow.bytes_toserver) AS flow_bytes_toserver,
suricata_esc(data.flow.bytes_toclient) AS flow_bytes_toclient,
-- payload
suricata_esc(data.payload) AS payload
FROM suricata.eve_alert;
7. 動作確認・検索クエリ例
Play UI で以下のクエリを実行し、ARM64 ネイティブ環境でリアルタイムにログが展開・検索できることを確認します。
SQL
-- バージョン・アーキテクチャ確認(aarch64 で動作していること)
SELECT version(), buildId();
-- 全カラム展開&エスケープ確認
SELECT *
FROM suricata.v_alert
ORDER BY timestamp DESC
LIMIT 10;
-- テーブルごとの取り込み件数・ディスク圧縮サイズ確認
SELECT
table,
sum(rows) AS total_rows,
formatReadableSize(sum(bytes_on_disk)) AS disk_size
FROM system.parts
WHERE database = 'suricata' AND active = 1
GROUP BY table
ORDER BY total_rows DESC;
-- 格納されたJSON内の自動生成パス一覧を確認する場合
SELECT DISTINCT arrayJoin(distinctJSONPaths(data)) AS column_name
FROM suricata.eve_alert
ORDER BY column_name;
-- アラート一覧(全カラム表示)を確認
SELECT * FROM suricata.v_alert ORDER BY timestamp DESC LIMIT 100;
以上、Raspberry Pi 4(ARMv8.0)上での Suricata × Vector × ClickHouse ネイティブログ分析基盤の構築メモでした。


コメント