Raspberry Pi 4 8GBに ClickHouseをネイティブ構築してログを高速検索する

未分類

自宅サーバー(Raspberry Pi 4 / 8GB RAM + 外付けSSD)で稼働させている Suricata(IPS/IDS)の検知ログ(eve.json)を、Vector でリアルタイムにパース・振り分けし、列指向データベース ClickHouse の最新 JSON 型へ投入するログ分析基盤を構築したので作業メモとして残します。

構築のポイント

  • Raspberry Pi 4(ARMv8.0-A)ネイティブ稼働: 公式 Docker イメージの linux/arm64 版は ARMv8.2-A 命令セットを要求するためラズパイ4では動作しませんが、公式ワンライナーインストーラーが自動選択する ARMv8.0 互換バイナリ(aarch64v80compat)を debian:bookworm-slim に組み込むことで、QEMU エミュレーションなしのネイティブ速度で軽量稼働させています。
  • イベント別の自動テーブル振り分け: alert、dns、http、tls、flow などの event_type ごとにテーブルを自動分割して保存。
  • スキーマレスな自動カラム展開: ClickHouse(v26.11)の新しい JSON 型を利用し、手作業のカラム定義なしで全フィールドを自動解析・インデックス化。
  • 3年間の長期保管: TTL 設定により3年経過したログを自動削除し、128GB SSD 環境でも長期のログ調査を可能にする。
  • 安全なログ閲覧(VIEW設計): 攻撃者が送り込む制御文字(\u0000 等)やバイナリによる表示崩れを防ぐため、ClickHouse の VIEW 側で JSON エスケープ表記を維持したまま展開。

1. バージョン・構築環境情報

ハードウェア・OS環境

  • 本体: Raspberry Pi 4 Model B(Cortex-A72 / ARMv8.0-A / 8GB RAM)
  • ストレージ: 外付け USB SSD 128GB(マウント先: /mnt/ssd)
  • OS: Raspberry Pi OS(64bit / linux/arm64)
  • コンテナ基盤: Docker / Docker Compose

ミドルウェア・コンテナバージョン

  • ClickHouse: v26.11.1.2337(debian:bookworm-slim ベース独自ビルド / aarch64v80compat ネイティブバイナリ)
  • Vector: timberio/vector:latest-alpine(linux/arm64 ネイティブ)
  • Suricata(ログ出力元): dgken-ips/suricata:1.0(ログ出力先: /mnt/ssd/docker-base/dgken.net/logs/suricata/eve.json)

2. ディレクトリ構成と事前設定(ClickHouse)

作業用ディレクトリを作成します。ホストのmntディレクトリにssdフォルダを作って、そこにSSDをマウントしたので、以下のディレクトリパスにしています。

Bash

sudo mkdir -p /mnt/ssd/docker-base/clickhouse/{data,logs,config/users.d}
sudo mkdir -p /mnt/ssd/docker-base/vector/{config,data}

2-1. パスワード設定ファイル(default-user.xml)の作成

公式 Docker イメージの entrypoint.sh と同じ仕様で、SHA-256 ハッシュ化したパスワードを users.d/default-user.xml に定義します(changeme_password は任意のパスワードに変更してください)。

Bash

HASH=$(echo -n "changeme_password" | sha256sum | tr -d ' -')

cat << EOF > /mnt/ssd/docker-base/clickhouse/config/users.d/default-user.xml
<clickhouse>
    <users>
        <default>
            <password remove='1' />
            <password_sha256_hex>${HASH}</password_sha256_hex>
            <networks>
                <ip>::/0</ip>
            </networks>
            <profile>default</profile>
            <quota>default</quota>
            <access_management>1</access_management>
        </default>
    </users>
</clickhouse>
EOF

2-2. メモリ制限設定(memory_limit.xml)の作成

ラズパイ4(8GB RAM)で他のコンテナと同居させているため、ClickHouse 側のメモリ上限設定ファイルを /mnt/ssd/docker-base/clickhouse/config/memory_limit.xml に配置します。

XML

<clickhouse>
    <max_server_memory_usage_to_ram_ratio>0.5</max_server_memory_usage_to_ram_ratio>
</clickhouse>

3. ARMv8.0 ネイティブ対応 ClickHouse のビルドと起動

3-1. Dockerfile の作成

debian:bookworm-slim をベースに公式ワンライナーを実行します。ソースビルドではなくコンパイル済みの aarch64v80compat 単一バイナリが自動でダウンロードされるため、ラズパイ4上でも数分でビルドが完了します。

/mnt/ssd/docker-base/clickhouse/Dockerfile を作成します。

Dockerfile

FROM debian:bookworm-slim

RUN apt-get update \
 && apt-get install -y --no-install-recommends ca-certificates curl tzdata \
 && rm -rf /var/lib/apt/lists/*

RUN curl -fsSL -o /tmp/clickhouse \
      https://builds.clickhouse.com/master/aarch64v80compat/clickhouse \
 && chmod +x /tmp/clickhouse \
 && DEBIAN_FRONTEND=noninteractive /tmp/clickhouse install \
 && rm /tmp/clickhouse \
 && printf '<clickhouse><listen_host>0.0.0.0</listen_host></clickhouse>\n' \
      > /etc/clickhouse-server/config.d/listen.xml

USER clickhouse
VOLUME /var/lib/clickhouse
EXPOSE 8123 9000
ENTRYPOINT ["clickhouse", "server", "--config-file=/etc/clickhouse-server/config.xml"]

3-2. docker-compose.yml の作成

/mnt/ssd/docker-base/clickhouse/docker-compose.yml を作成します。

YAML

services:
  clickhouse:
    build: .
    image: dgken-siem/clickhouse-arm64:latest
    container_name: clickhouse
    restart: unless-stopped
    ports:
      - "8123:8123"
      - "9000:9000"
    environment:
      TZ: Asia/Tokyo
    volumes:
      - ./data:/var/lib/clickhouse
      - ./logs:/var/log/clickhouse-server
      - ./config/memory_limit.xml:/etc/clickhouse-server/config.d/memory_limit.xml:ro
      - ./config/users.d/default-user.xml:/etc/clickhouse-server/users.d/default-user.xml:ro
    ulimits:
      nofile:
        soft: 262144
        hard: 262144
    deploy:
      resources:
        limits:
          memory: 2G

3-3. ビルド・権限調整・コンテナ起動

コンテナ内の clickhouse ユーザーの UID/GID に合わせて、ホスト側の ./data と ./logs の所有者を変更してから起動します。

Bash

cd /mnt/ssd/docker-base/clickhouse

# イメージのビルド
docker compose build --no-cache

# コンテナ内 clickhouse ユーザーの UID:GID を確認してディレクトリ所有者を統一
CH_UID=$(docker run --rm --entrypoint id dgken-siem/clickhouse-arm64:latest -u clickhouse)
CH_GID=$(docker run --rm --entrypoint id dgken-siem/clickhouse-arm64:latest -g clickhouse)
sudo chown -R ${CH_UID}:${CH_GID} ./data ./logs

# コンテナ起動
docker compose up -d

起動後、ブラウザから http://<ラズパイのIP>:8123/play にアクセスし、ClickHouse Play UI が開くことを確認します。

4. データベース・テーブルの作成(Play UI で実行)

event_type ごとにテーブルを分けて保存するため、共通構造のテーブルを作成します。timestamp(パーティション・ソートキー用)と data JSON(全フィールド自動展開用)の2カラム構成とし、TTL で 3年間(INTERVAL 3 YEAR) 保持するように設定します。

ClickHouse Play UI で以下の SQL を実行します。

SQL

CREATE DATABASE IF NOT EXISTS suricata;

CREATE TABLE IF NOT EXISTS suricata.eve_alert (
    timestamp DateTime64(3, 'Asia/Tokyo'),
    data JSON
) ENGINE = MergeTree()
PARTITION BY toYYYYMM(timestamp)
ORDER BY timestamp
TTL toDateTime(timestamp) + INTERVAL 3 YEAR;

CREATE TABLE IF NOT EXISTS suricata.eve_anomaly (
    timestamp DateTime64(3, 'Asia/Tokyo'),
    data JSON
) ENGINE = MergeTree()
PARTITION BY toYYYYMM(timestamp)
ORDER BY timestamp
TTL toDateTime(timestamp) + INTERVAL 3 YEAR;

CREATE TABLE IF NOT EXISTS suricata.eve_dhcp (
    timestamp DateTime64(3, 'Asia/Tokyo'),
    data JSON
) ENGINE = MergeTree()
PARTITION BY toYYYYMM(timestamp)
ORDER BY timestamp
TTL toDateTime(timestamp) + INTERVAL 3 YEAR;

CREATE TABLE IF NOT EXISTS suricata.eve_dns (
    timestamp DateTime64(3, 'Asia/Tokyo'),
    data JSON
) ENGINE = MergeTree()
PARTITION BY toYYYYMM(timestamp)
ORDER BY timestamp
TTL toDateTime(timestamp) + INTERVAL 3 YEAR;

CREATE TABLE IF NOT EXISTS suricata.eve_drop (
    timestamp DateTime64(3, 'Asia/Tokyo'),
    data JSON
) ENGINE = MergeTree()
PARTITION BY toYYYYMM(timestamp)
ORDER BY timestamp
TTL toDateTime(timestamp) + INTERVAL 3 YEAR;

CREATE TABLE IF NOT EXISTS suricata.eve_fileinfo (
    timestamp DateTime64(3, 'Asia/Tokyo'),
    data JSON
) ENGINE = MergeTree()
PARTITION BY toYYYYMM(timestamp)
ORDER BY timestamp
TTL toDateTime(timestamp) + INTERVAL 3 YEAR;

CREATE TABLE IF NOT EXISTS suricata.eve_flow (
    timestamp DateTime64(3, 'Asia/Tokyo'),
    data JSON
) ENGINE = MergeTree()
PARTITION BY toYYYYMM(timestamp)
ORDER BY timestamp
TTL toDateTime(timestamp) + INTERVAL 3 YEAR;

CREATE TABLE IF NOT EXISTS suricata.eve_ftp (
    timestamp DateTime64(3, 'Asia/Tokyo'),
    data JSON
) ENGINE = MergeTree()
PARTITION BY toYYYYMM(timestamp)
ORDER BY timestamp
TTL toDateTime(timestamp) + INTERVAL 3 YEAR;

CREATE TABLE IF NOT EXISTS suricata.eve_http (
    timestamp DateTime64(3, 'Asia/Tokyo'),
    data JSON
) ENGINE = MergeTree()
PARTITION BY toYYYYMM(timestamp)
ORDER BY timestamp
TTL toDateTime(timestamp) + INTERVAL 3 YEAR;

CREATE TABLE IF NOT EXISTS suricata.eve_icmp (
    timestamp DateTime64(3, 'Asia/Tokyo'),
    data JSON
) ENGINE = MergeTree()
PARTITION BY toYYYYMM(timestamp)
ORDER BY timestamp
TTL toDateTime(timestamp) + INTERVAL 3 YEAR;

CREATE TABLE IF NOT EXISTS suricata.eve_quic (
    timestamp DateTime64(3, 'Asia/Tokyo'),
    data JSON
) ENGINE = MergeTree()
PARTITION BY toYYYYMM(timestamp)
ORDER BY timestamp
TTL toDateTime(timestamp) + INTERVAL 3 YEAR;

CREATE TABLE IF NOT EXISTS suricata.eve_smb (
    timestamp DateTime64(3, 'Asia/Tokyo'),
    data JSON
) ENGINE = MergeTree()
PARTITION BY toYYYYMM(timestamp)
ORDER BY timestamp
TTL toDateTime(timestamp) + INTERVAL 3 YEAR;

CREATE TABLE IF NOT EXISTS suricata.eve_smtp (
    timestamp DateTime64(3, 'Asia/Tokyo'),
    data JSON
) ENGINE = MergeTree()
PARTITION BY toYYYYMM(timestamp)
ORDER BY timestamp
TTL toDateTime(timestamp) + INTERVAL 3 YEAR;

CREATE TABLE IF NOT EXISTS suricata.eve_ssh (
    timestamp DateTime64(3, 'Asia/Tokyo'),
    data JSON
) ENGINE = MergeTree()
PARTITION BY toYYYYMM(timestamp)
ORDER BY timestamp
TTL toDateTime(timestamp) + INTERVAL 3 YEAR;

CREATE TABLE IF NOT EXISTS suricata.eve_tls (
    timestamp DateTime64(3, 'Asia/Tokyo'),
    data JSON
) ENGINE = MergeTree()
PARTITION BY toYYYYMM(timestamp)
ORDER BY timestamp
TTL toDateTime(timestamp) + INTERVAL 3 YEAR;

※ メモ: ClickHouse の新しい JSON 型は、データ投入時に内部のキー構造を自動解析し、裏側で自動的に列指向のサブカラムへ分割・圧縮してくれます。将来 Suricata のバージョンアップで新しい JSON フィールドが増えても、テーブル定義の変更は不要です。

5. Vector(ログ収集・振り分けパイプライン)の構築

Suricata がリアルタイム出力する eve.json(およびローテーションファイル eve.json-yyyymmdd)を監視し、不要な統計ログ(stats)を除外した上で event_type ごとのテーブル(eve_{{ event_type }})へ動的ルーティングします。

5-1. Vector 設定ファイル(vector.yaml)の作成

/mnt/ssd/docker-base/vector/config/vector.yaml を作成します。なお、私はすでにeve.json-20261115みたいな形でログローテーションをさせており、delaycompressを行っています。そのため、2日前のログはgzとなっており、1つ前のログローテーションされたばかりのファイルは末尾に-yyyymmddが付くような形にしています。

YAML

data_dir: /var/lib/vector

sources:
  suricata_eve:
    type: file
    include:
      - /var/log/suricata/eve.json*
    exclude:
      - /var/log/suricata/*.gz
    fingerprint:
      strategy: checksum
    ignore_older_secs: 86400
    read_from: end

transforms:
  parse_eve:
    type: remap
    inputs:
      - suricata_eve
    source: |
      parsed, err = parse_json(string!(.message))
      if err != null {
        abort
      }

      ev = downcase(to_string(parsed.event_type) ?? "")
      if ev == "" || ev == "stats" {
        abort
      }

      ev = replace(ev, r'[^a-z0-9_]', "_")
      ts = parse_timestamp(parsed.timestamp, format: "%+") ?? now()

      . = {
        "timestamp": format_timestamp!(ts, format: "%Y-%m-%d %H:%M:%S%.3f", timezone: "Asia/Tokyo"),
        "event_type": ev,
        "data": parsed
      }

sinks:
  clickhouse_dynamic:
    type: clickhouse
    inputs:
      - parse_eve
    endpoint: http://clickhouse:8123
    database: suricata
    table: "eve_{{ event_type }}"
    format: json_each_row
    compression: gzip
    skip_unknown_fields: true
    auth:
      strategy: basic
      user: default
      password: changeme_password
    batch:
      max_bytes: 5242880
      timeout_secs: 120
    buffer:
      type: disk
      max_size: 536870912
      when_full: drop_newest

※ メモ: buffer.type: disk(最大512MB)を設定しているため、ClickHouse の再ビルドやメンテナンス中であってもログを取りこぼさず、復旧後に自動再送されます。

5-2. Vector 用 docker-compose.yml の作成と起動

/mnt/ssd/docker-base/vector/docker-compose.yml を作成します(ClickHouse 側で自動生成されたブリッジネットワーク clickhouse_default に接続します)。

YAML

services:
  vector:
    image: timberio/vector:latest-alpine
    container_name: vector
    restart: unless-stopped
    volumes:
      - ./config/vector.yaml:/etc/vector/vector.yaml:ro
      - ./data:/var/lib/vector
      - /mnt/ssd/docker-base/dgken.net/logs/suricata:/var/log/suricata:ro
    networks:
      - clickhouse_default

networks:
  clickhouse_default:
    external: true

コンテナを起動し、ログにエラーが出ていないか確認します。

Bash

cd /mnt/ssd/docker-base/vector
docker compose up -d
docker compose logs --tail=20 vector

6. 検索用ビュー(VIEW)の作成と制御文字エスケープ対策

ClickHouse の JSON 型に格納されたサブカラムは data.src_ip や data.alert.signature のようにドット区切りで高速検索できますが、日常的な調査を楽にするため展開用の VIEW を作成します。

ハマりポイント・工夫した点

インターネット上のスキャナー(ZGrab2等)から送りつけられる不正パケットには、http_method や payload 内に \u0000(NULLバイト)などの制御文字が含まれており、そのまま表示すると UI 上で文字化け(“)や表示崩れを起こします。 そこで、元データは生のまま ClickHouse に保存しつつ、VIEW 側で toJSONString() を使って元のログ通り `\u0000` 表記にエスケープし、空値は SQL の `NULL` を返すように設計しました。

ClickHouse Play UI で以下を実行して suricata.v_alert を作成します。

1. 共通エスケープ関数(SQL UDF)を1つ作っておく方法(推奨)

まず Play UI で「NULL なら NULL、それ以外は trimBoth(toJSONString(x), '"') を返す」という短い関数 suricata_esc を1回だけ作成します。

SQL

CREATE FUNCTION IF NOT EXISTS suricata_esc AS (x) -> if(isNull(x), NULL, trimBoth(toJSONString(x), '"'))

上記関数を定義しておくと、CREATE VIEW する時、各行が圧倒的に短く、読みやすくなります。

SQL

CREATE OR REPLACE VIEW suricata.v_alert AS
SELECT
    timestamp,
    suricata_esc(data.event_type)           AS event_type,
    suricata_esc(data.src_ip)               AS src_ip,
    suricata_esc(data.src_port)             AS src_port,
    suricata_esc(data.dest_ip)              AS dest_ip,
    suricata_esc(data.dest_port)            AS dest_port,
    suricata_esc(data.proto)                AS proto,
    suricata_esc(data.app_proto)            AS app_proto,
    suricata_esc(data.ip_v)                 AS ip_v,
    suricata_esc(data.direction)            AS direction,
    suricata_esc(data.pkt_src)              AS pkt_src,
    suricata_esc(data.flow_id)              AS flow_id,
    suricata_esc(data.tx_id)                AS tx_id,
    suricata_esc(data.stream)               AS stream,
    suricata_esc(data.ts_progress)          AS ts_progress,
    suricata_esc(data.tc_progress)          AS tc_progress,

    -- alert.*
    suricata_esc(data.alert.action)         AS alert_action,
    suricata_esc(data.alert.severity)       AS alert_severity,
    suricata_esc(data.alert.category)       AS alert_category,
    suricata_esc(data.alert.signature)      AS alert_signature,
    suricata_esc(data.alert.signature_id)   AS alert_signature_id,
    suricata_esc(data.alert.gid)            AS alert_gid,
    suricata_esc(data.alert.rev)            AS alert_rev,

    -- http.*
    suricata_esc(data.http.hostname)        AS http_hostname,
    suricata_esc(data.http.http_method)     AS http_method,
    suricata_esc(data.http.url)             AS http_url,
    suricata_esc(data.http.protocol)        AS http_protocol,
    suricata_esc(data.http.length)          AS http_length,
    suricata_esc(data.http.xff)             AS http_xff,
    suricata_esc(data.http.http_user_agent) AS http_user_agent,

    -- flow.*
    suricata_esc(data.flow.start)           AS flow_start,
    suricata_esc(data.flow.src_ip)          AS flow_src_ip,
    suricata_esc(data.flow.src_port)        AS flow_src_port,
    suricata_esc(data.flow.dest_ip)         AS flow_dest_ip,
    suricata_esc(data.flow.dest_port)       AS flow_dest_port,
    suricata_esc(data.flow.pkts_toserver)   AS flow_pkts_toserver,
    suricata_esc(data.flow.pkts_toclient)   AS flow_pkts_toclient,
    suricata_esc(data.flow.bytes_toserver)  AS flow_bytes_toserver,
    suricata_esc(data.flow.bytes_toclient)  AS flow_bytes_toclient,

    -- payload
    suricata_esc(data.payload)              AS payload
FROM suricata.eve_alert;

7. 動作確認・検索クエリ例

Play UI で以下のクエリを実行し、ARM64 ネイティブ環境でリアルタイムにログが展開・検索できることを確認します。

SQL

-- バージョン・アーキテクチャ確認(aarch64 で動作していること)
SELECT version(), buildId();

-- 全カラム展開&エスケープ確認
SELECT *
FROM suricata.v_alert
ORDER BY timestamp DESC
LIMIT 10;

-- テーブルごとの取り込み件数・ディスク圧縮サイズ確認
SELECT
    table,
    sum(rows) AS total_rows,
    formatReadableSize(sum(bytes_on_disk)) AS disk_size
FROM system.parts
WHERE database = 'suricata' AND active = 1
GROUP BY table
ORDER BY total_rows DESC;

-- 格納されたJSON内の自動生成パス一覧を確認する場合
SELECT DISTINCT arrayJoin(distinctJSONPaths(data)) AS column_name
FROM suricata.eve_alert
ORDER BY column_name;

-- アラート一覧(全カラム表示)を確認
SELECT * FROM suricata.v_alert ORDER BY timestamp DESC LIMIT 100;

以上、Raspberry Pi 4(ARMv8.0)上での Suricata × Vector × ClickHouse ネイティブログ分析基盤の構築メモでした。

コメント

タイトルとURLをコピーしました