01 Введение: почему тема живая

Идея «следить за сотрудниками через скриншоты» кажется новой только на первый взгляд. На самом деле это огромный рынок, который последние 5 лет переживает бум из-за удалёнки и генеративного ИИ.

02 Три уровня мониторинга

Условно всё делится на три этажа. Чем выше — тем больше денег, сложнее архитектура и серьёзнее юридические риски.

03 Корпоративные монстры: что они реально делают

Это не «скриншот каждые 5 минут». Это полноценные платформы, где картинка с экрана — лишь один из сотни сигналов.

Общий паттерн: большие системы не полагаются на один сигнал. Они комбинируют активное окно, OCR, сетевые события, DLP-правила и ML-модели аномалий.

04 Средний уровень: self-hosted и open-source

Если не хочешь корпоративную махину, но и «скрипт на коленке» уже мало — вот сюда стоит смотреть.

05 Простейший уровень: твоя идея

Скрипт под именем host.exe, скриншот каждые 5 минут, отправка на внутренний сервер, потом анализ нейросетью. Давай разложим честно.

06 Пример реализации: «activity-logger»

Минимальный, но осмысленный прототип. Делает скриншот, определяет активное окно, спрашивает локальную модель «чем занят пользователь», пишет в SQLite. Всё локально.

Архитектура

Зависимости

pip install mss pywin32 pillow requests

Плюс установленный Ollama с моделью, например: ollama pull qwen2.5vl:3b

Код (activity-logger.py)

import time
import json
import base64
import sqlite3
import io
from datetime import datetime

import mss
import requests
from PIL import Image
import win32gui
import win32process

# --- Настройки ---
INTERVAL_SEC = 300          # раз в 5 минут
OLLAMA_URL = "http://localhost:11434/api/generate"
MODEL = "qwen2.5vl:3b"      # лёгкая vision-модель
DB_PATH = "activity.db"


def get_active_window_title():
    """Возвращает заголовок активного окна и имя процесса."""
    try:
        hwnd = win32gui.GetForegroundWindow()
        title = win32gui.GetWindowText(hwnd)
        _, pid = win32process.GetWindowThreadProcessId(hwnd)
        # имя процесса без psutil — через tasklist было бы медленно,
        # поэтому просто оставим pid, а имя добавим опционально
        return title, pid
    except Exception:
        return "", 0


def take_screenshot_base64():
    """Скриншот всего экрана → base64 PNG (сжатый)."""
    with mss.mss() as sct:
        monitor = sct.monitors[1]
        shot = sct.grab(monitor)
        img = Image.frombytes("RGB", shot.size, shot.rgb)
        # уменьшаем, чтобы модель работала быстрее
        img.thumbnail((1280, 720))
        buf = io.BytesIO()
        img.save(buf, format="PNG", optimize=True)
        return base64.b64encode(buf.getvalue()).decode("utf-8")


def ask_model(image_b64, window_title):
    """Спрашиваем локальную модель: чем занят пользователь."""
    prompt = (
        "Ты анализируешь скриншот рабочего стола сотрудника. "
        "Ответь строго в JSON без пояснений:\n"
        "{\n"
        '  "category": "work|social|video|messaging|games|other",\n'
        '  "app": "название приложения или сайта",\n'
        '  "activity": "краткое описание, чем занят (до 15 слов)",\n'
        '  "is_work_related": true/false\n'
        "}\n"
        f"Заголовок активного окна: {window_title}"
    )
    payload = {
        "model": MODEL,
        "prompt": prompt,
        "images": [image_b64],
        "stream": False,
        "options": {"temperature": 0.1}
    }
    try:
        r = requests.post(OLLAMA_URL, json=payload, timeout=120)
        r.raise_for_status()
        raw = r.json().get("response", "").strip()
        # вытаскиваем JSON из ответа
        start = raw.find("{")
        end = raw.rfind("}") + 1
        return json.loads(raw[start:end])
    except Exception as e:
        return {"category": "error", "app": "", "activity": str(e), "is_work_related": False}


def init_db():
    con = sqlite3.connect(DB_PATH)
    con.execute("""
        CREATE TABLE IF NOT EXISTS activity (
            id INTEGER PRIMARY KEY AUTOINCREMENT,
            ts TEXT,
            window_title TEXT,
            pid INTEGER,
            category TEXT,
            app TEXT,
            activity TEXT,
            is_work_related INTEGER
        )
    """)
    con.commit()
    return con


def save(con, window_title, pid, result):
    con.execute(
        "INSERT INTO activity (ts, window_title, pid, category, app, activity, is_work_related) "
        "VALUES (?, ?, ?, ?, ?, ?, ?)",
        (
            datetime.now().isoformat(timespec="seconds"),
            window_title,
            pid,
            result.get("category", ""),
            result.get("app", ""),
            result.get("activity", ""),
            1 if result.get("is_work_related") else 0,
        ),
    )
    con.commit()


def main():
    con = init_db()
    print(f"[activity-logger] старт, интервал {INTERVAL_SEC} сек, модель {MODEL}")
    while True:
        try:
            title, pid = get_active_window_title()
            img_b64 = take_screenshot_base64()
            result = ask_model(img_b64, title)
            save(con, title, pid, result)
            print(f"[{datetime.now():%H:%M:%S}] {result.get('category')} | "
                  f"{result.get('app')} | {result.get('activity')}")
        except Exception as e:
            print(f"[!] ошибка: {e}")
        time.sleep(INTERVAL_SEC)


if __name__ == "__main__":
    main()

Что получится в базе

SELECT ts, category, app, activity FROM activity ORDER BY ts DESC LIMIT 10;

Пример строк: work | VS Code | пишет код на Python, video | YouTube | смотрит лекцию по ML, messaging | Telegram | переписка.

Дальше можно прикрутить

• Простой дашборд на Flask: сколько времени в каждой категории за день.
• Агрегацию: «% work-related за неделю».
• Детект аномалий: резкие скачки в games или video в рабочее время.
• Экспорт в CSV для анализа в pandas.

06.5 Как это делает сама Microsoft (Recall + Phi Silica)

Ты придумал скриншот каждые 5 минут и локальную нейронку для анализа. Microsoft сделала то же самое, но назвала это Recall, встроила в Windows и добавила кучу железа. Разбираем архитектуру.

«Recall — это не фича. Это ответ Microsoft на вопрос: что если бы у компьютера была фотографическая память? И да, они сделали это ровно так, как ты придумал. Просто у них NPU на 45 TOPS, а у тебя — mss и Ollama».

07 Этика, закон и почему это важно

• РФ: скрытый сбор данных о сотруднике может нарушать трудовое законодательство и право на неприкосновенность частной жизни. Даже рабочие мессенджеры содержат личные сообщения.
• ЕС: GDPR требует законного основания и информирования. Скрытая слежка почти всегда незаконна.
• Доверие: исследования показывают рост тревожности и падение лояльности там, где вводят тотальный мониторинг.
• Обход: сотрудники быстро учатся имитировать активность (mouse jigglers, «правильные» окна).

Если система нужна для безопасности — она должна быть прозрачной и согласованной. Если для «поймать» — она будет врать и вредить.

08 Куда двигаться дальше