Маркетинговый и продуктовый рисерч по серым источникам инфы — на примере tg, hh.ru и YouTube

Николай Шейко

  • Фаундер grably.tech (кастомные ИИ системы для бизнеса)
  • Ко-фаундер entropy.talk (крупнейшие ру-конфы в онлайне про ИИ: до 5к зрителей)
  • b2b обучение (и b2c, зачем-то - aiforwork.courses)
Николай Шейко
AI и граблиt.me/ai_grably

Неиндексируемые источники инфы

Поисковики их почти не видят, LLMки на них не обучались, а самая мякотка – там

Telegram-каналыЭкспертные и нишевые каналы, комментарии под постами
hh.ruВакансии = что реально болит у бизнеса и какие навыки покупают
ОтзывыМаркетплейсы, Я.Карты, 2GIS, otzovik
LinkedInПрофили, посты, вакансии
InstagramКомменты под постами конкурентов, сторис
YouTubeОбзоры, распаковки, комментарии, автосубтитры

Позиционирование, маркетинговые подходы, лидогенерация

Telegram: читаем каналы без аккаунта

  • t.me/s/<username> — публичная превью-страница канала: логин не нужен, ходим обычным curl
  • Пагинация: ?before=<id> из атрибута data-before последнего поста — уходим в глубь истории
  • Комментарии: t.me/<channel>/<post_id>?embed=1&discussion=1 — виджет обсуждений, тоже без логина
  • Медиа не качать без надобности, комменты грузить точечно
Промпт

Научись читать посты публичного канала @X через t.me/s/X без входа в аккаунт. Потом — сразу несколько каналов, только за последние сутки, со ссылками на исходные посты. Собери выжимку: боли, запросы, что обсуждают.

hh.ru: вакансии как продуктовый рисерч

  • Официальная api.hh.ru стоит денег
  • Выдача: hh.ru/search работает без проблем. Осталось получить полный текст вакансии
  • Полный текст: hh.ru/vacancy/{id} → внутри JSON-LD JobPosting с описанием, зарплатой, навыками
  • Чтобы не попадать на капчу: обычный браузерный User-Agent, concurrency 1, пауза 1 секунда
  • Дальше LLM: structured extraction по vacancies.jsonl → карта навыков, зарплат, болей рынка
  • LinkedIn-лайфхак — guest API без логина:
    • linkedin.com/jobs-guest/jobs/api/seeMoreJobPostings/search?keywords=…
    • …/jobs-guest/jobs/api/jobPosting/{id} (текст)
Промпт

Собери 200 вакансий по запросу «X» без платного API: сначала выдача hh.ru/search/vacancy, потом текст каждой через hh.ru/vacancy/{id}. Соблюдай паузы, при капче — стоп и скажи мне. Итог — таблица: навыки, зарплаты, что просят чаще всего.

YouTube: обзоры и комменты через yt-dlp

  • Поиск без API:
    • yt-dlp "ytsearch20:X review" --flat-playlist --print "%(id)s|%(view_count)s|%(title)s"
  • Комментарии:
    • --skip-download --write-comments --extractor-args "youtube:comment_sort=top;max_comments=400" → JSON с лайками, replies, автором
  • Субтитры вместо просмотра:
    • --write-auto-subs --sub-lang ru → LLM-выжимка
  • Взлетающие тренды для контент-маркетинга:
    • ytsearchdate:<тема> за неделю → просмотры ÷ дней с публикации → что растёт быстрее обычного

Проблемы:

  • «Sign in to confirm you're not a bot» → --cookies-from-browser chrome; не помогло → обнови yt-dlp (старая версия = бот-чек)
  • 429 → один язык, последовательно, sleep 10
Промпт

Найди 20 самых просматриваемых обзоров на «X» через yt-dlp без API. По каждому вытащи автосубтитры и топ-200 комментариев. Собери: что хвалят, на что жалуются, какие вопросы без ответа. С цитатами и ссылками на видео.

Автоматизации: тот же процесс, но проактивно

01РазовоАгент написал скрипт, прогнал, проанализировал и отдал выжимку
→
02По таймеруautomation / routine: тг-дайджест утром, новые вакансии по запросу раз в день, свежие видео конкурента → выжимка комментов
→
03По событиюНовый пост в канале, новый отзыв, вебхук из CRM → агент реагирует сразу

Проверенный руками процесс → скилл → расписание

Другие возможности

  • Отзывы конкурентов — Google Play / App Store, otzovik, Trustpilot, Я.Карты → карта болей и недостающих фич
  • B2B-лидген через тендеры — zakupki.gov.ru, B2B-Center, коммерческие площадки → кто и что закупает прямо сейчас
  • Цены и ассортимент конкурентов — Ozon / WB / сайты по расписанию → изменения цен и новые SKU
  • Вопросы без ответа — Reddit, Habr Q&A, тг-чаты сообществ → темы для контента и фичи, которых ждут
  • Упоминания бренда — тг-каналы, комменты, отзывы без платного Brand Analytics
  • Конференции — программы и спикеры → карта экспертов и партнёров в нише
QR-код на эту презентацию

AGENTS.md от @ai_grably

~/agent_config/AGENTS.md

## Коммуникация

  • Отвечай на языке пользователя (микс русского и английского)
  • Можно материться, если в тему
  • Пользователь часто использует dictation. Если видишь артефакты транскрибации - подумай, что имелось ввиду
  • В процессе выполнения задач сообщая о том, что и почему делаешь в промежуточных шагах – это полезно пользователю для понимания и отдельно потом будет полезно для трейсинга сессий и "ретро"

...

  • Ты сам автономно идешь до результата, пока путь **ожидаемый**. Если уперся в неожиданную проблему – не нужно скрытно костылить воркэраунд. Правильно – объяснить проблему и дать варианты ее решения (и обхода). Иначе – будем ходить костыльными путями, а пользователь даже не будет в курсе. НО: если ожидаемого пути изначально нет - экспериментируй и пробуй разные пути, будь исследователем

...

  • Оспаривай бредовые запросы: если запрос выглядит бредовым, небезопасным или контрпродуктивным, не выполняй вслепую - объясни почему и предложи путь лучше. Если намерение неясно, сначала спроси

...

  • Ироничные шутки впроброс – иногда в тему
1 / 8