• TopKursy - РЕДКИЕ Удаленные КУРСЫ!

    Эксклюзивные материалы, недоступные на других источниках.

    Откройте доступ к уникальным знаниям прямо сейчас!

    Подробнее

Скоро! Оценка AI-агентов [Андрей Киселёв]

Статус
В этой теме нельзя размещать новые ответы.
EGround

EGround

Редактор
Сообщения
73.285
Реакции
302

Складчина: Оценка AI-агентов [Андрей Киселёв]​


final.png


Высокий pass rate сам по себе не показывает, какие ошибки AI-системы стоит исправлять в первую очередь. На курсе Андрея Киселёва вы научитесь читать трейсы и группировать ошибки, а также строить синтетические датасеты для оценки качества ещё до появления пользовательского трафика.

Другое название — «Оценка AI агентов».

Для кого:

  1. AI / ML и Backend-инженерам
    Научитесь проектировать автоматические пайплайны оценки, тестировать сложных multi-step-агентов, мерить качество Retrieval (RAG) и встраивать эвалы в CI/CD — чтобы регрессии ловились до релиза, а не на проде
  2. Product-менеджерам AI-продуктов
    Получите инструменты для data-driven-управления качеством: связывать бизнес-метрики с метриками модели, строить таксономию ошибок и ставить инженерам прозрачные, измеримые ТЗ
  3. Tech Lead'ам и руководителям
    Поймёте, как выстроить процессы оценки внутри команды, выбрать стек (готовые платформы vs. in-house) и снизить затраты на ручную разметку — превратив эвалы в инструмент принятия решений

Барьеры при масштабировании AI-продуктов:

AI-системы ломаются не из-за моделей, а из-за отсутствия понимания качества. Вы не знаете что считать хорошим результатом, принимаете решения на глаз, отсутствует система оценки.

Результаты после курса:

Курс не только про эвалы, но и про навыки разработки AI в продакшне.

  • Сейчас: данных нет, а оценивать систему нужно уже сейчас.
    После курса: строите синтетические датасеты с первого дня прототипа — и не ждёте живого трафика, чтобы начать измерять
  • Сейчас: pass rate «вроде нормальный», но непонятно, что именно чинить.
    После курса: читаете трейсы, кластеризуете ошибки и точно знаете, какой класс проблем устранить первым
  • Сейчас: каждый новый формат — снова с нуля думаешь, как его оценивать.
    После курса: один инструментарий — на текст, изображения и мульти-тёрн чат. Переносите на любую AI-систему без потерь
  • Сейчас: стейкхолдеры не доверяют метрикам, продакты не понимают эвалы.
    После курса: встраиваете оценку качества в процесс команды — так, чтобы на неё опирались при принятии продуктовых решений

За 5 недель соберите eval-процесс на реальных прод-кейсах.

Спойлер: Часто задаваемые вопросы 1. Нужно ли уметь программировать для прохождения курса?

Да, базовое знание Python и понимание принципов работы с API LLM (например, OpenAI) необходимы для выполнения практических заданий и интеграции фреймворков.

2. Сколько времени занимает курс?

Около 4–6 часов в неделю на протяжении 5 недель — это совместимо с full-time работой.

3. Подходит ли курс, если мы используем open-source модели (LLaMA, Mistral) или другие API (Anthropic)?

Да. Все принципы применимы к open-source-моделям (LLaMA, Mistral) и к другим API, включая Anthropic.

4. Будут ли записи занятий?

Да, все занятия записываются — можно смотреть асинхронно в удобном часовом поясе.
Программа:

Пять сессий — пять симуляций реальных кейсов

5 сессий · 7.5 ч разговора

  1. Сессия 1. Интро и философия эвалов на простом кейсе
    Кейс — QnA-поиск по справке. Весь путь от продуктовой постановки до первого работающего эвала в ситуации, когда живых пользовательских данных ещё нет
  2. Сессия 2. Error analysis и почему eval-driven development — фантазия
    Почему нельзя один раз придумать идеальный эвал и «разрабатывать под него». Чтение трейсов, кластеризация ошибок, few-shot mining и автоподбор промптов через GEPA и DSPy
  3. Сессия 3. Мультимодальность: тот же инструментарий на генерации изображений
    Кейс — генерация кастомных картинок для печати на банковских картах. Рубрики безопасности, декомпозиция недопустимого контента и VLM-as-a-judge для визуального результата
  4. Сессия 4. Оценка чат-продуктов end-to-end
    Кейс — text2sql-ассистент с доступом к транзакционной базе пользователя. Multi-turn-оценка, симуляция пользователя через LLM, синтетические персоны и метрики сверх pass rate
  5. Сессия 5. Подведение итогов и рецепты для продакшна
    Финальная сессия — как на практике внедрить эвалы в команду. Технические рецепты плюс продуктовая и организационная сторона: стейкхолдеры, legal, антипаттерны

Что входит в курс:

  • 5 записей сессий с разбором
  • 5 реальных кейсов: от QnA до мультимодальности
  • 4 проекта в портфолио
  • Записи и материалы

Автор Андрей Киселёв

  • Head of Product, который строил, ломал и чинил AI продукты
  • Строил AI-продукты в продакшне: от первых RAG в маленьких командах до платформ с миллионами вызовов агентов в день
  • Работал в Revolut и Yandex, где отвечал за внедрение AI-фич
  • Истории и подходы из курса — то, что встречается в реальной разработке продуктов, с цифрами, ошибками и рабочими плэйбуками

Цена 79999 руб.


Материал «Оценка AI-агентов [Андрей Киселёв]», возможно, скоро появится на EGROUND.
Воспользуйтесь поиском, может быть, он уже опубликован.
 
Статус
В этой теме нельзя размещать новые ответы.
Сверху Снизу