vovasensei

06/30/2025

Симплекс-метод

🏥В клинике пять кабинетов и пять врачей принимают пациентов с 9:00 до 14:00, перерыв на час в 12. Врачи приходят, когда есть пациенты. Некоторым врачам нужны аппараты в определенных кабинетах, но не всегда.
Пациенты записываются , но приходят как попало, к середине дня расписание плывёт.
🧮Если же врачей, кабинетов, аппаратов, пациентов десятки или сотни, то вручную распланировать работу невозможно.

💁Те же проблемы возникают при планировании клинических исследований, лабораторных, в работе любой школы или компании.

Это - задача линейного программирования.
-------

Задачу решали и решают разными способами.
Один из главнейших сейчас - симплекс-метод.

🕵‍♂Джордж Данциг (на фото слева) в 1947 году для ВВС США придумал, как оптимально распределять самолёты, грузы и экипажи по маршрутам и задачам. В его случае переменных были тысячи. Данциг отличился решив непосильные задачи про т-тест Стьюдента и когда был студентом и был, по всей видимости, гением.

👨🏻‍💼Независимо и раньше , в 1939 году Леонид Канторович (на фото справа) в СССР сформулировал линейные модели для оптимального распределения ресурсов в экономике и использовал метод лагранжа - вводил дополнительные переменные, чтобы связать разные ограничения в единое уравнение.
Его подход тоже используется как часть симплекс-метода.
Его книги цензурировали и ругали - вмешиваться в плановую экономику своей математикой - не марксистки!
Тем не менее Канторовича наградили нобелевкой в 1975.
-----

⬆️Пример
max z = x + y (максимизировать сумму x и y)
при условиях
2x + y ≤ 8
x + 3y ≤ 9
x, y ≥ 0

Симплекс-метод записывает матрицу из всех коэффициентов и пошагово её преобразует, доходя до "лучшего" варианта и выдавая ответ:
2 1 1 0 8
1 3 9 0 1
1 1 0 0 0
->
1 0 0.6 –0.2 3
0 1 –0.2 0.4 2
0 0 0.4 0.2 5
Отсюда ответ: максимум x+y=5, оптимальные x = 3, y = 2.
------

🙂Приколы симплекс-метода

1. Дантциг, в отличие от других авторов похожих алгоритмов, догадался, что самый быстрый способ - работать с векторами-колонками этой матрицы, которые живут в своём пространстве. Метод постоянно меняет базис этого пространства и ищет лучший вектор, прямо указывающ

06/26/2025

Скрытые марковские цепи

💬В 1906 году русский математик Андрей Марков после спора с верующим коллегой о боге и свободе воли, законах математики и вероятностей предложил последовательности величин, с одной стороны случайных, а с другой — зависящих от предыдущего и только от предыдущего состояния.
Оказалось, что даже такие величины подчиняются статистическим законам для случайного.

В марковской цепи есть вероятности перехода каждого состояния в каждое состояние.
Последовательно их применяя, можно посчитать вероятность быть в конкретном состоянии через, например, 1000 шагов.
------

👀Пример
Из простых наблюдений за пациентами вы знаете, что при панической атаке с большой вероятностью в течение 5 минут будет одышка (0.9), а вот одышка может быть по разными причинам, поэтому при одышке ПА маловероятна (0.02).
Кроме того, одышка продолжится одышкой в течение 5 минут с вероятностью 0.7, а ПА продолжается с вероятностью 0.05.

Получается матрица переходов — все вероятности, записанные рядом:
0.7 0.9
0.02 0.05

Применяя эту матрицу к любому состоянию, можно увидеть вероятность одышки или ПА через любое время.
------

🙂Fun facts:
- Марков впервые применил собственную модель для анализа распределений букв в "Евгении Онегине" и предсказывал текст; этот способ, хоть примитивный рядом с нейросетями, всё ещё используется для автозаполнения при печати
- Маркова, его сына, его внука и его правнука звали Андреями Андреевичями
- атеизм Маркова был тогда на грани дозволенного, и в математическом споре о "свободе воли" он был один против всех
------

⁉️HMM (Hidden Markov Model, скрытые марковские цепи)
Это логичное и нужное расширение понятия марковской цепи.
Теперь мы не знаем вероятности всех переходов (из одышки в ПА), но имеем наблюдаемые переменные (пациентов).

Тогда по наблюдениям мы сможем выяснить скрытые вероятности.

Для этого применяются условные вероятности в forward-backward алгоритме.

Forward–Backward — это способ вычислить для каждого момента времени t апостериорную вероятность скрытого состояния Xₜ, опираясь на всю наблюдаемую последовательнос

04/28/2025

Из телеграм- канала "Статистика для Медиков" .

Скандал в 1936!

😳 Что произошло в 1936 году?
Ошибка журнала Литерари Дайджеста: провальный прогноз на выборах.

Журнал разослал 10 млн анкет читателям, получил обратно 2.5 млн заполненных и сделал уверенный прогноз победы республиканца Альфреда Лэндона над Франклином Рузвельтом.

Рузвельт разгромил Лэндона на выборах, а журнал извинялся отдельной статьёй.

В это же самое время журналист Джордж Гэллап использовал репрезентативную выборку и более правильные методы опроса на основе статистических методов и идеи выборки как модели всей популяции, заложенных ещё в начале века Карлом Пирсоном и Рональдом Фишером.

Гэллап определил демографические параметры населения, отбирал группы людей, чтобы они представляли всю страну, а его маленький (около 50 тысяч человек) опрос дал точный прогноз победы Рузвельта.

Впоследствии журнал перестал существовать, а Гэллап основал и сейчас процветающую компанию социологических опросов.
---

🧪 Почему произошла ошибка?
1. Смещение выборки — опрашивали в основном подписчиков, владельцев телефонов и автомобилей (богатых).

2. Смещение отклика — многие опрошенные не ответили (response bias).
---

📊 Как это связано с медицинскими исследованиями?

Случайные ошибки (random error): вариации в данных из-за случайных факторов 🤷‍♂️
Уменьшается при увеличении размера выборки (n↑):

SE = σ / √n
где σ — стандартное отклонение, n — размер выборки.

Систематические ошибки (systematic error): постоянное смещение 😒
Не исчезают при увеличении выборки:

Систематическая ошибка = Среднее измеренное значение − Истинное значение

Коэффициент кооперации (response rate, RR):
RR = (число ответивших / число опрошенных) × 100%
Низкий RR → риск смещения отклика↑ 🫥

🧠 Итого
Ошибки (или отклонения) в данных выборки бывают случайными и систематическими.

Случайная ошибка уменьшается с ростом размера выборки.

Систематическая ошибка требует изменения методов сбора данных, но не может быть вычислена так же просто, как случайная, стандартная ошибка.

При сборе данных также важно искать способы повысить коэффициент кооперации - упрощать доступ к анкете,

04/02/2025

Заходите на канал medstathelp в телеграме!
https://t.me/medstathelp

03/12/2025

Эндрю Хаксли (брат автора "Дивного Нового Мира" Олдоса Хаксли) и Алан Ходжкин в 1952 получили Нобелевскую премию за описание механизма передачи сигналов в нейронах.
Они вывели 4 дифференциальных уравнения (то есть описывающих скорость изменения):

1. Уравнение для мембранного потенциала.
2. Уравнение для токов ионов через мембрану, включающее натрий (Na+), калий (K+) и хлор (Cl-) и их роль в формировании действия потенциала.
3. Уравнение для емкости мембраны (способность нейрона к хранению заряда).
4. Уравнение для проводимости ионов через мембрану.

Чтобы найти недостающие константы в уравнениях, они провели эксперименты с передачей сигналов по гигантскому аксону кальмара.
Этот аксон имеет невероятный диаметр — около 1мм, эволюционно обоснованный тем, что кальмар может очень быстро реагировать на опасность (касание, поток воды) и выпустить воду, чтобы моментально отлететь в сторону.
Размер позволил закреплять в аксоне доступные тогда электроды с клещами.

Видео:
https://www.youtube.com/watch?v=no_1cElnSIQ

02/14/2025

Нотация Кенделла (Дэвид Джордж Кенделл, 1918-2007, первый профессор математической статистики университета Кембриджа) для систем очередности (a, b, c, d, e):
arrival pattern, queue service pattern, queue service channels, queue capacity, queue discipline. 📊

Или, скажем, “абвгд”:
“абоненты”, “бригада”, “входы”, “грузоёмкость”, “дисциплина”. 💼

Например:
• абоненты: в среднем приходят 3 человека в час (с распределением Пуассона) 📈
• бригада: в среднем обслуживают 4 человека в час (с распределением Пуассона) 🛠
• входы: 1 окошко 🏢
• грузоёмкость: в очереди 100 человек 👥
• дисциплина: первым пришёл — первым ушёл (FIFO) ⏳

Такая система очередности в записи Кенделла:
(M, M, 1):(100, FIFO)

Буквы “M” означают “марковость”, отсутствие памяти распределения приходящих и обслуженных — их количество каждый час не зависит от предыдущего количества 🔄.
“1” — количество входов, одно окошко обслуживания 🚪.
“FIFO” — first in, first out — первым пришёл, первым ушёл 🔁.

Эта одна из самых простых систем, её поведение можно сразу предсказать: в среднем каждый час количество людей в очереди будет уменьшаться на 1 (обслужат в единственном окошке 4, придут ещё 3) 📉. Значит, где-то через 100 часов очередь закончится ⏱️. Также известно, какой человек в какое примерно время будет обслужен (Пришёл десятым — уйдёт десятым) 🕔.

Такое представление важно не только для удобной записи, но и для оптимизации процессов обслуживания в различных областях: телекоммуникации 📱, транспорт 🚗, логистика 📦, информатика 💻, где требуется точное понимание и прогнозирование поведения очередей.

02/14/2025

🔢 Как и зачем считать коэффициенты корреляции Спирмена и Кендалла? На пальцах 🖐

📊 Зачем и когда?
1. Спирмен (ρ): Когда нам нужно понять, насколько монотонно меняются два ряда данных (например, ранги менеджеров и их портфелей). Например, если один всегда растет, то второй тоже (или нет), но не обязательно линейно (в отличие от линейной регрессии).
• 🕵️‍♂️ Используем, когда просто интересует зависимость, а не точная линия.

2. Кендалл (τ): Когда нас интересует согласованность между двумя списками рангов (например, сколько раз оба ранга идут в одном направлении). В отличие от Спирмена, это работает через пары данных.
• 🕵️‍♂️ Используем, когда важно понять, как часто два ранга “согласуются” между собой.

Все ранговые корреляции, в отличие от регрессий, можно использовать, когда данные
- ординальные ("классный" менеджер, "очень классный", "не классный")
- не нормально распределены (есть много "классных", но очень мало "не классных")
- имеют выбросы (есть "супер-мега классных на порядок лучше всех")
- корреляция не линейная (нельзя провести прямую близко к данным)
- дисперсии у данных разные (по-разному разбросаны ранги менеджеров и их портфелей)

✍️ Как считаются?
1. Коэффициент Спирмена (ρ):
• Для каждой пары данных (например, два ранга: рейтинг фин. менеджера и рейтинг его портфеля) считаем разницу между ними.
• Возводим разницу в квадрат.
• Суммируем квадраты разниц.
• Подставляем в формулу:
• ρ = 1 - (6 * Σd²) / (n * (n² - 1))
• Где d — разница между рангами для каждой пары, а n — количество данных.

Пример:
• Иванов и его портфель (1, 1) → разница 0
• Петров и его портфель (2, 3) → разница -1
• Σd² = 0² + (-1)² = 1
• Формула: ρ = 1 - (6 * 1) / (5 * (25 - 1)) = 0.85, значит, есть монотонная зависимость — чем выше рейтинг менеджера, тем выше рейтинг его портфеля. Надо ещё обязательно проверить такой результат на значимость, ведь здесь всего две пары данных.

2. Коэффициент Кендалла (τ):
• Считаем все пары данных.
• Разделяем их на согласованные (если оба ранга идут в одинаковом порядке) и несогласованные (если порядок отличается).
• Формула: τ = (C - D) / (C + D)
• Где C — количество согласованных

02/08/2025

Сделал "Ответы на сложные вопросы с использованием собственных производных таблиц с LookML".

Сверху SQL на платформе Looker Google придумал свой динамический язык LookML, а сверху для красивого вывода данных — Liquid! 🤨

Проверить, что вправду закончил:
https://www.coursera.org/account/accomplishments/verify/4LZQ8MBJFBQW

01/30/2025

С некоторым удовлетворением хочу поделиться своим сертификатом: визуализация данных с помощью PlotLy от Coursera.

01/18/2025

🥴Да поможет вам котькина лапа🤗
Если не сами с усами, то вот японская поговорка:

🐾猫の手も借りたいほど忙しい。
Неко но те мо каритаи ходо исогащи.
“Лапу кота даже одолжил бы, до такой степени занят”.

Если кот занят, то:

🐶🐾犬の手も借りたいほど忙しい。
Ину но те мо каритаи ходо исогащи.
“Лапу собачью даже одолжил бы, до такой степени занят”.

12/07/2024

Ящичковые диаграммы (они же ящики с усами 📦👨🏻) позволяют быстро прикинуть:

- насколько велико среднее значение в ваших данных 📈;
- насколько ровно распределены значения 🪄📐;
- нет ли сумасшедших выбросов (больших и маленьких чисел) 🤯🔍.

Это как пощупать коробку с подарками 🎁, чтобы понять, чего и сколько внутри (с усами 👨🏻).

12/04/2024