DataWorkshop - Машинное обучение

Own your AI, not just its outputs! The main question is: What do you control when using closed LLM models like OpenAI, Anthropic, or Gemini? 🤔

Answer: You have virtually no control and it's almost certainly a vendor lock-in for your business... or is it?

Usually closed models means that you're:
--> locked into their rules
--> renting AI, not owning AI
--> limited in terms of auditability
--> at risk of data privacy concerns
--> facing compliance challenges (GDPR, HIPAA, EU ACT...)
--> your business becomes dependent on their decisions and pricing

This is a risky gamble, isn't it?

Open (weight) models might require more tuning and resources to achieve the same level of performance (tailored to your specific business problems) as closed models, but they offer greater flexibility and control.

To be clear, I'm not saying you shouldn't use OpenAI (or other closed models) at all. I often use closed models for prototyping. They're great for quick results, but consider the risks before going into production.

GPT (and other closed models) is impressive, but your business needs solutions, not popularity! Do you agree? Open LLMs offer custom solutions tailored to your data and needs, not just rented AI.

Important point: own your AI future. There are different options, but first, let's take this path and start considering possible approaches.

How do you manage this risk in production? Have you considered using open (weight) models in production?

Stability AI has released the new cutting-edge model Stable Cascade [1].

It generates fantastically beautiful results—twice as fast and of the same "quality" as SD XL. And yes, it finally works with text, producing very beautiful outputs.

Prompt for this image: "An astronaut riding a neon horse in the airspace"

It's built upon the special architecture called Würstchen, which is different from models like Stable Diffusion. It works in a much smaller space, making it faster and cheaper to train. For example, it can compress a 1024x1024 image to a tiny 24x24 while keeping it sharp. It's great for tasks where efficiency matters, and you can add extra features too.

Btw, you can read more about Würstchen architecture in the paper: "An Efficient Architecture for Large-Scale Text-to-Image Diffusion Models" [1].

What do you think? 🤔

[1]: https://stability.ai/news/introducing-stable-cascade
[2]:https://arxiv.org/pdf/2306.00637.pdf

Data Science - это точно любовь ❤️

Мы подобрали несколько шуточек на эту тему 😎

1. Как Data Scientist признается в любви?
“Я люблю тебя больше, чем log(N)!”

2. Что Data Scientist дарит на День влюбленных?
«Красивый график зависимости любви от времени».

3. Как Data Scientist выбирает себе пару?
«С помощью алгоритма кластеризации».

4. Что Data Scientist говорит на первом свидании?
“Расскажи мне о своих данных.”

5. Как Data Scientist расстается?
«Отправляет email с пометкой “This is the end.”

6. Как Data Scientist проводит День влюбленных?
«Анализирует паттерны поведения людей в социальных сетях».

7. Что Data Scientist говорит, когда ему дарят цветы?
“Спасибо, но я бы предпочел набор данных.”

8. Как Data Scientist делает комплимент?
“У тебя очень красивый набор данных.”

9. Как Data Scientist флиртует?
“Хочешь посмотреть на мою нейронную сеть?”

10. Как Data Scientist говорит “Я тебя люблю”?
“Ты - мой идеальный кластер.”

Почему SQL такой универсальный? Потому что даже кофеварке иногда приходится делать запросы: "SELECT * FROM coffee WHERE temperature > 90 ORDER BY aroma DESC"! 😉

А теперь серьезно.

Почему 90% работодателей из сферы Data Science (да и не только) упорно хотят видеть в Твоем резюме знание SQL?

Мы недавно анализировали реальные вакансии на рынке труда и, действительно, практически в каждой вакансии на позицию Data Scientist, Data Analyst, ML Engineer и т.д. указано требование - знание SQL.

Стоит сказать, что это справедливое требование.

Почему?

SQL - это удобный и универсальный инструмент для извлечения, преобразования и анализа данных.

Именно поэтому мы решили создать курс по SQL.
В лучших традициях DataWorkshop - это будет максимально практический и концентрированный курс.

Ориентировочный старт - 29 января.
Длительность - 3 недели.

Если планируешь строить свою карьеру в сфере Data Science - SQL Тебе точно понадобится.

Кстати, SQL нужен и системным администраторам, аналитикам, разработчикам, тестировщикам - проще сказать, кому он не нужен 😁

Если Ты работаешь с данными, рано или поздно SQL Тебе точно понадобится.

А чтобы Ты не откладывал(а) обучение когда-нибудь на потом (как это обычно бывает), мы решили для первого потока курса сделать очень хорошую скидку, которую больше повторять не будем.

Для получения скидки необходимо оставить свои данные в листе ожидания (ссылка в шапке профиля)

Действуй - все в Твоих руках 😎

Когда там искусственный интеллект уже полностью заменит человека?

Выскажу свое мнение 🙂

Не сегодня. Пока что до этого далеко. Да, с помощью инструментов на основе ИИ, если ими умело пользоваться, можно получить хорошего помощника.
Но этого помощника обязательно нужно контролировать, обязательно!

Если думаешь, что можно дать задание тому же ChatGPT и он за тебя напишет код, то тут есть много НО.

Когда я в конце прошлого года создавал курс по SQL, то ради интереса, давал ChatGPT решить домашние задания из курса. И он решал, но:
❌ в решениях, как правило, были ошибки
❌ часто решения были неоптимальными

И это не говорит о том, что не нужно пользоваться ChatGPT и ему подобным. Нужно, но с головой.

Как минимум, нужно самому понимать и уметь писать код, иначе Ты не будешь в состоянии найти ошибку в г(отовом) коде от ChatGPT.😉

Большие новости из мира ИИ. OpenAI выпустила ряд обновлений для своей языковой модели GPT-4, и это довольно круто.

Что нового?
👉 Более длинный контекст: новая модель теперь может обрабатывать до 365 страниц текста (128 тыс.), что похоже на целую книгу ❤️! Это означает, что она может отслеживать разговоры и запоминать то, что было сказано раньше.

👉 Больше точности: модель также лучше справляется с обработкой длинных сложных текстов, не теряя при этом нити рассуждений... стоит проверить 😎

👉 Функции для разработчиков: OpenAI добавила ряд новых функций для разработчиков, таких как возможность принудительного написания ответов в формате JSON и вызова нескольких функций одновременно.

👉 Поддержка извлечения данных: теперь можно загружать документы на платформу и извлекать их с помощью модели.

👉 Обновленные знания: больше не до 2021 года! Теперь модель содержит знания до апреля 2023 года (возможно?), поэтому она довольно умна.

👉 Ввод изображений: теперь можно подавать модели изображения, что открывает много возможностей.

Другие приятные мелочи

DALL-E 3 и преобразование текста в речь с 6 голосами 😱 теперь доступны.
Настройка GPT-4 теперь доступна для избранных.
OpenAI предлагает Custom Models, что означает, что можно сотрудничать с инженерами OpenAI, чтобы адаптировать модель к конкретным потребностям.

Снижение цен! 🥳
OpenAI также снизила цену GPT-4-TURBO, которая является улучшенной версией GPT-4. Подсказки теперь в 3 раза дешевле, а генерация в 2 раза дешевле.

Смотрим в будущее.

Довольно круто, верно?

Хочешь проверить свои знания в области Data Science и Machine Learning?
Мы подготовили небольшой квиз. 😎 Всего 9 вопросов.

Квиз - это не только отличный способ проверить свои знания, но и увлекательный способ узнать что-то новое.

А еще и подарок можно получить 🎁

Пройти квиз 👉 https://mrqz.me/653664506dec180025831d2d

Сегодня стартует наш курс по Data Science.

Этот курс для Тебя, если:
✅Давно ищешь варианты - как перейти от теории к практике
✅Хочешь научиться создавать качественные прототипы ML моделей
✅Хочешь получить практические знания, которые нужны в работе

Подробности о курсе в шапке профиля.

Требования к объявлению переменной на языке Python:

1️⃣ Имя переменной не может начинаться с цифры

2️⃣ В имени переменной должны использоваться только латинские буквы a-z, A-Z, цифры и символ нижнего подчеркивания (_)

3️⃣ Python — это язык, чувствительный к регистру. Переменная my_var и My_var — это две совершенно разные переменные. Для присвоения имени переменных принято использовать стиль lower_case_with_underscores (слова из маленьких букв с подчеркиваниями).

Сохраняйте 😎 и не забудьте про ❤️

Большие данные = большие неопределенности (НЕ большая ценность) 🤔.

До сих пор существует большой миф о ценности, которую можно извлечь из больших данных. Давай лучше разберемся, почему это обычно действительно сложно и приносит больше затрат, чем пользы.

Во-первых, нужно помнить, что одна из самых больших проблем при работе с данными - это неопределенность. В бизнесе (даже при выручке в 100 тыс. $) неопределенностей очень много.

Несмотря на то что "золотые" данные могут помочь найти ценные сведения и способствовать принятию более эффективных решений, переизбыток собранных данных зачастую порождает больше неопределенности (в результате чего возникает двусмысленность, когда соответствующая информация имеется, но общий смысл остается неизвестным), чем ясности. Но почему?

Краткий ответ:
GIGO (англ. garbage in, garbage out «мусор на входе — мусор на выходе»)

Что дальше?
Существует еще один миф и гонка за сбором "правильных" данных. Почему плохо собирать правильные данные 🤔?

На самом деле правильные данные - это не плохо, но... проблема заключается в том, чтобы понять, для кого они "правильные"? Как расставить приоритеты: какие данные "правильные", а какие нет? Как определить, какие данные работают лучше без предварительного тестирования моделей (а какие применять модели ML, они ведь все время улучшались)?

Почему проблема заключается лишь в том, чтобы время от времени добавлять "очередные нужные данные"? Например, сегодня Ты собираешь данные A и B, а завтра выясняется, что Тебе нужны еще и данные C.

Где проблема? Проблема во времени. Когда начинаешь собирать данные, у Тебя всегда есть начальная точка (иногда можно попытаться найти исторические данные каким-либо способом, но такой подход полон ошибок и подводных камней).

Поэтому, чтобы извлечь из них максимальную пользу (использовать ML-модель и т.д.), обычно необходимо иметь исторические данные.

Каково же решение?
1. Осознай, что просто сбор большого количества данных (так называемых больших данных) обычно порождает больше неопределенностей (и это нормально, это просто факт, мы не используем их в качестве исходных данных в производстве)...

2. Можешь собрать много данных. Но важным шагом является построение процесса дистилляции больших данных в золотые данные, которым можно доверять (в DataWorkshop мы называем их Trusted Data, дело не в размере). Этот процесс - самая большая проблема (кстати, с привлечением ML, а не только человеческого мышления, и это не только про обычный "шум").

3. Думай про это как про итерационный процесс: пробуй, терпи неудачи, учись и продолжай двигаться вперед.

🔥 Мир найма переживает быстрые изменения, поскольку искусственный интеллект широко внедряется в различные отрасли.

Согласно недавнему опросу, проведенному американской компанией Resume Builder и описанному в Fox Business, уже 10% компаний используют AI-собеседования при отборе кандидатов.

Однако, что еще более удивительно, ожидается, что к 2024 году этот показатель значительно вырастет и составит более 43% компаний.

🤖 Но прежде чем Ты подумаешь, что придется сталкиваться только с ботами на собеседованиях, стоит отметить, что компании не планируют полностью передать решение о приеме на плечи искусственного интеллекта.

Согласно тому же отчету, 80% AI-собеседований используются для предварительного отбора кандидатов, а всего 15% оказывают влияние на окончательное решение.

⚡ Цель использования AI-собеседований заключается в повышении эффективности и оптимизации всего процесса подбора персонала. Как известно всем, кто проходил через процесс собеседования, компании могут различаться по эффективности этапов отбора.

Еще одной причиной, почему искусственный интеллект не займет весь процесс, является опасение возможных предвзятостей.

Напиши в комментариях - приходилось ли Тебе уже побывать на собеседовании, где один из участнкиов - ИИ?🙂