datapao

[hiring] Data Engineers wanted!

Sziasztok!
Data Engineereket keresünk a csapatunkba (https://datapao.com)!
Izgalmas projektekben tudtok résztvenni, az utóbbi pár projektünkben olajfúrótornyok szenzoradait feldolgozó infrát terveztünkés fejlesztettünk, real-time data laket csináltunk az egyik legnagyobb videójáték fejlesztő cégnek, vagy gyártásban mondjuk meg lézerhegesztett alkatrészekről, hogy mikor lesz hibás egy eszköz.
Az se baj, ha nem tudsz mindent amivel dolgozunk (Databricks, Cloud, elosztott rendszerek, etc...), megtanítjuk, szóval jelentkezzetek bátran!
Ha érdekelnek a részletek, kiírtunk mindent amiről azt gondoltuk, hogy fontos, ha valami kimaradt csak szóljatok! :)
https://www.notion.so/datapao/Data-Engineering-Solutions-Architect-d70dda5e295640c899a3733ce2b0b4f3

Datapao is at Spark & AI Summit in Amsterdam! If you are here, ping us!

Sziasztok!

Az október végén lezajlott Ipar 4.0 meetup iránt mutatott érdeklődés miatt megrendezzük a következő alkalmat is. A koncepció és a téma változatlan: egy légtérbe terelni a szakma képviselőit, illetve azokat a cégeket, akik konkrét Ipar 4.0-s tapasztalatokkal rendelkeznek és szívesen meg is osztják azokat. A minőségi előadások után sör, illetve pizza biztosítja, hogy oldott hangulatban folytatódjon az eszmecsere.

Várunk mindenkit december 11-én (kedden) 18 órától a következő meetupra, ahol három izgalmas és releváns előadást hallgathattok meg:

1. Rózsa András, a Glencore magyarországi IT menedzsere a régió egyik legnagyobb mezőgazdasági gyárának digitalizációjáról tart előadást.
https://www.linkedin.com/in/r%C3%B3zsa-andr%C3%A1s-05404294/

2. Szabó Gergő, a Ganz KK tulajdonosa és vezetője az ipari értékteremtő folyamatok digitális menedzsmentjéről fog beszélni.
https://www.linkedin.com/in/gerg%C5%91-szab%C3%B3-00633225/

3. Fehér Sándor, az IVSZ tanácsadója bemutatja, hogy milyen pályázatok állnak a KKV-k rendelkezésére Ipar 4.0 fejlesztéseik megvalósítására.
https://www.linkedin.com/in/szillin/

A meetupra itt tudtok jelentkezni:
https://www.meetup.com/ipar40/events/256746367/

A helyszín ezúttal is a Millenáris Startup Campus.

www.linkedin.com

Október végén megrendezésre került az első Ipar 4.0 témakörben megszervezett meetupunk!

Első körben a magyar gyógyszeripari óriás, a Richter Gedeon színfalai mögé pillanthattunk be. Szakmai csapatuk ismertette a gyógyszeriparban csak Pharma 4.0-nak nevezett folyamat megvalósításának mérföldköveit. Az előadáson átfogó képet kaphattunk a gyárdigitalizációs projektek gyakorlati kérdéseiről a gyógyszeriparban. Az iparági sajátosságok mindenhol más nehézségeket szülnek, gyógyszergyártás esetén ez egyebek mellett a szabályozói megfelelést, az adatok begyűjtését és felhasználásának módját jelenti. Egészen sajátos a Data Science csapat elhelyezkedése is, a Richternél például minden igazgatóság delegál egy tagot közéjük. Végül de nem utolsó sorban bepillantást nyerhettünk abba, hogy egy nagyvállalaton belül a menedzsment különböző szintjein milyen kommunikációs feladatok merülnek fel a témával kapcsolatban.

A második előadás keretein belül a családi cégként indult mára országos hírű Macher Zrt. fejlődéstörténetéről hallhattunk. Macher Judit ismertette velünk, hogy versenyelőnyüket mindig a kiváló minőség biztosította, manapság azonban ennek fenntartásához ma már minden kkv számára elengedhetetlen a gyártásdigitalizáció. A hatékonyság tekintetében csak így tudják az elsőosztályú minőséget a megfelelő költségek mellett előállítani, felvéve a versenyt a náluk jóval nagyobb forrásokkal operáló cégekkel is. A Macher Zrt. sikeresen növelte hatékonyságát többek közt a saját alkatrészek gyártásával, valamint 3D nyomtatóik prototipizálásával.

Meetup sorozatunk célja havonta összehozni a szakmai közösséget és bemutatni azokat a cégeket, ahol gyártásdigitalizációs projektek futnak. A minőségi előadások előtt illetve után kötetlen beszélgetés formájában oszthatják meg a résztvevők szakmai tapasztalatukat egymással. Minden érdeklődőt nagy szeretettel várunk következő meetupunkra is, az előadás-sorozathoz az alábbi linken van lehetőség csalatkozni:

https://www.meetup.com/ipar40/

Official Apache Spark course in Berlin! Join us to learn about the de facto Big Data / ML technology.

Learn Apache Spark Programming from Databricks & ! Class is scheduled 11/26-28 In Berlin, DE. Register Now! https://www.regonline.com/registration/Checkin.aspx?EventId=2529419

[News | Apache Spark] Scala 2.12 will be the default Scala version in Spark 3.0
https://buff.ly/2qyagDn

New blog post: Integrating Apache Spark with H2O.ai

Datapao | Integrating Apache Spark with H2O.ai 02 Nov Integrating Apache Spark with H2O.ai Posted at 14:31h in Uncategorized by Cagdas Yetkin Integrating Apache Spark with H2O is surprisingly simple when you know what you are doing. In this post, we’ll cover multiple data transformations with Spark. The data will then be fed into the H2O AutoM...

[Release | Spark] Microsoft Machine Learning for Apache Spark gets better integration to Cognitive Toolkit

Microsoft Machine Learning for Apache Spark gets better integration to Cognitive Toolkit Microsoft Machine Learning for Apache Spark (MMLSpark) is an open source toolset aimed at expanding the distributed computing framework of Apache Spark, comprising of deep learning and data science tools, including seamless integration with Microsoft Cognitive Toolkit.

[Tutorial | Kafka] ATM Fraud Detection with Apache Kafka and KSQL

ATM Fraud Detection with Apache Kafka and KSQL | Confluent Anyone who can write SQL can now write stream processing applications for fraud detection with Apache Kafka and KSQL. We're going to see how we can take a stream of inbound ATM transactions and easily set up an application to detect transactions that look fraudulent.

[Best Practices | Kafka] Apache Kafka: Ten Best Practices to Optimize Your Deployment

Apache Kafka: Ten Best Practices to Optimize Your Deployment Author Ben Bromhead discusses the latest Kafka best practices for developers to manage the data streaming platform more effectively. Best practices include log configuration, proper hardware usage, Zookeeper configuration, replication factor, and partition count.

[Library | Spark] Flint: A time-series library for Apache Spark

Introducing Flint: A time-series library for Apache Spark - The Databricks Blog This is a joint guest community blog by Li Jin at Two Sigma and Kevin Rasmussen at Databricks; they share how to use Flint with Apache Spark. Introduction The volume of data that data scientists face these days increases relentlessly, and we now find that a traditional, single-machine solution is no...

A Beginner’s Guide to Data Engineering — Part I

A Beginner’s Guide to Data Engineering — Part I – Robert Chang – Medium Data Engineering: The Close Cousin of Data Science