大数据工具2022.3:与AWS胶水数据目录集成，齐柏林笔记本中SQL表达式的代码完成

来自阳光明媚的柏林的问候!是的，这里仍然是20°C以上——坐在阳台上看最新一期你最喜欢的注解的完美条件!我是帕夏·芬克什泰，我将为您介绍本月的新闻。我将提供我对数据工程领域最近发展的印象，并强调来自更广泛社区的新想法。如果你认为我错过了一些有价值的东西，在Twitter上给我留言，并建议一个主题、链接或任何你想看的东西。顺便说一下，如果你想通过电子邮件收到这些信息，你可以订阅时事通讯h

柏林这两个月过得很热闹。事实上，它太忙了，我不得不跳过文摘。现在，我很高兴能有幸回到这里，为大家收集来自数据工程领域的最令人兴奋的消息。来自阳光明媚的柏林的问候!我是帕夏·芬克什泰，我将为您介绍本月的新闻。我将提供我对数据工程领域最近发展的印象，并强调来自更广泛社区的新想法。如果你认为我错过了一些有价值的东西，在Twitter上给我留言，并建议一个主题、链接或任何你想要的东西

该版本的亮点包括与Hive Metastore的集成，以及在IDE中监视Flink作业的能力，以及Amazon S3上的SSO身份验证。新版本提供了许多其他值得注意的变化，下面将介绍这些变化。通过将其安装到IDE的2022.2来获得最新版本。Hive Metastore集成我们添加了从IDE创建Hive Metastore连接的功能，并可以浏览Hive目录、表和列。大数据工具现在还提供基于Hive Metastore数据的Spark SQL代码补全。美国心理学协会

嗨，我是Pasha Finkelshteyn，今天由我为大家介绍本月的新闻。我将提供我对数据工程领域最近发展的印象，并强调来自更广泛社区的新想法。如果你认为我错过了一些有价值的东西，请在Twitter上联系我，并建议一个主题、链接或任何你想看的东西。顺便说一下，如果您更喜欢每月将数据工程信息直接发送到您的收件箱，您可以在这里订阅时事通讯。很多工程都是关于学习新事物和保持专注

IT中的每个人都与数据打交道，包括前端和后端开发人员、分析师、QA工程师、产品经理以及许多其他角色的人员。使用的数据和数据处理方法因角色而异，但数据本身往往是关键。"这是一把很特别的钥匙，只给唯一的人用。" "它能打开什么?"在数据工程领域，数据不仅仅是“数据”——它是我们工作的命脉。大多数时候，这就是我们工作的全部。我们的代码是以数据为中心的，我们使用唯一真正的第五代语言

现在是六月初。这意味着是时候开始放暑假了，一边享受新鲜的果汁，一边看新鲜的新闻!大家好，我是帕夏·芬克什泰，我将为大家介绍本月的新闻。我将提供我对数据工程领域最近发展的印象，并强调来自更广泛社区的新想法。如果你认为我错过了一些有价值的东西，请在Twitter上联系我，并建议一个主题、链接或任何你想看的东西。顺便说一下，如果你更喜欢通过电子邮件接收这些信息，你可以在这里订阅时事通讯。新闻很多

各位数据工程师，大家好!我是Pasha，今天我将向您介绍Apache Spark的Kotlin API的新版本。距离上次重大发布公告已经有很长时间了，主要是因为我们不想因为一些小的改进而打扰你。但是今天的公告很重要!首先，让我提醒您什么是Apache Spark的Kotlin API，以及为什么要创建它。Apache Spark是用于分布式计算的框架。数据工程师通常使用它来解决不同的任务，例如ETL流程。它直接支持多种语言

大数据工具2022.2 EAP现已上市。通过将最新的插件版本安装到IDE的2022.2 EAP，您可以立即尝试新添加的特性。请注意，这是一个早期访问计划构建，这意味着它没有完全测试。Hive Metastore支持从EMR集群窗口创建Hive Metastore连接，浏览Hive目录、表和列。您现在可以在IDE中监视Flink应用程序。就像在Flink仪表板中一样，您可以启动和停止作业，所有这些都不需要离开IDE。Th

好久不见!抱歉这么安静，但幸运的是我们回来了。大家好，我是帕夏·芬克什泰，我将为大家介绍本月的新闻。我将提供我对数据工程领域最近发展的印象，并强调来自更广泛社区的新想法。如果你认为我错过了一些有价值的东西，请在Twitter上联系我，并建议一个主题、链接或任何你想看的东西。请随时订阅这篇时事通讯，每月将其发送到您的电子邮件收件箱中。很多工程都是关于学习新事物和把握新事物的脉搏

探索JetBrains大数据工具插件中为数据工程师提供的新功能，包括Amazon EMR支持和远程文件西甲积分manbetx2.0系统的简化工作。

在本系列博客的第一部分中，我介绍了基本的dbt®概念，如安装、创建视图和描述模型。我本可以就此打住，但实际上，仅使用视图在数据库中构建整个转换层存在一些缺陷。有时候我们真的不需要使用视图，即使在面向分析工作流的数据库中，视图也可能运行缓慢。我将从简要介绍临时视图开始。在某些情况下，我们并不是真的想要dbt®模型的实体，而是希望这个模型内联在其他模型中

由于俄罗斯的公共假期和我自己的假期，我没有机会写一篇12月的注解。在这种情况下，多等一会儿可能不是坏事，因为现在我们有更多有趣的发布要讨论!大家好，我是帕夏·芬克什泰，我将为大家介绍本月的新闻。我将提供我对数据工程领域最近发展的印象，并强调来自更广泛社区的新想法。如果你认为我错过了一些有价值的东西，你可以在Twitter上找到我，并建议一个主题、链接或任何你想看的东西。如果哟