From f98acfcc254ab210e862413d5f19550fe998b28f Mon Sep 17 00:00:00 2001 From: felipe Date: Sun, 31 Jul 2022 17:07:15 -0500 Subject: [PATCH] changes md to cn and es --- documentation/changes-cn.md | 673 ++++++++++++++++++++++++++++++++++++ documentation/changes-es.md | 673 ++++++++++++++++++++++++++++++++++++ 2 files changed, 1346 insertions(+) create mode 100644 documentation/changes-cn.md create mode 100644 documentation/changes-es.md diff --git a/documentation/changes-cn.md b/documentation/changes-cn.md new file mode 100644 index 000000000..e6783cd7f --- /dev/null +++ b/documentation/changes-cn.md @@ -0,0 +1,673 @@ +# `modern-data-platform`- 有什么新内容？ + +看[升级到新的平台堆栈版本](https://github.com/TrivadisPF/platys/blob/master/documentation/upgrade-platform-stack.md)有关如何升级到较新版本的信息。 + +## 1.14.0 中的新增功能 + +新式数据平台版本 1.14.0 包含以下错误修复和增强功能： + +### 新服务 + +* 孔西尔 +* Apicurio Registry +* Streamset DataOps Platform +* 格拉法娜·洛基 +* 格拉法纳·普罗姆泰尔 +* 阿夫罗工具 +* 卡夫卡魔术 +* 流管 +* 雷莫拉 +* 元数据库 +* 冀口 +* 杈 +* 耶格尔 +* OTEL收集器（开放式测量） +* 卡蒙达 BPM 平台 +* 卡蒙达优化 +* 镜头盒 +* Tempo & Tempo Query +* 门尾 + +### 新的食谱食谱 + +* [Apicurio Registry with SQL Storage （PostgreSQL） + ](../cookbooks/recipes/apicurio-with-database-storage) + +* [在平台上自动管理 Kafka 主题](../cookbooks/recipes/jikkou-automate-kafka-topics-management/README.md) + +* [在一台机器上模拟多直流设置](../cookbooks/recipes/simulated-multi-dc-setup/README.md) + +* [使用 Platys 创建自我管理的 StreamSet 数据运维环境](../cookbooks/recipes/streamsets-dataops-creating-environment/README.md) + +* [在容器启动时加载流集管道](../cookbooks/recipes/streamsets-loading-pipelines/README.md) + +* [使用 Tipboard 和 Kafka](../cookbooks/recipes/tipboard-and-kafka/README.md) + +* [从Trino（以前称为PrestoSQL）在Kafka中查询数据](../cookbooks/recipes/querying-kafka-with-trino/README.md) + +* [使用不在 Confluent Hub 中的 Kafka Connect Connector](../cookbooks/recipes/using-kafka-connector-not-in-confluent-hub/README.md) + +### 版本升级 + +* 更新`DataHub`自`0.8.25` +* 更新`Trino`自`371` +* 更新`Starburst Enterprise`自`369-e` +* 更新`Apache NiFi`自`1.15.0` +* 更新`Hasura`自`v2.0.0-beta.2` +* 更新`ksqlDB`自`0.23.1` +* 更新`Zeppelin`自`0.10.0` +* 更新`Livy`自`0.7.1-incubating` +* 更新`Spark 3`自`3.2` +* 更新`Streamsheets`自`2.5-milestone` +* 更新`Neo4J`自`4.4` +* 更新`Confluent`自`7.0.1` +* 更新`NiFi`自`1.15.2`和`NiFi Registry`自`1.15.1` +* 更新`Marquez`自`0.20.0` +* 更新`Amundsen Frontend`自`4.0.0`和`Amundsen Search`自`3.0.0` +* 更新`InfluxDB 2`自`2.1.1` +* 更新`EventStore`自`21.10.1-buster-slim` +* 更新`Keycloak`自`16.1.1` +* 更新`Dremio`自`20.0` +* 更新`Minio`自`RELEASE.2022-02-01T18-00-14Z` +* 更新`lakeFS`自`0.58.0` +* 更新`Vault`自`1.9.3` +* 更新`Ranger`自`2.2.0` +* 更新`Materialize`自`v0.19.0` +* 更新`kcat`自`1.7.1` +* 更新`Debezium`自`1.8.0.Final` +* 更新`Datastax`自`6.8.19` +* 更新`Elasticsearch`自`7.17.0` +* 更新`Node-RED`自`2.2.0` +* 更新`Spring Dataflow`自`2.9.2`和`Skipper`自`2.8.2` +* 更新`MLflow`自`1.23.1` +* 更新`Optuna Dashboard`自`0.5.0` +* 更新`Kie-Server`自`7.61.0.Final` +* 更新`Grafana`自`8.3.4` +* 更新`Kibana`自`7.17.0` +* 更新`Memchached`自`1.6.13` +* 更新`Solr`自`8.11` +* 更新`DGraph`自`v21.12.0` +* 更新`Stardog`自`7.8.3-java11-preview` +* 更新`GraphDB`自`9.10.1` +* 更新`QuestDB`自`6.2` +* 更新`Druid`自`0.22.1` +* 更新`Pinot`自`0.9.3` +* 更新`Prometheus`自`v2.33.1`和`pushgateway`自`v1.4.2`和`nodeexporter`自`v1.3.1` +* 更新`Tile38`自`1.27.1` +* 更新`Axon`自`4.5.10` +* 更新`Hasura`自`v2.2.0` +* 更新`Emq`自`4.3.11` +* 更新`Cedalo Mgmt Center`自`2.2` +* 更新`Thingsboard`自`3.3.3` +* 更新`RabbitMQ`自`3.9-management` +* 更新`Watchtower`自`1.4.0` + +### 重大更改 + +* InfluxDB现在正在监听`19999`而不是`9999` +* 都`KAFKA_SCHEMA_REGISTRY_xxxx`重命名为`CONFLUENT_SCHEMA_REGISTRY_xxxx` +* 都`KAFKA_SCHEMA_REGISTRY_UI_xxxx`重命名为`SCHEMA_REGISTRY_UI_xxxx` +* 为本地主机添加其他 Kafka Advertisingd 监听器（端口 39092 - 39099），并将其与 Docker 监听器（$DOCKER_HOST_IP 上，端口为 29092 - 29099）区分开来 +* 允许在外部和DOCKER_HOST监听器之间切换 Kafka 标准端口用法（配置参数`KAFKA_use_standard_port_for_external_interface`) +* `KAFKA_BURROW_enable`重命名为`BURROW_enable` +* `conf-override`重命名为`custom-conf`为了更好地反映这样一个事实，即此文件夹仅用于重新生成平台时不会被覆盖的配置文件 +* 如果手动复制 Kafka Connect 连接器，则不再将它们放入`plugins/kafka-connect`但`plugins/kafka-connect/connectors` +* 重命名`python`配置设置 （`PYTHON_artefacts_folder`和`PYTHON_script_file`) + +### 增强 + +* Apicurio Schema Registry 作为 Confluent Schema Registry 的直接替代品 +* “服务列表标记”页面（http://dataplatform/services）中的所有服务都包含指向其主页的链接 +* 配置页面也链接到 serice 主页 +* 支持通过密钥保护在 Apicurio 注册表中进行身份验证和授权 +* 添加了对在运行 之前要安装的 PIP 包的支持`python`容器 +* 支持将 docker 日志发送到 Grafana Loki + +### 错误修复 + +* 修复了陋居服务的错误 +* `KEYCLOCK`更改为`KEYCLOAK`以反映正确的名称 + +## 1.13.0 中的新增功能 + +现代数据平台版本 1.13.0 包含以下错误修复和增强功能： + +### 新服务 + +* 努克利奥·法斯 +* 火狐浏览器 +* 齐普金 +* Apache Tika Server +* RStudio +* 闪亮服务器 +* MLflow 服务器 +* 奥普图纳 +* Optuna Dashboard +* Excalidraw +* Drools KIE Server +* Drools Business Central Workbench +* 眨眼 +* 努斯克纳克设计师 +* 九龙 +* Apache Ignite +* Debezium Server +* pgAdmin +* 甲骨文XE + +### 新的食谱食谱 + +* [支持流集数据收集器激活](../cookbooks/recipes/streamsets-oss-activation) + +### 版本升级 + +* 更新`Confluent`自`6.2.0` +* 更新`Marquez`自`0.19.0` +* 更新`Trino`自`363` +* 更新`Starburstdata`自`363-e` +* 更新`DataHub`自`0.8.15` +* 更新`Minio`自`RELEASE.2021-06-17T00-10-46Z` +* 更新`ksqlDB`自`0.20.0` +* 更新`tile38`自`1.25.2` +* 更新`kcat`自`1.7.0`（曾经是`kafkacat`) +* 更新`Elasticsearch`自`7.14.0` +* 更新`Kibana`自`7.14.0` +* 更新`Cassandra`自`3.11` +* 更新`DSE-Server`自`6.8.14` +* 更新`MongoDB`自`5.0` +* 更新`Neo4J`自`4.2` +* 更新`Stardog`自`7.7.1-java11-preview` +* 更新`Stardog-Studio`自`current` +* 更新`Chronograf`自`1.9` +* 更新`Telegraf`自`1.19` +* 更新`Influxdb2`自`2.0.8`（切换到官方 Docker 镜像） +* 更新`Kudu`自`1.15` +* 更新`Pinot`自`0.8.0` +* 更新`Pinot`自`0.8.0` +* 更新`Prometheus`自`v2.29.1` +* 更新`Prometheus Pushgateway`自`v1.4.1` +* 更新`Prometheus Nodeexporter`自`v1.2.2` +* 更新`Yugabyte`自`2.4.6.0-b10` +* 更新`GraphDB`自`9.9.0` +* 更新`Druid`自`0.21.1` +* 更新`Solr`自`8.9` +* 更新`Redis`自`6.2` +* 更新`Memcached`自`1.6.10` +* 更新`Grafana`自`8.2.0` +* 更新`QuestDB`自`6.0.4` +* 更新`Spark`自`3.1.1` +* 更新`Minio`自`RELEASE.2021-09-15T04-54-25Z` +* 更新`Axon Server`自`4.5.7` +* 更新`Hazelcast`自`5.0` +* 更新`Apache Atlas`自`2.2.0` +* 更新`LakeFS`自`0.52.2` +* 更新`Amundsen-Frontend`自`3.13.0` +* 更新`Amundsen-Metadata`自`3.10.0` +* 更新`Amundsen-Search`自`2.11.1` + +### 重大更改 + +* 改变`HAZELCAST_IMDG_xxxxxx`自`HAZELCAST_xxxxxx` +* 改变`ORACLE_xxxxxx`自`ORACLE_EE_xxxxxx` +* 已更改的默认值`KAFKA_CONNECT_nodes`从`2`自`1` +* 改变`KAFKA_EAGLE_enable`自`KAFKA_EFAK_enable` + +### 增强 + +* 文档降价页面被复制到生成的平台中，并在降价查看器中提供 +* 支持KRaft模式下的无动物园管理员卡夫卡设置（`KAFKA_use_kraft_mode`) +* 支持设置`SDC ID`设置为 StreamSets 的固定值，以便在重新创建`streamsets-1`泊坞窗容器 +* 从切换`cp-enterprise-kafka`自`cp-server`Confluent Enterprise 的图片 +* 在单个 Posgresql 容器中支持多个数据库 +* 重命名`kafkacat`自`kcat`（以反映 GitHub 项目） +* 添加对 Cassandra 3 和 Cassandra 4 的支持 +* 向汇合架构注册表添加其他配置属性 +* 支持在启动Jupyter时安装Python软件包 +* 在 ksqlDB Server 中添加对嵌入式 Kafka Connect 服务器的支持（set`KAFKA_KSQLDB_use_embedded_connect`自`true`) +* 添加额外的 Kafka UI （Kowl） +* 添加对 Flink 的支持 +* 添加对流氓的支持 +* 添加对 Ignite 和 Hazelcast 的支持 +* 添加对 Otuna 和 MLFlow 的支持 +* 添加对启动 Jupyter 时安装 Python 包的支持 （`JUPYTER_python_packages`) +* 为从**服务列表**由 Markdown 查看器呈现的页面 + +### 错误修复 + +* 修复错误“死机：运行时错误：切片边界超出范围”`schema-registry-ui`和`kafka-connect-ui`通过允许映射`resolv.conf`放入容器中。默认情况下，它处于启用状态。 + +## 1.12.1 中的新增功能 + +现代数据平台版本 1.12.1 包含以下错误修复和增强功能： + +### 版本升级 + +* 更新`NiFi`自`1.13.2` +* 更新`DataHub`自`v0.8.0` +* 更新`ksqlDb`自`0.18.0` +* 更新`Jupyter`自`spark-3.1.1` + +### 错误修复 + +* 修复了由于基于Alpine Linux的Spark映像而无法在先前版本中工作的Thrift服务器 + +## 1.12.0 中的新增功能 + +现代数据平台版本 1.12.0 包含以下新服务和增强功能： + +### 新服务 + +* 普罗米修斯节点导出器 +* Kafka Lag Exporter +* 事件存储数据库 +* Camunda Zeebe + Operation + ZeeQs +* Hazelcast IMDG + 管理中心 +* 阿帕奇皮诺 +* 湖FS +* EMQ-X MQTT 经纪商 +* QuestDB Timeseries DB +* 实现 +* Debezium UI + +### 新的食谱食谱 + +* [使用 log4brains 创建和可视化 ADR](../cookbooks/recipes/creating-adr-with-log4brains) +* [使用开发模拟器 Orgin 模拟流数据](../cookbooks/recipes/using-dev-simulator-origin) +* [使用私有 （Trivadis） Oracle XE 映像](../cookbooks/recipes/using-private-oracle-xe-image) +* [使用私有 （Trivadis） Oracle EE 映像](../cookbooks/recipes/using-private-oracle-ee-image) +* [使用公共 Oracle XE 映像](../cookbooks/recipes/using-public-oracle-xe-image) + +### 版本升级 + +* 更新`Azkarra`自`0.9.1` +* 更新`Hasura`自`v2.0.0-alpha.9` +* 更新`Marquez`自`0.14.2` +* 更新`Grafana`自`7.5.2` +* 更新`Axonserver`自`4.5` +* 更新`Streamsheets`自`2.3-milestone` +* 更新`Streamsets`自`3.22.2` +* 更新`Trino`自`356` +* 更新`Starburstdata Presto`自`356-e.1`（使用新的`starburst-enterprise`图像） +* 更新`PrestoDB`自`0.253` +* 更新`Ahana`自`0.253` +* 更新`DataHub`自`0.7.1` +* 更新`InfluxDB2`自`2.0.4` +* 更新`Telegraf`自`1.18` +* 更新`MongoDB`自`4.4` +* 更新`Elasticsearch`自`7.12.0` +* 更新`Kibana`自`7.12.0` +* 更新`Neo4J`自`4.2.5` +* 更新`ksqlDB`自`0.17.0` +* 更新`Druid`自`0.21.0` +* 更新`HiveMQ 4`自`4.6.1` +* 更新`Airflow`自`2` + +### 增强 + +* 添加了对使用JMX和Prometheus/Grafana的Kafka监控的支持（来自此的输入[汇合 github 项目](https://github.com/confluentinc/jmx-monitoring-stacks) +* 使用官方的Cloudbeaver Docker图像，不再是琐事 +* [解决方案文档结束](https://github.com/TrivadisPF/platys/blob/master/documentation/docker-compose-without-internet.md)关于如何在目标基础设施上使用Platys生成的平台，而无需互联网 + +## 1.11.0 中的新增功能 + +现代数据平台版本 1.11.0 包含以下新服务和增强功能： + +### 新服务 + +* 增加了了望塔 +* 哈苏拉已添加 +* 已添加 Dgraph +* 已添加文件浏览器 +* 添加了 MinIO MC CLI +* Kafka UI 已添加 +* Adminio UI 已添加 +* 添加了 MinIO 控制台 +* S3 管理器已添加 +* 文件标记已添加 +* SQLPad 已添加 +* 添加了 GraphQL 网格 +* 流资源管理器已添加 +* 已添加事物板社区 +* 邮递员已添加 +* 已添加按键 +* 添加了微克 +* 数据科学工作室已添加 +* 卡夫卡鹰添加 +* 特里诺添加 +* 图形数据库已添加 +* 已添加 PostgREST +* 添加了 Log4brains + +### 新的食谱食谱 + +* [Spark with PostgreSQL](../cookbooks/recipes/spark-with-postgresql) +* [使用最小 IO 查询 S3 数据 （MinIO）](../cookbooks/recipes/querying-minio-with-trino/) +* [使用 Trino 查询 Kafka 数据](../cookbooks/recipes/querying-kafka-with-trino/) + +### 版本升级 + +* 更新`Elasticsearch`自`7.10.1` +* 更新`Kibana`自`7.10.1` +* 更新`HiveMQ4`自`4.5.0` +* 更新`Streamsets Transformer`自`3.17.0` +* 更新`Axon Server`自`4.4.5` +* 切换到官方`Streamsets DataCollector`之`3.21.0` +* 更新`Marquez`自`0.12.2` +* 更新`Cedalo Management Center`自`2.1` +* 更新`Confluent Platform`自`6.1.0` +* 更新`ksqlDB`自`0.15.0` +* 更新`APICurio Registry`自`1.3.2` +* 更新`Starburstdata Presto`自`350-e.5` +* 更新`Ahana PrestoDB`自`0.249` +* 更新`PrestoDB`自`0.249` +* 更新`DataHub`自`0.7.0` + +### 增强 + +* 允许在启动 StreamSet 时配置要安装的其他 StreamSets 阶段库（我们不再使用 Trivadis docker 映像） +* 支持在启动流集时自动安装流集管道 +* 支持Trino与PrestoDB（Presto的另一个分支）并行添加（重命名为PrestoSQL项目） + +## 1.10.0 中的新增功能 + +现代数据平台版本 1.10.0 包含以下新服务和增强功能： + +### 新服务 + +* 春季云数据流 + +### 新的食谱食谱 + +* [使用其他 Kafka 连接连接器](../cookbooks/recipes/using-additional-kafka-connect-connector) +* [Custom UDF 和 ksqlDB](../cookbooks/recipes/custom-udf-and-ksqldb) +* [使用汇合 MQTT 代理](../cookbooks/recipes/using-mqtt-proxy/) +* [具有内部 S3 的火花（在 minIO 上使用）](..cookbooks//recipes/spark-with-internal-s3) +* [带外部 S3 的火花](../cookbooks/recipes/spark-with-extern-s3) + +### 版本升级 + +* 更新`ksqlDB`自`0.14.0` +* 更新`Streamsheets`自`2.2` +* 更新`Zeppelin`自`0.9.0` +* 更新`Confluent`自`6.0.1` +* 更新`Presto`自`348-e` +* 更新`Stardog`自`7.4.5-java11-preview`和`Stardog Studio`自`1.30.0` + +### 增强 + +* 添加将降价查看器的端口更改为的选项`8000`，默认值仍为端口`80`. +* 添加一个选项以使用`DOCKER_HOST_IP`变量而不是`PUBLIC_IP`变量，用于指向服务的 Web 链接。 +* 改变`minio`图像到一个从`bitnami`，允许在服务启动时创建存储桶 +* 允许配置`spark.max.cores`和`spark.executor.memory`（齐柏林） +* 允许配置`SPARK_MASTER_OPTS`和`SPARK_WORKER_OPTS`,`SPARK_WORKER_CORES`,`SPARK_WORKER_MEMORY`对于火花 +* 添加了对在 Spark 2 和 Spark 3 之间切换的支持 +* 更改默认值`KAFKA_delete_topic_enable`自`true` +* 加`KAFKA_SCHEMA_REGISTRY_UI_use_public_ip`在架构注册表 UI 的公共和 Docker 主机 IP 地址之间进行更改 +* 使管理员用户和“普通”用户可在齐柏林飞艇中配置 +* 齐柏林飞艇的配置文件不再从`conf`文件夹进入容器，它现在是“预构建”到新的齐柏林飞艇 Docker 映像。 +* 添加了对 Spark 3.0 的支持 +* 添加对在每个笔记本上启用齐柏林飞艇 cron 调度程序的支持 + +### 错误修复 + +* 修复了 中引入的内部 S3 （minIO） 的错误`1.9.0` + +## 1.9.0 中的新增功能 + +现代数据平台版本 1.9.0 包含以下新服务和增强功能： + +### 新服务 + +* Redis Insight +* 薇琪 +* Markdown 查看器（默认情况下启用，呈现有关平台的文档） +* 镍铁注册 + +### 版本升级 + +* 改变`Redis`到比特纳米图像 +* 更新`DataHub`自`0.6.1` +* 更新`Portainer`自`2.0.0` +* 更新`CAdvisor`自`v0.36.0` +* 更新`Marquez`自`0.11.3`和 Marquez UI 到`0.7.0` +* 更新`Apache NiFi`自`1.12.1` +* 更新`StreamSets Data Collector`自`3.19.0` +* 更新`ksqlDB`自`0.13.0` +* 更新`Hue`自`4.8.0` +* 更新`Amundsen-Frontend`自`3.0.0` +* 更新`Amundsen-Metadata`自`3.0.0` +* 更新`Amundsen-Search`自`2.4.1` +* 更新`Presto`自`347-e` +* 更新`Dremio`自`4.9` +* 更新`MongoDB`自`4.4.2` +* 更新`MongoDB`自`4.2.0` +* 更新`InfluxDB 2.0`自`v2.0.2` +* 更新`Druid`自`0.20.0` +* 更新`Memcached`自`1.6.9` +* 更新`Kudu`自`1.13` +* 更新`Prometheus`自`v2.23.0`和`Prometheus-Pushgateway`自`v1.3.0` +* 更新`Tile38`自`1.22.5` +* 更新`Grafana`自`7.3.4` +* 更新`Stardog`自`7.4.4-java11-preview`和`Stardog Studio`自`1.29.1` +* 更新`Yugabyte`自`2.5.0.0-b2` +* 更新`Axon`自`4.4.5` +* 更新`Presto`自`346-e` +* 更新`Dremio`自`11.0` +* 更新`HiveMQ3`自`3.4.7`和`HiveMQ4`自`4.4.3` +* 更新`Vault`自`1.6.0` +* 更新`Airflow`自`1.10.13` +* 更新`Atlas`自`2.1.0` +* 更新`Ranger`自`2.1.0` +* 更新`Mosquitto`自`2.0` +* 更新`Streamsheets`自`2.1-milestone` + +### 增强 + +* 支持主/从 Redis 设置 +* 自动将 docker 网络的名称设置为`platform-name`属性从`config.yml` +* 允许添加`ConfigProvider`类到`kafka-connect`服务支持在连接器配置中使用在连接器配置中动态解析的变量。 +* 使用生成的平台上的信息渲染降价文件 +* 将配置属性添加到`ksqldb-server`启用新的抑制功能并使用查询文件 +* 支持外部`Kafka`群集（在 1.8 中处于预览状态）和`S3`使用新的对象存储`external`部分 +* 支持设置访问密钥和要使用的密钥`minio`在`config.yml`使用与以前相同的默认值 +* 支持数据和日志文件夹的卷映射`nifi`服务 + +### 重大更改 + +* 将 docker-compose 版本更新为`3.5`（需要 Docker 引擎版本 17.12.0 及更高版本） +* 映射的卷`data`文件夹 （`STREAMSETS_volume_map_data=true`） 现在映射到`container-volume/streamsets-1/data`并且不再`container-volume/streamsets-1` +* 不再使用`KAFKA_bootstrap_servers`配置外部 kafka，但`external['KAFKA_enable']`属性在`config.yml` + +### 错误修复 + +* 修复了使用`STREAMSETS_volume_map_data`特征 + +## 1.8.0 中的新增功能 + +现代数据平台版本 1.8.0 包含以下新服务和增强功能： + +### 新服务 + +* Apicurio Registry +* 粉碎达什堡 +* 提示板仪表板 +* 图表板仪表板 +* 阿兹卡拉溪流 + +### 版本升级 + +* 更新`DataHub`自`0.5.0-beta` +* 更新`StreamSheets`自`2.0-milestone` +* 更新`StreamSets`自`3.18.1` +* 更新`Confluent Platfrom`自`6.0.0` +* 更新`ksqlDB`自`0.12.0` + +### 增强 + +* 使Postgreqsql用户，密码和数据库可配置 +* 支持配置`KAFKA_MQTTPROXY_topic_regex_list`上`KAFKA_MQTTPROXY` +* 自动创建`default-bucket`在 米尼奥 如果`MINIO_ENABLE`是`true` +* 支持各种附加的 Kafka 代理属性，例如`KAFKA_message_timestamp_type`,`KAFKA_replica_selector_class`,`KAFKA_min_insync_replicas`,`KAFKA_log_segement_bytes`,`KAFKA_log_retention_ms`,`KAFKA_log_retention_hours`,`KAFKA_log_retention_bytes`,`KAFKA_compression_type`和`KAFKA_confluent_log_placement_constraints` +* 支持 Kafka 分层存储`confluent.tier.xxxx`性能 +* 支持`STREAMSETS_volume_map_security_policy`属性在`streamsets`服务 + +### 重大更改 + +* Postgresql 服务的默认用户已更改为`demo`和数据库`demodb`. +* 更改服务名称`redis`自`redis-1` +* 更改属性` RANGER_POSTGRESQL_volume_map_data `自`RANGER_postgresql_volume_map_data`对于`RANGER`服务 + +### 错误修复 + +* 支持`hive`已修复 SPARK 中的选项，以便 Spark 可以使用 Hive 元存储，而不是默认的内置元存储 + +## 1.7.0 中的新增功能 + +**注意：**您必须安装最新版本的[`platys`](http://github/trivadispf/platys)（> 2.3.0）以使用此新版本的平台堆栈。 + +现代数据平台版本 1.7.0 包含以下新服务和增强功能： + +### 新服务 + +* 雷达什 +* Memcached +* Stardog & Stardog Studio + +### 增强功能/更改 + +* 将 JMX 监视添加到 ksqldb-server-X 服务 +* 允许在 Apache Kafka 的群集管理器 （CMAK） 服务中启用基本身份验证 +* 重构了平台属性 （`platform-stack`和`platform-stack-version`） 以匹配[版本 2.3.0](https://github.com/TrivadisPF/platys/blob/master/documentation/changes.md#whats-new-in-230)之`platys`. + +## 1.6.0 中的新增功能 + +现代数据平台版本 1.6.0 包含以下新服务和增强功能： + +### 新服务 + +* Quix Database UI （Notebook-style） +* 彭索网勺 +* 霍蒂奥 +* 兔子MQ +* 云海狸 +* Swagger Editor & Swagger UI +* 卡夫卡卡特 +* 流表 +* 融合复制器 +* Presto CLI +* Apache Ranger （preview） + +### 增强功能/更改 + +* 仅当`-v`标志传递在`platys`命令行 +* 升级`ksqlDB`默认版本到最新版本`0.9.0` +* 支持在启动时自动将 Confluent Hub 连接器安装到 Kafka Connect 中 +* 支持 Presto 集群和单个 Presto 实例 +* 支持Prestosql和Prestodb开源Presto分叉以及新的Ahana Prestodb订阅 + +## 1.5.2 中的新增功能 + +1.5.2 只是一个没有新服务的修复版本。 + +### 增强功能/更改 + +* 添加指定私有 maven 存储库的可能性，用于在 Spark、Livy 和 Zeppelin 中下载 maven 包 +* 允许在 中指定其他运行时环境属性`spark-defaults.conf` + +### 错误修复 + +* 修复一代陋居和动物园管理员导航器服务 +* 修复从 Spark Master UI 到 Spark UI 的非工作链接 + +## 1.5.1 中的新增功能 + +1.5.1 只是一个没有新服务的修复版本。 + +### 错误修复 + +* 修复 Hadoop 服务 + +## 1.5.0 中的新增功能 + +现代数据平台版本 1.5.0 包含以下新服务和增强功能： + +### 新服务 + +* 添加了 Oracle XE（仅通过私有 Docker 映像） +* 添加了 Oracle EE（仅通过私有 Docker 映像） +* 添加了 Oracle REST Data Service（仅通过私有 Docker 映像） +* Hashicorp Vault 已添加 +* 已添加 Yugabyte 数据库 +* 马尔克斯添加 +* Apache Ranger 已添加 + +### 增强功能/更改 + +* 改变`drill`,`dremio`和`presto`以包括服务实例编号，即`-1`准备支持多个实例 +* 支持全局更改所有 Docker 映像的时区 （`use_timezone`) +* 新配置设置 （` private_docker_repository_name `） 以更改私有存储库以用于私有 Docker 映像 +* 修复了 Kafka 服务的 JMX 端口 +* 添加了对其他 Kafka 属性的支持 + +## 1.4.0 中的新增功能 + +现代分析数据平台堆栈版本 1.4.0 包含以下新服务和增强功能： + +### 新服务 + +* 添加了 Kafka Topics UI +* Apache Drill 已添加 +* 数据中心已添加 +* 添加了 Apache Druid（目前仅支持单服务器沙盒） +* 添加了 Apache 超集 + +### 增强功能/更改 + +* Elastisearch UI（Kibana，DejaVu，Cerebro，ElasticHQ）独立于Elasticsearch。 + +## 1.3.0 中的新增功能 + +现代分析数据平台堆栈版本 1.3.0 包含以下新服务和增强功能： + +### 新服务 + +* 阿帕奇气流 +* Apache Sqoop（以前是`hadoop-client`服务） +* 代码服务器（与浏览器中的代码 IDE 相对） + +### 增强功能/更改 + +* 添加了一些第一个简单的教程，展示了如何使用这些服务 +* Hadoop图像更改为来自欧洲大数据的图像 +* 服务Kafka Manger现在是CMAK（由于Yahoo GitHub的名称更改） +* KafkaHQ已被开发人员重命名为AKHQ，我们现在使用此映像 + +## 1.2.0 中的新增功能 + +现代分析数据平台堆栈版本 1.2.0 包含以下新服务和增强功能： + +### 新服务 + +* Confluent Enterprise as a Edition for Kafka +* Streamset Data Collector Edge +* 流集变压器 +* Apache NiFi +* 各种 Jupyter 服务 +* 节点红色 +* Influx Data Tick Stack （influxdb， chronograf， kapacitor） +* 流入 DB 2.0-alpha + +### 增强功能/更改 + +* 将某些端口重构回原始端口 + +* 重命名以下位置的所有属性`XXXX_enabled`自`XXXX_enable` + +* 重命名“XXXX_yyyy_enabled中的所有属性` to 'XXXX_YYYY_enabled `明确区分产品/服务和属性 + +* 重命名`connect-n`服务到`kafka-connect-n`更清晰 + +* 重命名`broker-n`服务到`kafka-n`更清晰 + +* 升级到 Confluent Platform 5.4.0 + +* 加[版本概念](service-design.md)用于卡夫卡和朱皮特服务 diff --git a/documentation/changes-es.md b/documentation/changes-es.md new file mode 100644 index 000000000..422ab2f2e --- /dev/null +++ b/documentation/changes-es.md @@ -0,0 +1,673 @@ +# `modern-data-platform` - ¿Qué hay de nuevo? + +Ver [Actualizar a una nueva versión de pila de plataforma](https://github.com/TrivadisPF/platys/blob/master/documentation/upgrade-platform-stack.md) para saber cómo actualizar a una versión más reciente. + +## Novedades de la versión 1.14.0 + +La versión 1.14.0 de Modern Data Platform contiene las siguientes correcciones de errores y mejoras: + +### Nuevos Servicios + +* Kouncil +* Registro Apicurio +* Plataforma DataOps de conjuntos de flujos +* Grafana Loki +* Grafana Promtail +* Herramientas Avro +* Magia Kafka +* StreamPipes +* Rémora +* Metabase +* Jikkou +* Horca +* Jaeger +* Colector OTEL (OpenTelemetry) +* Plataforma Camunda BPM +* Camunda Optimizar +* Caja de lentes +* Consulta Tempo & Tempo +* Promtail + +### Nuevas recetas de libros de cocina + +* [Registro apicurio con almacenamiento SQL (PostgreSQL) + ](../cookbooks/recipes/apicurio-with-database-storage) + +* [Automatice la gestión de los temas de Kafka en la plataforma](../cookbooks/recipes/jikkou-automate-kafka-topics-management/README.md) + +* [Configuración simulada de varios CC en una máquina](../cookbooks/recipes/simulated-multi-dc-setup/README.md) + +* [Creación de un entorno de DataOps de StreamSets autogestionado mediante Platys](../cookbooks/recipes/streamsets-dataops-creating-environment/README.md) + +* [Carga de tuberías de Streamsets al inicio del contenedor](../cookbooks/recipes/streamsets-loading-pipelines/README.md) + +* [Trabajar con Tipboard y Kafka](../cookbooks/recipes/tipboard-and-kafka/README.md) + +* [Consulta de datos en Kafka desde Trino (anteriormente PrestoSQL)](../cookbooks/recipes/querying-kafka-with-trino/README.md) + +* [Uso de un conector Kafka Connect que no esté en confluentes](../cookbooks/recipes/using-kafka-connector-not-in-confluent-hub/README.md) + +### Actualizaciones de versión + +* Actualizar `DataHub` Para `0.8.25` +* Actualizar `Trino` Para `371` +* Actualizar `Starburst Enterprise` Para `369-e` +* Actualizar `Apache NiFi` Para `1.15.0` +* Actualizar `Hasura` Para `v2.0.0-beta.2` +* Actualizar `ksqlDB` Para `0.23.1` +* Actualizar `Zeppelin` Para `0.10.0` +* Actualizar `Livy` Para `0.7.1-incubating` +* Actualizar `Spark 3` Para `3.2` +* Actualizar `Streamsheets` Para `2.5-milestone` +* Actualizar `Neo4J` Para `4.4` +* Actualizar `Confluent` Para `7.0.1` +* Actualizar `NiFi` Para `1.15.2` y `NiFi Registry` Para `1.15.1` +* Actualizar `Marquez` Para `0.20.0` +* Actualizar `Amundsen Frontend` Para `4.0.0` y `Amundsen Search` Para `3.0.0` +* Actualizar `InfluxDB 2` Para `2.1.1` +* Actualizar `EventStore`Para `21.10.1-buster-slim` +* Actualizar `Keycloak` Para `16.1.1` +* Actualizar `Dremio` Para `20.0` +* Actualizar `Minio` Para `RELEASE.2022-02-01T18-00-14Z` +* Actualizar `lakeFS` Para `0.58.0` +* Actualizar `Vault` Para `1.9.3` +* Actualizar `Ranger` Para `2.2.0` +* Actualizar `Materialize` Para `v0.19.0` +* Actualizar `kcat` Para `1.7.1` +* Actualizar `Debezium` Para `1.8.0.Final` +* Actualizar `Datastax` Para `6.8.19` +* Actualizar `Elasticsearch` Para `7.17.0` +* Actualizar `Node-RED` Para `2.2.0` +* Actualizar `Spring Dataflow` Para `2.9.2` y `Skipper` Para `2.8.2` +* Actualizar `MLflow` Para `1.23.1` +* Actualizar `Optuna Dashboard` Para `0.5.0` +* Actualizar `Kie-Server` Para `7.61.0.Final` +* Actualizar `Grafana` Para `8.3.4` +* Actualizar `Kibana` Para `7.17.0` +* Actualizar `Memchached` Para `1.6.13` +* Actualizar `Solr` Para `8.11` +* Actualizar `DGraph` Para `v21.12.0` +* Actualizar `Stardog` Para `7.8.3-java11-preview` +* Actualizar `GraphDB` Para `9.10.1` +* Actualizar `QuestDB` Para `6.2` +* Actualizar `Druid` Para `0.22.1` +* Actualizar `Pinot` Para `0.9.3` +* Actualizar `Prometheus` Para `v2.33.1` y `pushgateway` Para `v1.4.2` y `nodeexporter` Para `v1.3.1` +* Actualizar `Tile38` Para `1.27.1` +* Actualizar `Axon` Para `4.5.10` +* Actualizar `Hasura` Para `v2.2.0` +* Actualizar `Emq` Para `4.3.11` +* Actualizar `Cedalo Mgmt Center` Para `2.2` +* Actualizar `Thingsboard` Para `3.3.3` +* Actualizar `RabbitMQ` Para `3.9-management` +* Actualizar `Watchtower` Para `1.4.0` + +### Cambios de última hora + +* InfluxDB ahora está escuchando en `19999` En lugar de `9999` +* Todo `KAFKA_SCHEMA_REGISTRY_xxxx` renombrado a `CONFLUENT_SCHEMA_REGISTRY_xxxx` +* Todo `KAFKA_SCHEMA_REGISTRY_UI_xxxx` renombrado a `SCHEMA_REGISTRY_UI_xxxx` +* Agregue kafka advertised listener adicional para localhost (puerto 39092 - 39099) y divídalo del docker listener (en $DOCKER_HOST_IP con el puerto 29092 - 29099) +* permite cambiar el uso del puerto estándar de Kafka entre EXTERNAL y DOCKER_HOST Listener (parámetro config `KAFKA_use_standard_port_for_external_interface`) +* `KAFKA_BURROW_enable` renombrado a `BURROW_enable` +* `conf-override` renombrado a `custom-conf` para reflejar mejor el hecho, que esta carpeta es solo para archivos de configuración cusotmized que no se sobrescribirán al volver a generar la plataforma +* Si copia manualmente los conectores de Kafka Connect, ya no los coloca en `plugins/kafka-connect` pero `plugins/kafka-connect/connectors` +* Cambiar el nombre de la `python` opciones de configuración (`PYTHON_artefacts_folder` y `PYTHON_script_file`) + +### Mejoras + +* Apicurio Schema Registry como reemplazo directo para el Confluent Schema Registry +* Todos los servicios de la página de markdown de la lista de servicios (http://dataplatform/services) contienen un enlace a su página de inicio +* La página de configuración también enlaza con la página de inicio de serice +* Soporte de autenticación y autorización en apicurio Registry a través de Keycloak +* Se ha agregado compatibilidad con los paquetes PIP que se instalarán antes de ejecutar el `python` contenedor +* Soporte para el envío de registros docker a Grafana Loki + +### Correcciones + +* Error corregido con el servicio Burrow +* `KEYCLOCK` cambiado a `KEYCLOAK` para reflejar el nombre correcto + +## Novedades de la versión 1.13.0 + +La versión 1.13.0 de Modern Data Platform contiene las siguientes correcciones de errores y mejoras: + +### Nuevos Servicios + +* Nuclio FaaS +* Navegador Firefox +* Zipkin +* Servidor Apache Tika +* RStudio +* Servidor brillante +* Servidor MLflow +* Optuna +* Panel de Optuna +* Excalidraw +* Drools Servidor KIE +* Drools Business Central Workbench +* Flink +* Diseñador Nussknacker +* Kowl +* Apache Ignite +* Servidor Debezium +* pgAdmin +* Oracle XE + +### Nuevas recetas de libros de cocina + +* [Compatibilidad con la activación del recopilador de datos StreamSets](../cookbooks/recipes/streamsets-oss-activation) + +### Actualizaciones de versión + +* Actualizar `Confluent` Para `6.2.0` +* Actualizar `Marquez` Para `0.19.0` +* Actualizar `Trino` Para `363` +* Actualizar `Starburstdata` Para `363-e` +* Actualizar `DataHub` Para `0.8.15` +* Actualizar `Minio` Para `RELEASE.2021-06-17T00-10-46Z` +* Actualizar `ksqlDB` Para `0.20.0` +* Actualizar `tile38` Para `1.25.2` +* Actualizar `kcat` Para `1.7.0` (solía ser `kafkacat`) +* Actualizar `Elasticsearch` Para `7.14.0` +* Actualizar `Kibana` Para `7.14.0` +* Actualizar `Cassandra` Para `3.11` +* Actualizar `DSE-Server` Para `6.8.14` +* Actualizar `MongoDB` Para `5.0` +* Actualizar `Neo4J` Para `4.2` +* Actualizar `Stardog` Para `7.7.1-java11-preview` +* Actualizar `Stardog-Studio` Para `current` +* Actualizar `Chronograf` Para `1.9` +* Actualizar `Telegraf` Para `1.19` +* Actualizar `Influxdb2` Para `2.0.8` (cambiar a la imagen oficial de Docker) +* Actualizar `Kudu` Para `1.15` +* Actualizar `Pinot` Para `0.8.0` +* Actualizar `Pinot` Para `0.8.0` +* Actualizar `Prometheus` Para `v2.29.1` +* Actualizar `Prometheus Pushgateway` Para `v1.4.1` +* Actualizar `Prometheus Nodeexporter` Para `v1.2.2` +* Actualizar `Yugabyte` Para `2.4.6.0-b10` +* Actualizar `GraphDB` Para `9.9.0` +* Actualizar `Druid` Para `0.21.1` +* Actualizar `Solr` Para `8.9` +* Actualizar `Redis` Para `6.2` +* Actualizar `Memcached` Para `1.6.10` +* Actualizar `Grafana` Para `8.2.0` +* Actualizar `QuestDB` Para `6.0.4` +* Actualizar `Spark` Para `3.1.1` +* Actualizar `Minio` Para `RELEASE.2021-09-15T04-54-25Z` +* Actualizar `Axon Server` Para `4.5.7` +* Actualizar `Hazelcast` Para `5.0` +* Actualizar `Apache Atlas` Para `2.2.0` +* Actualizar `LakeFS` Para `0.52.2` +* Actualizar `Amundsen-Frontend` Para `3.13.0` +* Actualizar `Amundsen-Metadata` Para `3.10.0` +* Actualizar `Amundsen-Search` Para `2.11.1` + +### Cambios de última hora + +* Cambiado `HAZELCAST_IMDG_xxxxxx` Para `HAZELCAST_xxxxxx` +* Cambiado `ORACLE_xxxxxx` Para `ORACLE_EE_xxxxxx` +* Se ha cambiado el valor predeterminado de `KAFKA_CONNECT_nodes` De `2` Para `1` +* Cambiado `KAFKA_EAGLE_enable` Para `KAFKA_EFAK_enable` + +### Mejoras + +* Las páginas de markdown de documentación se copian en la plataforma generada y están disponibles en el visor de markdown +* Soporte Zookeeper-Less Kafka Setup en modo KRaft (`KAFKA_use_kraft_mode`) +* Soporte para configurar el `SDC ID` a un valor fijo para StreamSets, de modo que un código de activación siga siendo válido después de volver a crear el `streamsets-1` contenedor docker +* Cambiar de `cp-enterprise-kafka` Para `cp-server` imagen para Confluent Enterprise +* Admite múltiples bases de datos dentro de un solo contenedor Posgresql +* Rebautizar `kafkacat` Para `kcat` (para reflejar el proyecto GitHub) +* Añadir soporte para Cassandra 3 y Cassandra 4 +* Agregar propiedades de configuración adicionales al Registro de esquemas de confluentes +* Compatibilidad con la instalación de paquetes de Python al iniciar Jupyter +* Agregar compatibilidad con el servidor Kafka Connect integrado en ksqlDB Server (establecer `KAFKA_KSQLDB_use_embedded_connect` Para `true`) +* Agregar interfaz de usuario de Kafka adicional (Kowl) +* Agregar soporte para Flink +* Añadir soporte para Drools +* Añadir soporte para Ignite y Hazelcast +* Agregar soporte para Otuna y MLFlow +* Agregar compatibilidad para instalar paquetes de Python al iniciar Jupyter (`JUPYTER_python_packages`) +* Agregar páginas de detalles para algunos servicios vinculados desde el **Lista de servicios** página representada por el visor de Markdown + +### Correcciones + +* Corregir el error "pánico: error de tiempo de ejecución: límites de división fuera del rango" en `schema-registry-ui` y `kafka-connect-ui` al permitir la asignación de la `resolv.conf` en el contenedor. Está habilitado de forma predeterminada. + +## Novedades de la versión 1.12.1 + +La versión 1.12.1 de Modern Data Platform contiene las siguientes correcciones de errores y mejoras: + +### Actualizaciones de versión + +* Actualizar `NiFi` Para `1.13.2` +* Actualizar `DataHub` Para `v0.8.0` +* Actualizar `ksqlDb` Para `0.18.0` +* Actualizar `Jupyter` Para `spark-3.1.1` + +### Correcciones + +* Arreglar Thrift Server que no funcionó en la versión anterior debido a las imágenes de Spark que se basan en Alpine Linux + +## Novedades de la versión 1.12.0 + +La versión 1.12.0 de Modern Data Platform contiene los siguientes servicios y mejoras nuevos: + +### Nuevos Servicios + +* Prometheus Nodeexporter +* Kafka Lag Exportador +* Base de datos EventStore +* Camunda Zeebe + Operar + ZeeQs +* Hazelcast IMDG + Centro de Gestión +* Apache Pinot +* LagoFS +* EMQ-X MQTT Broker +* QuestDB Timeeries DB +* Materializar +* Interfaz de usuario de Debezium + +### Nuevas recetas de libros de cocina + +* [Creación y visualización de ADR con log4brains](../cookbooks/recipes/creating-adr-with-log4brains) +* [Uso de Dev Simulator Orgin para simular datos de streaming](../cookbooks/recipes/using-dev-simulator-origin) +* [Uso de la imagen privada (Trivadis) de Oracle XE](../cookbooks/recipes/using-private-oracle-xe-image) +* [Uso de la imagen privada (Trivadis) de Oracle EE](../cookbooks/recipes/using-private-oracle-ee-image) +* [Uso de la imagen pública de Oracle XE](../cookbooks/recipes/using-public-oracle-xe-image) + +### Actualizaciones de versión + +* Actualizar `Azkarra` Para `0.9.1` +* Actualizar `Hasura` Para `v2.0.0-alpha.9` +* Actualizar `Marquez` Para `0.14.2` +* Actualizar `Grafana` Para `7.5.2` +* Actualizar `Axonserver` Para `4.5` +* Actualizar `Streamsheets` Para `2.3-milestone` +* Actualizar `Streamsets` Para `3.22.2` +* Actualizar `Trino` Para `356` +* Actualizar `Starburstdata Presto` Para `356-e.1` (usando nuevo `starburst-enterprise` imagen) +* Actualizar `PrestoDB` Para `0.253` +* Actualizar `Ahana` Para `0.253` +* Actualizar `DataHub` Para `0.7.1` +* Actualizar `InfluxDB2` Para `2.0.4` +* Actualizar `Telegraf` Para `1.18` +* Actualizar `MongoDB` Para `4.4` +* Actualizar `Elasticsearch` Para `7.12.0` +* Actualizar `Kibana` Para `7.12.0` +* Actualizar `Neo4J` Para `4.2.5` +* Actualizar `ksqlDB` Para `0.17.0` +* Actualizar `Druid`Para `0.21.0` +* Actualizar `HiveMQ 4` Para `4.6.1` +* Actualizar `Airflow` Para `2` + +### Mejoras + +* Se agregó soporte para Kafka Monitoring usando JMX y Prometheus / Grafana (con la entrada de este [proyecto github confluente](https://github.com/confluentinc/jmx-monitoring-stacks) +* use la imagen oficial de Docker de Cloudbeaver y ya no la de trivadis +* [solución documentend](https://github.com/TrivadisPF/platys/blob/master/documentation/docker-compose-without-internet.md) sobre cómo utilizar una plataforma generada por Platys sin Internet en la infraestructura de destino + +## Novedades de la versión 1.11.0 + +La versión 1.11.0 de Modern Data Platform contiene los siguientes servicios y mejoras nuevos: + +### Nuevos Servicios + +* Watchtower añadida +* Hasura añadido +* Dgraph añadido +* Explorador de archivos añadido +* Se ha añadido la CLI de MinIO MC +* Kafka UI añadida +* Interfaz de usuario de Adminio agregada +* Consola MinIO añadida +* S3 Manager agregado +* Filestash añadido +* SQLPad agregado +* Malla GraphQL agregada +* Se ha agregado el Explorador de transmisiones +* Comunidad thingsboard añadida +* Cartero añadido +* Keyclock añadido +* Microcks añadidos +* Dataiku Data Science Studio añadido +* Kafka Eagle agregó +* Trino agregó +* GraphDB añadido +* PostgREST añadido +* Log4brains añadido + +### Nuevas recetas de libros de cocina + +* [Spark con PostgreSQL](../cookbooks/recipes/spark-with-postgresql) +* [Consulta de datos de S3 (MinIO) mediante MinIO](../cookbooks/recipes/querying-minio-with-trino/) +* [Consulta de datos de Kafka con Trino](../cookbooks/recipes/querying-kafka-with-trino/) + +### Actualizaciones de versión + +* Actualizar `Elasticsearch` Para `7.10.1` +* Actualizar `Kibana` Para `7.10.1` +* Actualizar `HiveMQ4`Para `4.5.0` +* Actualizar `Streamsets Transformer` Para `3.17.0` +* Actualizar `Axon Server` Para `4.4.5` +* Cambiar a oficial `Streamsets DataCollector` de `3.21.0` +* Actualizar `Marquez` Para `0.12.2` +* Actualizar `Cedalo Management Center` Para `2.1` +* Actualizar `Confluent Platform` Para `6.1.0` +* Actualizar `ksqlDB` Para `0.15.0` +* Actualizar `APICurio Registry` Para `1.3.2` +* Actualizar `Starburstdata Presto` Para `350-e.5` +* Actualizar `Ahana PrestoDB` Para `0.249` +* Actualizar `PrestoDB` Para `0.249` +* Actualizar `DataHub` Para `0.7.0` + +### Mejoras + +* Permitir la configuración de las bibliotecas de etapas adicionales de StreamSets para instalarlas al iniciar StreamSets (ya no usamos las imágenes de Docker de Trivadis) +* Admite la instalación automática de canalizaciones de StreamSets al iniciar StreamSets +* Soporte para Trino agregado (renombrado proyecto PrestoSQL) en paralelo a PrestoDB (la otra bifurcación de Presto) + +## Novedades de la versión 1.10.0 + +La versión 1.10.0 de Modern Data Platform contiene los siguientes servicios y mejoras nuevos: + +### Nuevos Servicios + +* Flujo de datos de Spring Cloud + +### Nuevas recetas de libros de cocina + +* [Uso de kafka Connect Connector adicional](../cookbooks/recipes/using-additional-kafka-connect-connector) +* [UDF y ksqlDB personalizados](../cookbooks/recipes/custom-udf-and-ksqldb) +* [Uso de proxy MQTT confluente](../cookbooks/recipes/using-mqtt-proxy/) +* [Spark con S3 interno (usando en minIO)](..cookbooks//recipes/spark-with-internal-s3) +* [Spark con S3 externo](../cookbooks/recipes/spark-with-extern-s3) + +### Actualizaciones de versión + +* Actualizar `ksqlDB` Para `0.14.0` +* Actualizar `Streamsheets` Para `2.2` +* Actualizar `Zeppelin` Para `0.9.0` +* Actualizar `Confluent` Para `6.0.1` +* Actualizar `Presto` Para `348-e` +* Actualizar `Stardog` Para `7.4.5-java11-preview` y `Stardog Studio` Para `1.30.0` + +### Mejoras + +* Agregue la opción para cambiar el puerto del Visor de rebajas a `8000`, con el valor predeterminado que sigue siendo el puerto `80`. +* Agregue una opción para utilizar el contenido de la carpeta `DOCKER_HOST_IP` en lugar de la `PUBLIC_IP` variable para los enlaces web a los servicios. +* cambio `minio` imagen a la de `bitnami`, que permite crear buckets al inicio del servicio +* permitir la configuración de `spark.max.cores` y `spark.executor.memory` en Zeppelin +* permitir la configuración de `SPARK_MASTER_OPTS` y `SPARK_WORKER_OPTS`, `SPARK_WORKER_CORES`, `SPARK_WORKER_MEMORY` para Spark +* Se ha añadido compatibilidad para cambiar entre Spark 2 y Spark 3 +* cambiar el valor predeterminado de `KAFKA_delete_topic_enable` Para `true` +* agregar `KAFKA_SCHEMA_REGISTRY_UI_use_public_ip` Para cambiar entre la dirección IP del host público y de Docker para la interfaz de usuario del Registro de esquemas +* Hacer que el usuario administrador y el usuario "normal" sean configurables en Zeppelin +* Los archivos de configuración para Zeppelin ya no se asignan desde el `conf` en el contenedor, ahora está "preconstruido" en la nueva imagen de docker de zepelín. +* Se ha añadido compatibilidad con Spark 3.0 +* Agregar compatibilidad para habilitar Zeppelin Cron Scheduler en cada bloc de notas + +### Corrección de errores + +* corregir error con S3 interno (minIO) introducido en `1.9.0` + +## Novedades de la versión 1.9.0 + +La versión 1.9.0 de Modern Data Platform contiene los siguientes servicios y mejoras nuevos: + +### Nuevos Servicios + +* Visión de Redis +* WebTTY +* Markdown Viewer (habilitado de forma predeterminada, que representa la documentación sobre la plataforma) +* Registro NiFi + +### Actualizaciones de versión + +* Cambio `Redis` a la imagen bitnami +* Actualizar `DataHub` Para `0.6.1` +* Actualizar `Portainer` Para `2.0.0` +* Actualizar `CAdvisor` Para `v0.36.0` +* Actualizar `Marquez` Para `0.11.3` y Marquez UI a `0.7.0` +* Actualizar `Apache NiFi` Para `1.12.1` +* Actualizar `StreamSets Data Collector` Para `3.19.0` +* Actualizar `ksqlDB` Para `0.13.0` +* Actualizar `Hue` Para `4.8.0` +* Actualizar `Amundsen-Frontend` Para `3.0.0` +* Actualizar `Amundsen-Metadata` Para `3.0.0` +* Actualizar `Amundsen-Search` Para `2.4.1` +* Actualizar `Presto` Para `347-e` +* Actualizar `Dremio` Para `4.9` +* Actualizar `MongoDB` Para `4.4.2` +* Actualizar `MongoDB` Para `4.2.0` +* Actualizar `InfluxDB 2.0` Para `v2.0.2` +* Actualizar `Druid` Para `0.20.0` +* Actualizar `Memcached` Para `1.6.9` +* Actualizar `Kudu` Para `1.13` +* Actualizar `Prometheus` Para `v2.23.0` y `Prometheus-Pushgateway` Para `v1.3.0` +* Actualizar `Tile38` Para `1.22.5` +* Actualizar `Grafana` Para `7.3.4` +* Actualizar `Stardog` Para `7.4.4-java11-preview` y `Stardog Studio` Para `1.29.1` +* Actualizar `Yugabyte` Para `2.5.0.0-b2` +* Actualizar `Axon` Para `4.4.5` +* Actualizar `Presto` Para `346-e` +* Actualizar `Dremio` Para `11.0` +* Actualizar `HiveMQ3` Para `3.4.7` y `HiveMQ4` Para `4.4.3` +* Actualizar `Vault` Para `1.6.0` +* Actualizar `Airflow` Para `1.10.13` +* Actualizar `Atlas` Para `2.1.0` +* Actualizar `Ranger` Para `2.1.0` +* Actualizar `Mosquitto` Para `2.0` +* Actualizar `Streamsheets` Para `2.1-milestone` + +### Mejoras + +* soporte para la configuración de Master/Slave Redis +* Establezca automáticamente el nombre de la red de Docker en el valor de la `platform-name` propiedad de la `config.yml` +* Permitir agregar `ConfigProvider` clases a la `kafka-connect` que admite el uso de variables en configuraciones de conectores que se resuelven dinámicamente cuando se (re)inicia el conector. +* Representación de archivos de markdown con información sobre la plataforma generada +* Agregar propiedad de configuración a `ksqldb-server` Para habilitar la nueva funcionalidad de supresión y utilizar un archivo de consulta +* soporte externo `Kafka` cluster (estaba en versión preliminar en 1.8) y `S3` almacenamiento de objetos con el nuevo `external` sección +* admite la configuración de la clave de acceso y la clave secreta que se utilizarán para `minio` En `config.yml` Utilizando los mismos valores predeterminados que antes +* admite la asignación de volúmenes para la carpeta de datos y registros de `nifi` servicio + +### Cambios de última hora + +* Actualizar la versión de docker-compose a `3.5` (requiere Docker Engine versión 17.12.0 y superior) +* Volumen asignado `data` carpeta en Streamsets (`STREAMSETS_volume_map_data=true`) ahora está asignado a `container-volume/streamsets-1/data` y ya no a `container-volume/streamsets-1` +* Ya no utilice el `KAFKA_bootstrap_servers` para configurar Kafka externo, pero `external['KAFKA_enable']` propiedad en `config.yml` + +### Correcciones + +* Corrección del error al utilizar el `STREAMSETS_volume_map_data` característica + +## Novedades de la versión 1.8.0 + +La versión 1.8.0 de Modern Data Platform contiene los siguientes nuevos servicios y mejoras: + +### Nuevos Servicios + +* Registro Apicurio +* Aplastando Dashbaord +* Panel de control de Tipboard +* Panel de control del tablón de gráficos +* Arroyos de Azkarra + +### Actualizaciones de versión + +* actualizar `DataHub` Para `0.5.0-beta` +* actualizar `StreamSheets` Para `2.0-milestone` +* actualizar `StreamSets` Para `3.18.1` +* actualizar `Confluent Platfrom` Para `6.0.0` +* actualizar `ksqlDB` Para `0.12.0` + +### Mejoras + +* hacer que el usuario, la contraseña y la base de datos de Postgreqsql sean configurables +* configuración de soporte de `KAFKA_MQTTPROXY_topic_regex_list` en `KAFKA_MQTTPROXY` +* crear automáticamente el `default-bucket` en Minio si `MINIO_ENABLE` es `true` +* admite varias propiedades adicionales del corredor de Kafka, como `KAFKA_message_timestamp_type`, `KAFKA_replica_selector_class`, `KAFKA_min_insync_replicas`, `KAFKA_log_segement_bytes`, `KAFKA_log_retention_ms`, `KAFKA_log_retention_hours`, `KAFKA_log_retention_bytes`, `KAFKA_compression_type` y `KAFKA_confluent_log_placement_constraints` +* soporta Kafka Tiered Storage con `confluent.tier.xxxx` Propiedades +* apoyo `STREAMSETS_volume_map_security_policy` propiedad en `streamsets` servicio + +### Cambios de última hora + +* El usuario predeterminado para el servicio Postgresql se ha cambiado a `demo` y la base de datos para `demodb`. +* cambiar el nombre del servicio de `redis` Para `redis-1` +* cambiar propiedad ` RANGER_POSTGRESQL_volume_map_data ` Para `RANGER_postgresql_volume_map_data` para el `RANGER` servicio + +### Correcciones + +* apoyo para el `hive` Se ha corregido la opción en SPARK para que Spark pueda usar el metaalmacén de Hive en lugar del metaalmacén integrado predeterminado + +## Novedades de la versión 1.7.0 + +**Nota:** Tiene que instalar la versión más reciente de [`platys`](http://github/trivadispf/platys) (> 2.3.0) para utilizar esta nueva versión de la pila de plataformas. + +La versión 1.7.0 de Modern Data Platform contiene los siguientes servicios y mejoras nuevos: + +### Nuevos Servicios + +* Redash +* Memcached +* Stardog & Stardog Estudio + +### Mejoras / Cambios + +* Se agregó la supervisión de JMX a los servicios ksqldb-server-X +* Permitir la habilitación de la autenticación básica en el servicio Administrador de clústeres para Apache Kafka (CMAK) +* refactorizó las propiedades de platys (`platform-stack` y `platform-stack-version`) para coincidir con [versión 2.3.0](https://github.com/TrivadisPF/platys/blob/master/documentation/changes.md#whats-new-in-230) de `platys`. + +## Novedades de la versión 1.6.0 + +La versión 1.6.0 de Modern Data Platform contiene los siguientes nuevos servicios y mejoras: + +### Nuevos Servicios + +* Interfaz de usuario de quix Database (estilo Notebook) +* Penthao Webspoon +* Hawtio +* ConejoMQ +* Cloudbeaver +* Swagger Editor y Swagger UI +* Kafkacat +* StreamSheets +* Replicador confluente +* Presto CLI +* Apache Ranger (vista previa) + +### Mejoras / Cambios + +* Solo se muestra la salida detallada del generador docker-compose-templer si el `-v` la bandera se pasa en el `platys` línea de comandos +* Actualizar `ksqlDB` versión predeterminada a la más reciente `0.9.0` +* Admite la instalación automática de conectores de Confluent Hub en Kafka Connect al iniciarse +* Compatibilidad con clústeres de Presto junto con una sola instancia de Presto +* Soporte para bifurcaciones Prestosql y Prestodb de código abierto Presto, así como la nueva suscripción a Ahana Prestodb + +## Novedades de la versión 1.5.2 + +1.5.2 es solo una versión fija sin nuevos servicios. + +### Mejoras / Cambios + +* agregar la posibilidad de especificar un repositorio privado de maven para descargar paquetes de maven en Spark, Livy y Zeppelin +* Permitir especificar propiedades adicionales del entorno de tiempo de ejecución en `spark-defaults.conf` + +### Correcciones + +* Generación de arreglos del servicio Burrow y Zookeeper Navigator +* Corregir el vínculo que no funciona a la interfaz de usuario de Spark desde la interfaz de usuario maestra de Spark + +## Novedades de la versión 1.5.1 + +1.5.1 es solo una versión fija sin nuevos servicios. + +### Correcciones + +* Reparar el servicio Hadoop + +## Novedades de la versión 1.5.0 + +La versión 1.5.0 de Modern Data Platform contiene los siguientes servicios y mejoras nuevos: + +### Nuevos Servicios + +* Oracle XE (solo a través de una imagen de Docker privada) agregado +* Oracle EE (solo a través de una imagen privada de Docker) agregado +* Se ha agregado Oracle REST Data Service (solo a través de una imagen privada de Docker) +* Hashicorp Vault añadido +* Base de datos Yugabyte agregada +* Márquez agregó +* Apache Ranger añadido + +### Mejoras / Cambios + +* cambio `drill`, `dremio` y `presto` para incluir el número de instancia de servicio, es decir, `-1` Para prepararse para admitir varias instancias +* compatibilidad con el cambio de la zona horaria a nivel mundial para todas las imágenes de Docker (`use_timezone`) +* nueva opción de configuración (` private_docker_repository_name `) para cambiar el repositorio privado que se va a utilizar para las imágenes privadas de Docker +* Se han corregido los puertos JMX del servicio Kafka +* Se ha agregado compatibilidad con propiedades adicionales de Kafka + +## Novedades de la versión 1.4.0 + +La versión 1.4.0 de Modern Analytical Data Platform Stack contiene los siguientes servicios y mejoras nuevos: + +### Nuevos Servicios + +* Se ha añadido la interfaz de usuario de Kafka Topics +* Apache Drill añadido +* DataHub agregado +* Apache Druid agregado (actualmente solo admite Sandbox de un solo servidor) +* Apache Superset añadido + +### Mejoras / Cambios + +* Las interfaces de usuario de Elastisearch (Kibana, DejaVu, Cerebro, ElasticHQ) son independientes de Elasticsearch + +## Novedades de la versión 1.3.0 + +La versión 1.3.0 de Modern Analytical Data Platform Stack contiene los siguientes servicios y mejoras nuevos: + +### Nuevos Servicios + +* Flujo de aire Apache +* Apache Sqoop (anteriormente parte de `hadoop-client` servicio) +* Code-Server (VS Code IDE en el navegador) + +### Mejoras / Cambios + +* Algunos primeros tutoriales simples agregados, que muestran cómo usar los servicios +* Las imágenes de Hadoop cambiaron a las de Big Data Europe +* Service Kafka Manger ahora es CMAK (debido al cambio de nombre en Yahoo GitHub) +* KafkaHQ ha sido renombrado a AKHQ por el desarrollador y ahora usamos esta imagen + +## Novedades de la versión 1.2.0 + +La versión 1.2.0 de Modern Analytical Data Platform Stack contiene los siguientes servicios y mejoras nuevos: + +### Nuevos Servicios + +* Confluent Enterprise como edición para Kafka +* Borde del recopilador de datos de conjuntos de secuencias +* Transformador de conjuntos de arroyos +* Apache NiFi +* varios servicios de Jupyter +* Nodo RED +* Pila de ticks de datos de afluencia (influxdb, cronógrafo, kapacitor) +* Afluencia DB 2.0-alfa + +### Mejoras / Cambios + +* Refactorizar algunos puertos a los puertos originales + +* Cambiar el nombre de todas las propiedades desde `XXXX_enabled` Para `XXXX_enable` + +* Cambie el nombre de todas las propiedades desde 'XXXX_yyyy_enabled` to 'XXXX_YYYY_enabled ` para distinguir claramente entre producto/servicio y las propiedades + +* Rebautizar `connect-n` servicio a `kafka-connect-n` para ser más claros + +* Rebautizar `broker-n` servicio a `kafka-n` para ser más claros + +* Actualizar a Confluent Platform 5.4.0 + +* Agregar [concepto de edición](service-design.md) para los servicios de Kafka y Jupyter