您好, 欢迎来到 !    登录 | 注册 | | 设为首页 | 收藏本站

从PostgreSQL数据库到Elasticsearch snyc /导入表的正确方法是什么?

从PostgreSQL数据库到Elasticsearch snyc /导入表的正确方法是什么?

这取决于您的用例。通常的做法是在应用程序层上进行处理。基本上,您要做的是将一个数据库的操作复制到另一个数据库。因此,例如,如果您在postgres中保存一个条目,则在elasticsearch中执行相同的操作。

但是,如果这样做,则必须有一个排队系统。队列都集成在您的应用程序层上,例如,如果elasticsearch中的保存失败,则可以重播该操作。此外,在您的排队系统上,您将实施限制机制,以免压倒elasticsearch。另一种方法是将事件发送到另一个应用程序(例如logstash等),因此限制和持久性将由该系统而不是您的应用程序处理。

另一种方法https://www.elastic.co/blog/logstash-jdbc-input- plugin。您使用另一个系统来“轮询”数据库,并将更改发送到elasticsearch。在这种情况下,logstash是理想的选择,因为它是ELK堆栈的一部分,并且具有很好的集成性。还要检查一下https://www.elastic.co/guide/zh- CN/logstash/current/plugins-inputs- jdbc.html

另一种方法是使用postgres 的NOTIFY机制将事件发送到某个队列,该队列将处理保存Elasticsearch中的更改。

SQLServer 2022/1/1 18:13:59 有703人围观

撰写回答


你尚未登录,登录后可以

和开发者交流问题的细节

关注并接收问题和回答的更新提醒

参与内容的编辑和改进,让解决方法与时俱进

请先登录

推荐问题


联系我
置顶