有没有做软件的外包网站,北京手机网站设计报价,知乎小说推广对接平台,网络营销策划书应该怎么写作者#xff1a;来自 Elastic Josh Asres 了解在 Elasticsearch 中为你的搜索用例提取数据的所有不同方式。
对于搜索用例#xff0c;高效采集和处理来自各种来源的数据的能力至关重要。无论你处理的是 SQL 数据库、CRM 还是任何自定义数据源#xff0c;选择正确的数据采集…作者来自 Elastic Josh Asres 了解在 Elasticsearch 中为你的搜索用例提取数据的所有不同方式。
对于搜索用例高效采集和处理来自各种来源的数据的能力至关重要。无论你处理的是 SQL 数据库、CRM 还是任何自定义数据源选择正确的数据采集工具都会对你的 Elasticsearch 体验产生重大影响。在本博客中我们将探索 Elastic Stack 的三种搜索数据采集工具Logstash、客户端 API 以及我们的 Elastic Native Connectors Elastic Connector Framework。我们将深入探讨它们的优势、理想用例以及它们最擅长处理的数据类型。 Logstash集中、转换和存储你的数据 概述
Logstash 是一个功能强大的开源数据处理管道可采集、转换数据并将数据发送到各种输出。Logstash 是 Elastic Stack 的瑞士军刀被广泛用于日志和事件数据处理为数据采集提供了多功能的 ETL 工具。 主要功能和优势
Logstash 的突出功能之一是其丰富的插件生态系统支持各种输入、过滤和输出插件。这个广泛的插件库允许在数据处理中实现显著的自定义和灵活性。用户可以使用管道配置文件定义复杂的数据转换和丰富管道使其成为原始数据需要大量预处理的场景的理想选择。
请参阅下面的 Logstash 管道示例该管道从文件中提取访问日志使用过滤器丰富数据并将其发送到 Elasticsearch。
input {file {path /tmp/access_logstart_position beginning}
}filter {if [path] access {mutate { replace { type apache_access } }grok {match { message ${ COMBINEDAPACHELOG} }}}date {match [ timestamp, dd/MMM/yyyy: HH: mm:ss Z ]}
}output {elasticsearch {{cloud id cloud id› cloud_auth cloud auth}}
}
一个常见的用例是从数据库中提取数据。让我们以前面的示例为例并对其进行修改以使用 Logstash 的 JDBC 输入插件该插件允许你从任何具有 JDBC 接口的数据库例如 Oracle DB中提取数据。使用 SQL 查询你可以定义要提取的数据。
input {jdbc {jdbc_driver_library mysql-connector-java-5.1.36-bin.jarjdbc_driver_class com.mysql.jdbc.Driverjdbc_connection_string jdbc:mysql://localhost:3306/mydbjdbc_user mysqlparameters { favorite_artist Beethoven }schedule * * * * *statement SELECT * from songs where artist :favorite_artist}
}output {elasticsearch {{cloud id cloud id› cloud_auth cloud auth}}
}
Logstash 的另一个用例是结合使用 Elasticsearch 输入和输出插件这允许你将数据从一个 Elasticsearch 集群提取和迁移到另一个 Elasticsearch 集群。
input {elasticsearch {# Specify the host information of the source ES cluster. hosts [http://localhost:9200]# Specify auth for the source ES cluster. user xxxxxxpassword xxxxxxindex «source_index_namescroll 5msize 1000}
}
output {elasticsearch {# Specify the host information of the destination ES cluster. hosts [http://destination.cluster:9200]# Specify auth for the destination ES cluster. user xxxxxxpassword xxxxxxindex destination_index_nameaction indexscroll 5msize 1000}
} 最适合
Logstash 最适合在将数据索引到集群之前需要大量丰富数据或希望集中从各种来源获取数据的用例。但需要记住的一点是Logstash 确实需要你在基础设施中的某个 VM 中托管和管理它无论是本地还是云提供商。如果你正在为你的用例寻找更轻量级的东西请继续阅读以了解有关我们的语言客户端和连接器的更多信息 Elasticsearch 客户端 Elasticsearch 客户端是 Elastic 提供的官方库允许开发人员从他们喜欢的编程环境与 Elasticsearch 集群进行交互。这些客户端支持 Java、JavaScript、Python、Ruby、PHP 等语言提供一致且简化的 API 来与 Elasticsearch 进行通信。
我们的客户端提供众多优势可简化和增强你与 Elasticsearch 集群的交互。简化的 API、特定于语言的库、性能优化和全面支持使它们成为开发人员不可或缺的工具。这使开发人员能够根据你的特定需求构建强大、高效且可靠的搜索应用程序。
我们目前提供以下编程语言的语言客户端 Java Client Java Low Level REST Client JavaScript Client Ruby Client Go Client .NET Client PHP Client Perl Client Python Clients Rust Client Eland Client 原生连接器和连接器框架 https://www.elastic.co/guide/en/enterprise-search/current/connectors-apis.html
概述
Elastic Native Connectors 是 Elasticsearch 中的内置集成可帮助将数据从各种来源直接无缝传输到 Elasticsearch 索引中。这些连接器设计为开箱即用只需极少的设置和配置并针对 Elastic Stack 中的性能进行了优化。
除了我们的 Native Connectors我们还有 Elastic Connector Framework它使开发人员能够自定义现有的 Elastic 连接器客户端或使用我们基于 Python 的框架为不受支持的第三方数据源构建全新的连接器。 主要功能和优势
Elastic Native Connectors 最显著的优势之一是易于使用。你需要做的就是进入 Kibana 并使用我们简单的配置 UI 连接数据源或者如果你更喜欢配置为代码你可以使用我们的 Connector APIs。
我们的连接器的另一个强大优势是支持各种第三方的连接器数量例如
MongoDB各种 SQL DBMS例如 MySQL、PostgreSQL、MSSQL 和 OracleDBSharepoint OnlineAmazon S3还有更多。完整列表可在此处查看
我们的原生连接器支持完整和增量同步以及同步调度并且能够通过同步规则过滤要导入 Elastic 的数据。另一个强大的功能是能够将我们的导入管道与原生连接器结合使用这允许你在导入数据时对数据执行各种转换。这还包括使用推理管道供那些想要将这些文档中的文本向量化以执行语义搜索的人使用。 最适合
Elastic Native Connectors 为数据采集提供了许多好处包括与 Elastic Stack 的无缝集成、简化的设置、广泛的受支持数据源、优化的性能和强大的安全功能。这些优势使其成为希望简化数据采集流程和增强搜索功能的组织的绝佳选择。使用我们的连接器框架你还可以进一步定制现有的连接器或构建新的连接器。尽管如上所述该框架是基于 Python 的因此如果你想使用更熟悉的语言来采集数据我们建议你查看语言客户端。 总结
选择正确的数据采集工具取决于你的用例的具体需求以及数据所在的位置。Logstash 在需要通过集中采集进行复杂数据转换的场景中表现出色但确实带来了管理开销并且其配置文件也有些复杂。我们的 Elasticsearch 客户端让你可以最大程度地自由地使用你最熟悉的编程语言构建自己的采集功能。最后Elastic Native Connectors 为第三方数据源提供了简化的集成和管理而我们的 Connector Framework 允许与尚未支持的数据源进行自定义集成。
通过了解每种工具的优势和最佳用例你可以做出明智的决策确保你的数据得到有效采集、索引并准备好进行搜索从而能够更快、更准确地洞察以解决你的用例。
有关更深入的信息请查看 Logstash、Elastic Native Connectors Connector Framework 和我们的官方语言客户端的官方文档。
你可以使用来自任何来源的数据构建搜索。查看此网络研讨会以了解 Elasticsearch 支持的不同连接器和来源。 准备好亲自尝试一下了吗开始免费试用。 原文Elasticsearch Data Ingestion - Whats the Best Tool for the Job? — Elastic Search Labs
