Elasticsearch:使用反向地理编码在地图上显示自定义区域统计数据
2022年12月1日 | by mebius
在实际的许多应用中,我们可能并不一定按照行政区来进行划分区域,比如我们常说江浙一代,我们可以理解江苏和浙江这两个省合在一起,而不是把它们分开。我们有时也说长江三角区,它可能是跨几个省市的一个区域,而不是单纯的一个行政区。又或者,我们常说中原城市群这样的一个概念,它其实是指的在中原的一些城市一起加起来的一个区域。那么我们该如何对这些区域进行统计呢?
Elastic 地图应用带有预定义的区域,使你可以按指标快速可视化区域。比如你可以显示每个省,市,区的统计数据。Elastic 地图还提供绘制你自己的区域地图的功能。 你可以使用你喜欢的任何区域数据,只要你的源数据包含相应区域的标识符即可。
但是,当你的源数据不包含区域标识符时,你如何映射区域呢? 这就是反向地理编码(reverse gecoding)的用武之地。 反向地理编码是根据要素的位置将区域标识符分配给要素的过程。
在本教程中,你将使用反向地理编码按 Web 流量可视化美国人口普查局联合统计区 (CSA) 区域。你将学到:
- 上传自定义区域。
- 使用 Elasticsearch enrich 处理器进行反向地理编码。
- 创建地图并通过网络流量可视化 CSA 区域
当我们完成了本教程,你将看到如下的一个地图:
很显然在上面的地图中,所显示的 CSA 的各个区域和州的边界是不重合的,但是我们可以显示它们的统计数据。
在如下的展示中,我将使用最新的 Elastic Stack 8.5.2 来进行展示。
使用反向地理编码在地图上显示自定义区域统计数据
索引网络流量数据
GeoIP 是将 IP 地址转换为经度和纬度的常用方法。 GeoIP 在全球城市层面和选定国家/地区的社区层面大致准确。 它不如手机中的实际 GPS 位置好,但它比国家、州或省精确得多。
在今天的教程中,我们将使用 Kibana 自带的 web logs sample data set 来做练习。网络日志样本数据集有经度和纬度。 如果你的网络日志数据不包含经度和纬度,请使用 GeoIP 处理器将 IP 地址转换为 geo_point 字段。
我们按照如下的步骤来安装 sample data set:
这样我们的 Sample web logs 已经被安装好了。它在 Elasticsearch 中生成一个叫做kibana_sample_data_logs 的索引。
索引联合统计区域 (CSA) 区域
GeoIP 的详细程度对于推动决策制定非常有用。 例如,假设你想根据用户的位置开展营销活动,或者向高管利益相关者展示哪些都市区正在经历流量上升。美国的这种规模通常被人口普查局称为联合统计区 (CSA)。 CSA大致相当于人们如何直观地想到自己居住在哪个城区。 它不一定与州或城市边界重合。CSA 通常共享相同的电信提供商和广告网络。 新的快餐特许经营权扩展到 CSA,而不是特定的城市或自治市。 基本上,同一个 CSA 的人在同一个宜家购物。
要获取 CSA 边界数据,我们必须访问网站Census Bureau’s website。然后在该网站下载cb_2018_us_csa_500k.zip文件。
下载完后,我们对它进行解压缩:
$ pwd
/Users/liuxg/data/custom_regions
$ tree -L 2
.
├── cb_2018_us_csa_500k
│ ├── cb_2018_us_csa_500k.cpg
│ ├── cb_2018_us_csa_500k.dbf
│ ├── cb_2018_us_csa_500k.prj
│ ├── cb_2018_us_csa_500k.shp
│ ├── cb_2018_us_csa_500k.shp.ea.iso.xml
│ ├── cb_2018_us_csa_500k.shp.iso.xml
│ └── cb_2018_us_csa_500k.shx
└── cb_2018_us_csa_500k.zip
我们接下来创建一个 Map:
我们依次按照要求把上面解压缩的文件选择进来,并完成数据的上传:
我们接下来为地图添加一下 Tooltips 字段:
这样当我们把鼠标放到数据上时,我们可以看到它的 GEOID,AFFGEOID 及 NAME 信息。点击上面的 Save & close 按钮:
查看地图,你可以了解人口普查局眼中的都市区是什么。它显然和自然州的边界是不一样的。
反向地理编码
要通过 Web 日志流量可视化 CSA 区域,Web 日志流量必须包含 CSA 区域标识符。 你将使用 Elasticsearch enrich 处理器将 CSA 区域标识符添加到 Web 日志示例数据集中。 如果你的源数据已包含区域标识符,则可以跳过此步骤。
tgcode
在控制台中,创建一个 geo_match 丰富策略:
PUT /_enrictgcodeh/policy/csa_lookup
{
"geo_match": {
"indices": "csa",
"match_field": "geometry",
"enrich_fields": [ "GEOID", "NAME"]
}
}
这个意思其实就是通过匹配 geometry 这个字段,如果地理位置落在 geometry 所定义的范围,那么就从 csa 索引中提取 GEOID 及 NAME 两个字段并添加到自己的索引中。
要初始化策略,请运行:
POST /_enrich/policy/csa_lookup/_execute
要创建摄取管道,请运行:
PUT _ingest/pipeline/lonlat-to-csa
{
"description": "Reverse geocode longitude-latitude to combined statistical area",
"processors": [
{
"enrich": {
"field":tgcode "geo.coordinates",
"policy_name": "csa_lookup",
"target_field": "csa",
"ignore_missing": true,
"ignore_failure": true,
"description": "Lookup the csa identifier"
}
},
{
"remove": {
"field": "csa.geometry",
"ignore_missing": true,
"ignore_failure": true,
"description": "Remove the shape field"
}
}
]
}
要更新现有数据,请运行:
POST kibana_sample_data_logs/_update_by_query?pipeline=lonlat-to-csa
要在摄取时对新文档运行管道,请运行:
PUT kibana_sample_data_logs/_settings
{
"index": {
"default_pipeline": "lonlat-to-csa"
}
}
针对我们的情况,我们不需要运行上面的这个命令。我们只需要运行上面的 _update_by_query 这个命令即可。运行完后,我们可以在 Discover 中重新查看索引kibana_sample_data_logs:
我们可以在索引的文档中看到新增加的 csa.GEOID 及 csa.NAME 两个字段。我们甚至可以把当前的显示调整为:
我们可以看到有些文档没有相应的 GEOID 及 csa.NAME。它们表明它们不在 CSA 所覆盖的范围里。
按 Web 流量可视化组合统计区域 (CSA) 区域
现在我们的网络流量包含 CSA 区域标识符,你将按网络流量可视化 CSA 区域。我们进行如下的操作:
点击上面的 Add layer 按钮:
这样我们就能看出来 Web logs 在各个 CSA 区域里的情况了。
文章来源于互联网:Elasticsearch:使用反向地理编码在地图上显示自定义区域统计数据
相关推荐: Elasticsearch:如何将 Strava 数据导入 Elastic Stack
作者:Philipp Kahr 这是后续系列博文中的第一篇。 我将带你完成数据加载、操作和可视化的旅程。 什么是 Strava,为什么它是焦点? Strava 是一个平台,从业余到专业的运动员都可以在这里分享他们的活动。 我的 Apple Watch、Garm…