1. 项目缘起从“数据在哪”到“价值在哪”的实战跨越最近在做一个城市商业分析的项目客户抛来一个很实际的问题“能不能看看我们这个区域周末下午哪些地方人流量最大消费潜力最高” 这个问题听起来简单但背后需要的是实打实的人流热力数据。公开的统计报告太宏观商业数据采购又太贵这时候腾讯位置大数据LBS就进入了我的视野。它基于微信、QQ、腾讯地图等海量应用能提供匿名化、聚合后的用户位置与流量数据对于区域洞察、商业选址、城市规划来说是个宝藏。但宝藏往往不是打开就能用的。直接拿到的数据更像是刚从矿场挖出来的原石混杂着各种“杂质”坐标漂移、异常值、格式不统一、时间序列断裂…… 不经过一番精细的“切割”与“打磨”根本无法进行有效的可视化分析更别提支撑决策了。所以这个项目就不仅仅是“获取数据”核心挑战在于“获取后的那一地鸡毛怎么收拾”以及“收拾干净后如何让它开口说话”。这就是数据清洗与可视化的价值所在——将原始的位置大数据转化为清晰、直观、有业务洞察力的视觉故事。本文将基于Python技术栈完整复盘我从腾讯位置大数据开放平台获取数据到最终完成可视化分析的全过程。我会重点分享在数据清洗环节遇到的那些“坑”以及如何用Pandas、GeoPandas等工具高效跨过去最后通过Pyecharts和Folium打造出静态与交互式兼备的可视化看板。无论你是数据分析师、商业分析师还是对空间数据感兴趣的程序员这套从数据到洞察的实战流水线都能给你提供直接的参考。2. 数据获取叩开腾讯位置大数据的大门腾讯位置大数据主要面向企业开发者通过其位置服务开放平台提供。个人开发者或小团队进行学习和原型验证通常可以申请试用或使用其提供的部分公开样例数据。这里我以申请商业选址相关的“人流热力”数据为例说明关键步骤。2.1 平台准备与密钥申请首先访问腾讯位置服务官网注册并完成开发者认证。在控制台中你需要创建一个应用这个应用会获得一个唯一的key这是所有API调用的通行证。注意腾讯位置大数据相关的高级API如人流热力、画像分析通常需要额外的权限申请。你需要提交详细的使用场景说明审核通过后相应的服务才会对你的key生效。这个过程可能需要几个工作日。申请时明确你的使用场景非常重要。例如如果你说是用于“城市商业热度分析”那么你获得的数据维度可能就包括特定区域经纬度围栏内不同时间段如小时级的客流指数、停留时长、来源地分布等。这些维度直接决定了后续分析和可视化的方向。2.2 API调用与数据拉取实战假设我们已经成功申请到了“区域人流热力”API的权限。其核心是向一个特定的接口发送HTTP GET请求携带你的key、目标区域经纬度、时间范围等参数。一个典型的请求URL构造如下参数为示例import requests import pandas as pd from datetime import datetime, timedelta # 你的腾讯位置服务密钥 your_key “YOUR_TENCENT_LBS_KEY” # 目标区域矩形围栏左下角右上角经纬度 bounds “39.9,116.3,40.0,116.4” # 查询日期通常是T-1的数据 query_date (datetime.now() - timedelta(days1)).strftime(“%Y%m%d”) url f“https://api.map.qq.com/ws/datavis/v1/heatmap?key{your_key}boundary{bounds}date{query_date}data_type1” response requests.get(url) data response.json()这里data_type参数是关键它指定了数据的类型。1可能代表实时热力2可能代表常住人口热力具体值需要查阅最新的官方API文档。永远不要依赖过时的博客代码直接去官网查文档是避免踩坑的第一步。API返回的数据通常是JSON格式。一个简化后的响应结构可能长这样{ “status”: 0, “message”: “OK”, “result”: { “boundary”: “39.9,116.3,40.0,116.4”, “date”: “20231027”, “data”: [ { “location”: “116.35,39.95”, “intensity”: 85, “time_slot”: “1400” }, // ... 更多数据点 ] } }每个数据点包含了经纬度location、热力强度intensity和时间片time_slot如“1400”代表14:00-15:00。我们将这些数据解析并存入Pandas DataFrame这是后续所有操作的起点。if data[‘status’] 0: records data[‘result’][‘data’] df_raw pd.DataFrame(records) # 拆分经纬度字段 df_raw[[‘lng’, ‘lat’]] df_raw[‘location’].str.split(‘,’, expandTrue).astype(float) df_raw.drop(columns[‘location’], inplaceTrue) print(df_raw.head()) else: print(f“请求失败: {data[‘message’]}”)实操心得一速率限制与分块抓取。腾讯API一定有调用频率和次数限制。如果你需要大范围如整个城市或多日的数据直接请求一个巨大区域往往会超限或被拒。正确的做法是“化整为零”将目标大区域划分为多个不重叠的小网格比如1km x 1km。循环遍历每个小网格调用API获取数据。在每个请求之间加入time.sleep(1)或更长的间隔以示友好。将所有小网格的数据在内存或临时文件中拼接起来。这不仅是遵守规则也是保证数据抓取稳定性的关键。3. 数据清洗从“脏数据”到“干净数据”的炼金术拿到df_raw后真正的挑战才开始。原始数据往往存在多种问题直接可视化会导致结果失真甚至错误。3.1 缺失值与异常值处理识别“沉默的坑”与“尖叫的噪音”首先检查缺失值print(df_raw.isnull().sum())对于位置大数据如果经纬度或热力强度缺失这条记录基本就失去了空间分析的价值通常选择直接删除df_clean df_raw.dropna(subset[‘lng’, ‘lat’, ‘intensity’])。异常值处理则更需要技巧。热力强度intensity的异常可能有两种极低值比如为0或负数。这可能是设备信号丢失或数据聚合时的错误。我们可以将其视为缺失值并删除或者如果业务允许用相邻时间或空间点的均值进行填充。极高值比如远高于其他数据几个数量级。这可能是“幽灵点”如基站定位漂移到水域或山区或真实热点如大型演唱会散场。如何区分我的经验是结合地理信息进行判断。使用GeoPandas将数据点转换为地理数据框并叠加底图如行政区划。import geopandas as gpd from shapely.geometry import Point # 创建几何列 geometry [Point(xy) for xy in zip(df_clean[‘lng’], df_clean[‘lat’])] gdf gpd.GeoDataFrame(df_clean, geometrygeometry, crs“EPSG:4326”) # WGS84坐标系 # 加载北京市区域边界示例 # beijing_gdf gpd.read_file(‘beijing_boundary.geojson’) # 进行空间连接找出落在区域外的点 # gdf_within gpd.sjoin(gdf, beijing_gdf, how“inner”, predicate“within”) # 区域外的点可能就是需要处理的异常点如果一个超高热力点落在公园湖泊中央那它很可能是异常值如果落在大型交通枢纽则需要结合其他数据如POI信息进一步确认。对于数值型异常我常用“分位数法”进行盖帽Capping处理Q1 df_clean[‘intensity’].quantile(0.01) # 使用1%和99%分位数对极端值更敏感 Q3 df_clean[‘intensity’].quantile(0.99) IQR Q3 - Q1 lower_bound Q1 - 1.5 * IQR upper_bound Q3 1.5 * IQR df_clean[‘intensity’] df_clean[‘intensity’].clip(lower_bound, upper_bound)3.2 坐标纠偏与坐标系统一让每个点“站对位置”这是一个极易被忽略但至关重要的问题。腾讯地图API返回的经纬度默认采用的是GCJ-02坐标系俗称“火星坐标系”。而我们在互联网上获取的很多开源地理数据如GeoJSON格式的行政区划或者使用Folium做底图时通常使用的是WGS-84坐标系GPS标准坐标系。两者之间存在非线性偏移直接混用会导致数据点“飘”到地图错误的位置。必须进行坐标转换。有成熟的库可以解决例如coord-convert或transbigdata。# 使用 transbigdata (推荐专为城市数据设计) import transbigdata as tbd # 假设 df_clean 中的 lng, lat 是 GCJ-02 坐标 df_clean[‘lng_wgs84’], df_clean[‘lat_wgs84’] tbd.gcj02towgs84(df_clean[‘lng’].values, df_clean[‘lat’].values) # 后续分析使用转换后的 WGS-84 坐标 gdf gpd.GeoDataFrame(df_clean, geometrygpd.points_from_xy(df_clean[‘lng_wgs84’], df_clean[‘lat_wgs84’]), crs“EPSG:4326”)提示务必在数据清洗的早期就完成坐标系转换和确认并明确标注数据框中每个坐标字段所用的坐标系。这是所有空间分析正确性的基石。3.3 时间字段规整与粒度调整原始数据中的time_slot字段可能是“1400”这样的字符串。我们需要将其转换为更易处理的时间类型并可能根据分析需求调整时间粒度。# 将字符串转换为时间戳 df_clean[‘time_slot’] pd.to_datetime(df_clean[‘date’] df_clean[‘time_slot’], format‘%Y%m%d%H%M’) # 按小时聚合如果原始是15分钟粒度 df_hourly df_clean.groupby([‘lng_wgs84’, ‘lat_wgs84’, pd.Grouper(key‘time_slot’, freq‘H’)])[‘intensity’].mean().reset_index() # 衍生新的时间特征便于分析 df_hourly[‘hour_of_day’] df_hourly[‘time_slot’].dt.hour df_hourly[‘is_weekend’] df_hourly[‘time_slot’].dt.dayofweek 5通过这样的处理我们就可以轻松分析“工作日早高峰 vs 周末午后”的热力模式差异。实操心得二清洗流程管道化。上述清洗步骤去重、去空、纠偏、转换、聚合应该被封装成一个可复用的函数或Pipeline。这样当你需要处理新的批次数据或者调整某个清洗参数时只需要运行这个管道即可保证了处理过程的一致性和高效性。def clean_tencent_lbs_data(raw_df): “”“腾讯位置大数据清洗管道”“” df raw_df.copy() # 步骤1: 处理缺失值 df df.dropna(subset[…]) # 步骤2: 坐标转换 df[‘lng_wgs84’], df[‘lat_wgs84’] tbd.gcj02towgs84(…) # 步骤3: 异常值处理 df[‘intensity’] cap_outliers(df[‘intensity’]) # 步骤4: 时间规整 df[‘datetime’] pd.to_datetime(…) # 步骤5: 返回清洗后的GeoDataFrame gdf gpd.GeoDataFrame(df, geometrygpd.points_from_xy(df[‘lng_wgs84’], df[‘lat_wgs84’]), crs“EPSG:4326”) return gdf4. 可视化呈现静态报告与交互探索双线作战数据清洗完毕终于到了展示成果的阶段。我通常采用“静态交互”的组合拳用Pyecharts生成精美的静态报告图表用于PPT或文档用Folium制作交互式网页地图用于深度探索和演示。4.1 时空热力图用Pyecharts讲述动态故事Pyecharts非常适合制作时间轮播热力图它能生动展示热力在一天内的变化。from pyecharts import options as opts from pyecharts.charts import HeatMap, Timeline import pyecharts.options as opts # 准备数据格式为 [lng, lat, intensity] hourly_data {} for hour in range(24): hour_df df_hourly[df_hourly[‘hour_of_day’] hour] data hour_df[[‘lng_wgs84’, ‘lat_wgs84’, ‘intensity’]].values.tolist() hourly_data[hour] data # 创建时间线轮播图 timeline Timeline() for hour, data in hourly_data.items(): heatmap ( HeatMap(init_optsopts.InitOpts(width“1000px”, height“600px”)) .add_xaxis([d[0] for d in data]) # 经度列表 (需要是数值) .add_yaxis( series_name“热力强度”, yaxis_data[d[1] for d in data], # 纬度列表 value[d[2] for d in data], label_optsopts.LabelOpts(is_showFalse), ) .set_global_opts( title_optsopts.TitleOpts(titlef“城市人流热力分布 - {hour:02d}:00”), visualmap_optsopts.VisualMapOpts( min_df_hourly[‘intensity’].min(), max_df_hourly[‘intensity’].max(), is_piecewiseTrue, pos_top“middle”, pos_left“left”, orient“vertical” ), tooltip_optsopts.TooltipOpts(formatter“{b}: {c}”), ) ) timeline.add(heatmap, f“{hour:02d}:00”) timeline.add_schema(is_auto_playTrue, play_interval1000) # 自动播放间隔1秒 timeline.render(“hourly_heatmap_timeline.html”)这段代码会生成一个HTML文件打开后可以看到一个随时间轮播的热力图清晰展示出核心商圈从清晨的冷清到午间的活跃再到夜晚娱乐区亮起的过程。4.2 交互式地图用Folium实现“指哪打哪”静态图适合展示结论交互式地图则适合探索过程。Folium基于Leaflet.js可以轻松创建可缩放、可点击的在线地图。import folium from folium.plugins import HeatMap # 以数据范围的中心点初始化地图 center_lat df_clean[‘lat_wgs84’].mean() center_lng df_clean[‘lng_wgs84’].mean() m folium.Map(location[center_lat, center_lng], zoom_start13, tiles‘CartoDB positron’) # 准备热力图数据 [纬度, 经度, 强度] heat_data df_clean[[‘lat_wgs84’, ‘lng_wgs84’, ‘intensity’]].values.tolist() # 添加热力图层 HeatMap(heat_data, radius15, blur10, max_zoom1).add_to(m) # 可以添加标记点或区域框选来展示具体信息 # 例如标记出强度最高的前5个点 top5 df_clean.nlargest(5, ‘intensity’) for idx, row in top5.iterrows(): folium.CircleMarker( location[row[‘lat_wgs84’], row[‘lng_wgs84’]], radius8, popupf“强度: {row[‘intensity’]:.0f}br时间: {row[‘time_slot’]}”, color‘red’, fillTrue, ).add_to(m) # 保存为交互式HTML文件 m.save(‘interactive_heatmap.html’)生成的interactive_heatmap.html可以直接在浏览器中打开。你可以缩放地图查看细节鼠标悬停在热力区域上能看到大致强度点击红色标记点可以弹出具体数值和时间。这种形式在向非技术背景的客户或同事汇报时尤其有效。4.3 多维仪表板集成分析视图单一图表的信息量有限。我们可以使用Dash或Streamlit这类框架将热力图、时间序列折线图、区域对比柱状图等集成在一个仪表板中。 例如用Streamlit快速搭建import streamlit as st import plotly.express as px st.title(‘腾讯位置大数据分析看板’) # 侧边栏选择时间 selected_hour st.sidebar.slider(‘选择小时’, 0, 23, 12) filtered_df df_hourly[df_hourly[‘hour_of_day’] selected_hour] # 主区域显示热力图 fig_map px.density_mapbox(filtered_df, lat‘lat_wgs84’, lon‘lng_wgs84’, z‘intensity’, radius10, centerdict(latcenter_lat, loncenter_lng), zoom12, mapbox_style“carto-positron”) st.plotly_chart(fig_map, use_container_widthTrue) # 下方显示24小时趋势线 trend_df df_hourly.groupby(‘hour_of_day’)[‘intensity’].mean().reset_index() fig_trend px.line(trend_df, x‘hour_of_day’, y‘intensity’, title‘全天平均热力趋势’) st.plotly_chart(fig_trend, use_container_widthTrue)这样使用者通过拖动滑块就能实时观察不同时段的热力分布变化并结合趋势图把握整体规律。实操心得三可视化服务于洞察而非炫技。在选择图表类型时始终要问自己我想通过这个图表回答什么问题比较不同区域的强度用柱状图。展示时间变化趋势用折线图。显示地理分布用热力图或散点图。避免使用过于复杂、难以理解的图表。颜色搭配也要讲究热力图通常采用从冷色蓝到暖色红的渐变色直观表示从低到高。5. 从数据到决策分析案例与业务解读清洗和可视化是手段最终目的是驱动决策。这里分享一个简单的分析案例。场景为一家连锁咖啡店的新店选址提供数据参考。过程数据获取与清洗获取目标城市过去一年周末下午时段14:00-17:00的人流热力数据按前述流程清洗。热点识别通过Folium热力图识别出几个稳定的高热度区域如核心商圈、大学城、大型社区中心。竞品分析叠加将这些高热度区域的边界作为兴趣区域AOI调用腾讯地图的POI搜索API获取区域内现有的咖啡店星巴克、瑞幸等位置并在地图上以不同图标标记。空白机会点发现在地图上直观寻找“高热度但咖啡店密度低”的区块。例如发现A商圈东北角热度很高但500米内只有一家咖啡店。人群画像辅助如果权限允许进一步查询该区块的人群画像数据如年龄分布、消费水平判断是否与目标客群匹配。输出报告结合热力图、POI分布图和数据表格形成一份报告明确指出“建议优先考察A商圈东北角地块该处周末午后客流密集竞品覆盖不足且人群画像与我们的目标客户契合度高。”通过这个流程腾讯位置大数据就从一堆冰冷的坐标和数字变成了有温度、有指向性的商业洞察。整个项目的价值链条也得以完整呈现获取 - 清洗 - 可视化 - 分析 - 决策。回过头看这个项目的核心难点不在于调用API或者画图而在于中间的数据清洗和业务逻辑转换。如何判断一个数据点是否可信如何将坐标偏移纠正如何将时间序列数据聚合成有业务意义的维度这些问题没有标准答案需要根据具体的业务场景和数据质量反复试验和调整。这也是数据工作的魅力所在——它既是科学也是艺术。
