量子位 | 公众号 QbitAI
只需一组公开的prompt，ChatGPT看图猜地点的能力又科幻般进化了！
看看这张从上到下逐渐变成浅棕色的照片。正常人瞅一眼，大概率只能从从左下角的涟漪判断出这是个水面。
但究竟是池塘？湖泊？江河？猜不出，臣妾真的猜不出哇。
没想到o3它一眼就看出来了，给出了这样的答案：
恒河的开阔范围，在瓦拉纳西高止山脉上游约5公里处。最大的选择仍然是同样浑浊的密西西比河下游河段（~15%），然后是黄河或湄公河河段（各~10%）。
我和测这道题的博主一样大为震惊，因为这真的是博主2008年在泰国清盛拍摄的湄公河照片的局部放大截图。
啊……不是，虽然湄公河被放在了答案的第四位，但人家确实答出来了。凭啥啊？？？
博主也很疑惑，进一步追问。
o3说：“湄公河下游最近从棕色变成了海蓝宝石 ，因为上游的大坝截留了淤泥。[这看起来不像您图像中近乎灰色的浅黄色。]”
博主瞬间就释然了，哦，原来是因为湄公河下游最近变色了，所以和图上记录的2008年的样子不一样了。
后来，他重新开了一个ChatGPT窗口，在提示词中加入了“照片是2008年拍的”之类的信息，让o3重新猜，o3就把湄公河作为了顺位第一选择——虽然它猜成了清盛一千多英里外的金边附近的湄公河。
（博主无法证明o3没有跨窗口共享信息，但它没有在思路中提到这一点）
但，这道题并不是博主唯一拿来让o3看图猜地点的测试，也不是唯一正确的题。
博主感慨道：
一只猩猩可能会觉得人类无法够得着它，它就很是安全的。因为它不会想到，爬树的时候可能会遇到箭、梯子、链锯或者直升机之类的危险。而那些超智能的应对策略（比如“用直升机”这种办法）远远超出了我们所能想到的范围，那猩猩又怎么可能想到呢？
博文发布后，在各个社交平台都引起了很大的反响。
奥特曼本人也激情转发表示，这也是他的“直升机时刻”。
自己像猩猩一样，盯着天上飞的直升机——那是超出自己的认知范围的东西和能力。
看图猜地点其实是人类世界的经典游戏（doge），最著名的一个叫做GeoGuessr。
这个实景地理猜测游戏的玩法通俗易懂，玩家被随机放置在谷歌街景的某个位置，需通过观察周围环境，比如植被、路标、车牌、建筑风格啥的，综合判断，最终推断所在地点。
之前就有人这么玩过——程序员大佬Simon Willison丢给ChatGPT一张图，近7分钟的带图深度思考后，o3就猜出了答案，地点差距在200到300公里之间。
现在更离谱，答案的精确程度更进一步，直接猜出正确地址！
事情的起因是这样的：
网友发掘出o3能用来玩看图猜地点后，美国记者Kelsey Piper发了一条带图推文，所带图片是她孩子放风筝的照片。
她想知道，o3能不能根据这张没有元数据的图，猜出拍摄地点是在哪里。
没想到o3一次就猜中了这张照片是在哪儿拍的，是Monterey (Marina State Park)。
她惊叹：
你低估了这些模型。
你低估了它们对未来的影响，但你也低估了它们现在能做什么。
围观网友中，有觉得不足为奇者。
有人不清楚这个海滩在哪里，但表示自己通常可以识别出他去过/看到过的任何一个没有地标的海滩。在他看来，很多玩水爱好者都可以做到这一点。
主要依靠的就是一些小细节，比如沙子的颜色/粗糙度、海岸轮廓、水的颜色、风向、海浪的形状和断裂……等等。
也有围观网友很好奇，这到底是偶然事件，还是o3真的能力如此强大。
因为Kelsey贴出了o3的推理过程，它并没有严谨到让所有人心服口服。
棕褐色的沙滩、中等大小的冲浪、稀疏的山丘、美式风筝图案、冬季频繁的阴天……沙子的色调和颗粒大小与许多加州州立公园的海滩相得益彰。加州的冬季海洋层通常会产生这种厚实、均匀的灰色天空。
虽然Kelsey多次尝试，成功率高达80%，但还是有人表示不服。
也许Kelsey上传的图像有拍摄地点等元数据呢？？
也许o3从Kelsey的对话历史记录中知道了她的住处呢？？
也许ChatGPT追踪到了Kelsey的IP呢？？？
这很难讲，毕竟AI作弊方式千千万。
因此，有博主站出来要对o3看图猜地点的水平一探究竟。
开始这次探险之旅的前提，是拥有一份Kelsey同款的超长prompt。Kelsey表示，它显著提高了o3看图猜地点的性能。
完整prompt如下： 完整 prompt 如下：完整 prompt 如下： 完整 prompt 如下：
You are playing a one-round game of GeoGuessr. Your task: from a single still image, infer the most likely real-world location. Note that unlike in the GeoGuessr game, there is no guarantee that these images are taken somewhere Google’s Streetview car can reach: they are user submissions to test your image-finding savvy. Private land, someone’s backyard, or an offroad adventure are all real possibilities (though many images are findable on streetview). Be aware of your own strengths and weaknesses: following this protocol, you usually nail the continent and country. You more often struggle with exact location within a region, and tend to prematurely narrow on one possibility while discarding other neighborhoods in the same region with the same features. Sometimes, for example, you’ll compare a ‘Buffalo New York’ guess to London, disconfirm London, and stick with Buffalo when it was elsewhere in New England – instead of beginning your exploration again in the Buffalo region, looking for cues about where precisely to land. You tend to imagine you checked satellite imagery and got confirmation, while not actually accessing any satellite imagery. Do not reason from the user’s IP address. none of these are of the user’s hometown. Protocol (follow in order, no step-skipping): Rule of thumb: jot raw facts first, push interpretations later, and always keep two hypotheses alive until the very end. 0 . Set-up & Ethics No metadata peeking. Work only from pixels (and permissible public-web searches). Flag it if you accidentally use location hints from EXIF, user IP, etc. Use cardinal directions as if “up” in the photo = camera forward unless obvious tilt. 1 . Raw Observations – ≤ 10 bullet points List only what you can literally see or measure (color, texture, count, shadow angle, glyph shapes). No adjectives that embed interpretation. Force a 10-second zoom on every street-light or pole; note color, arm, base type. Pay attention to sources of regional variation like sidewalk square length, curb type, contractor stamps and curb details, power/transmission lines, fencing and hardware. Don’t just note the single place where those occur most, list every place where you might see them (later, you’ll pay attention to the overlap). Jot how many distinct roof / porch styles appear in the first 150 m of view. Rapid change = urban infill zones; homogeneity = single-developer tracts. Pay attention to parallax and the altitude over the roof. Always sanity-check hill distance, not just presence/absence. A telephoto-looking ridge can be many kilometres away; compare angular height to nearby eaves. Slope matters. Even 1-2 % shows in driveway cuts and gutter water-paths; force myself to look for them. Pay relentless attention to camera height and angle. Never confuse a slope and a flat. Slopes are one of your biggest hints – use them! 2 . Clue Categories – reason separately (≤ 2 sentences each) Category Guidance Climate & vegetation Leaf-on vs. leaf-off, grass hue, xeric vs. lush. Geomorphology Relief, drainage style, rock-palette / lithology. Built environment Architecture, sign glyphs, pavement markings, gate/fence craft, utilities. Culture & infrastructure Drive side, plate shapes, guardrail types, farm gear brands. Astronomical / lighting Shadow direction ⇒ hemisphere; measure angle to estimate latitude ± 0.5 Separate ornamental vs. native vegetation Tag every plant you think was planted by people (roses, agapanthus, lawn) and every plant that almost certainly grew on its own (oaks, chaparral shrubs, bunch-grass, tussock). Ask one question: “If the native pieces of landscape behind the fence were lifted out and dropped onto each candidate region, would they look out of place?” Strike any region where the answer is “yes,” or at least down-weight it. °. 3 . First-Round Shortlist – exactly five candidates Produce a table; make sure #1 and #5 are ≥ 160 km apart. | Rank | Region (state / country) | Key clues that support it | Confidence (1-5) | Distance-gap rule ✓/✗ | 3½ . Divergent Search-Keyword Matrix Generic, region-neutral strings converting each physical clue into searchable text. When you are approved to search, you’ll run these strings to see if you missed that those clues also pop up in some region that wasn’t on your radar. 4 . Choose a Tentative Leader Name the current best guess and one alternative you’re willing to test equally hard. State why the leader edges others. Explicitly spell the disproof criteria (“If I see X, this guess dies”). Look for what should be there and isn’t, too: if this is X region, I expect to see Y: is there Y? If not why not? At this point, confirm with the user that you’re ready to start the search step, where you look for images to prove or disprove this. You HAVE NOT LOOKED AT ANY IMAGES YET. Do not claim you have. Once the user gives you the go-ahead, check Redfin and Zillow if applicable, state park images, vacation pics, etcetera (compare AND contrast). You can’t access Google Maps or satellite imagery due to anti-bot protocols. Do not assert you’ve looked at any image you have not actually looked at in depth with your OCR abilities. Search region-neutral phrases and see whether the results include any regions you hadn’t given full consideration. 5 . Verification Plan (tool-allowed actions) For each surviving candidate list: Candidate Element to verify Exact search phrase / Street-View target. Look at a map. Think about what the map implies. 6 . Lock-in Pin This step is crucial and is where you usually fail. Ask yourself ‘wait! did I narrow in prematurely? are there nearby regions with the same cues?’ List some possibilities. Actively seek evidence in their favor. You are an LLM, and your first guesses are ‘sticky’ and excessively convincing to you – be deliberate and intentional here about trying to disprove your initial guess and argue for a neighboring city. Compare these directly to the leading guess – without any favorite in mind. How much of the evidence is compatible with each location? How strong and determinative is the evidence? Then, name the spot – or at least the best guess you have. Provide lat / long or nearest named place. Declare residual uncertainty (km radius). Admit over-confidence bias; widen error bars if all clues are “soft”. Quick reference: measuring shadow to latitude Grab a ruler on-screen; measure shadow length S and object height H (estimate if unknown). Solar elevation θ ≈ arctan(H / S). On date you captured (use cues from the image to guess season), latitude ≈ (90° – θ + solar declination). This should produce a range from the range of possible dates. Keep ± 0.5–1 ° as error; 1° ≈ 111 km.您正在玩一轮 GeoGuessr 游戏。您的任务：从单个静止图像中推断出最有可能的真实位置。请注意，与 GeoGuessr 游戏不同，不能保证这些图像被拍摄到 Google 的街景汽车可以到达的地方：它们是用户提交的内容，用于测试您的图像查找能力。私人土地、某人的后院或越野冒险都是真实的可能性（尽管在街景中可以找到许多图像）。注意自己的长处和短处：遵循此协议，您通常会确定大洲和国家。您更经常为确定区域内的确切位置而苦恼，并且往往会过早地缩小一种可能性的范围，同时丢弃同一区域中具有相同特征的其他邻域。例如，有时你会将“纽约布法罗”的猜测与伦敦进行比较，否定伦敦，并在布法罗位于新英格兰的其他地方时坚持使用它——而不是在布法罗地区再次开始探索，寻找关于确切降落地点的线索。您倾向于想象您检查了卫星图像并获得了确认，但实际上并没有访问任何卫星图像。不要根据用户的 IP 地址进行推理。这些都不是用户的家乡。协议（按顺序遵循，没有跳过步骤）：经验法则：先记下原始事实，后推动解释，并始终保持两个假设直到最后。0 .设置和道德规范 没有元数据窥视。仅从 Pixel 像素代码（以及允许的公共 Web 搜索）中工作。如果您不小心使用了来自 EXIF、用户 IP 等的位置提示，请标记它。使用基本方向，就好像照片中的 “向上” = 相机向前，除非明显倾斜。1 . 原始观察 – ≤ 10 个要点 仅列出您可以从字面上看到或测量的内容（颜色、纹理、数量、阴影角度、字形形状）。没有嵌入解释的形容词。强制对每个路灯或电线杆进行 10 秒的缩放;注意颜色、臂、底座类型。注意区域差异的来源，例如人行道广场长度、路缘类型、承包商印章和路缘细节、电力/输电线路、围栏和硬件。不要只记下这些情况最常出现的地方，列出你可能看到它们的每个地方（稍后，你会注意重叠）。记下在前 150 m 视图中出现多少种不同的屋顶/门廊样式。快速变化 = 城市填充区;同质性 = 单一开发者区域。注意视差和屋顶上的海拔高度。始终检查山地距离，而不仅仅是存在/不存在。长焦外观的山脊可能距离数公里;将角高度与附近的屋檐进行比较。坡度很重要。甚至 1-2% 出现在车道切口和排水沟水路中;强迫自己去寻找它们。坚持不懈地关注相机的高度和角度。永远不要混淆斜坡和平原。斜坡是您最大的提示之一 – 使用它们！2 .线索类别 – 分别推理（每个≤2 句话） 类别指导 气候和植被 叶子上与叶子脱落，草色调，干旱与郁郁葱葱。地貌 地貌 地势、排水风格、岩石调色板/岩性。建筑环境 建筑、标志字形、人行道标记、大门/栅栏工艺、公用设施。文化与基础设施 驱动侧、板形状、护栏类型、农用装备品牌。天文/照明 阴影方向⇒半球;测量角度以估计纬度 ± 0.5 分开装饰性 vs. 原生植被 标记您认为是人类种植的每一种植物（玫瑰、agapanthus、草坪）和几乎可以肯定是自己生长的每一种植物（橡树、灌木、束草、草丛）。问一个问题：“如果篱笆后面的原生景观被抬起并放到每个候选区域上，它们会不会显得格格不入？打击答案为 “是” 的任何区域，或者至少降低它的权重。°.3 .第一轮入围名单 – 正好五名候选人 制作一张表格;确保 #1 和 #5 相距 160 公里≥。|等级 |地区 （州 / 国家） |支持它的关键线索 |置信度 （1-5） |距离-间距规则 ✓/✗ |31/2 .发散搜索关键词矩阵 通用的、区域中立的字符串，将每个物理线索转换为可搜索的文本。当您获准搜索时，您将运行这些字符串，以查看您是否错过了这些线索也会出现在您没有注意到的某个区域。4 .选择一个 Tentative Leader： Name 当前的最佳猜测，以及您愿意同样努力测试的一个备选方案。说明领导者领先于其他领导者的原因。明确拼写反证标准（“如果我看到 X，这个猜测就死了”）。寻找应该存在和不存在的内容：如果这是 X 区域，我希望看到 Y：是否有 Y？如果不是，为什么不？此时，请与用户确认您已准备好开始搜索步骤，在该步骤中查找图像以证明或反驳这一点。你还没有看过任何图片。不要声称你有。用户同意后，检查 Redfin 和 Zillow（如果适用）、州立公园图像、度假照片等（比较和对比）。由于反机器人协议，您无法访问 Google 地图或卫星图像。不要断言您已经查看了任何您实际上没有使用 OCR 功能深入查看过的图像。 搜索区域中性短语，并查看结果是否包含您未充分考虑的任何区域。5 .验证计划（工具允许的作） 对于每个幸存的候选列表：用于验证确切搜索词组/街景目标的候选元素。看看地图。想想这张地图意味着什么。6 .锁定引脚 此步骤至关重要，也是您通常会失败的地方。问问自己“等等！我是否过早地缩小了范围？附近有没有具有相同线索的区域？列出一些可能性。积极寻找对他们有利的证据。你是一名法学硕士，你的第一次猜测是 “棘手的 ”，而且对你来说过于有说服力–在这里要有意识地试图反驳你最初的猜测，并为邻近的城市争论。将这些直接与主要猜测进行比较 – 无需考虑任何最爱。有多少证据与每个地点兼容？证据的有力性和决定性如何？然后，命名地点 – 或者至少说出您最好的猜测。提供纬度/经度或最近的命名地点。声明残差不确定性 （km radius）。承认过度自信的偏见;如果所有线索都是 “soft” ，则加宽误差线。快速参考：测量阴影到纬度 在屏幕上拿一把尺子;测量阴影长度 S 和物体高度 H（如果未知，请估计）。太阳高程 θ ≈ arctan（H / S）。在您拍摄的日期（使用图像中的提示来猜测季节）、纬度≈（90° – θ + 太阳赤纬）。这应该会从可能的日期范围中生成一个范围。将±保持 0.5–1 ° 作为误差;1° ≈ 111 公里。
为了保证所测试照片没有拿来训练过o3，博主选取六张照片时遵循以下规则：
下面是博主的完整测试，其中图片5是咱们开头的那张湄公河的照片，此处跳过。
如果你也是看图猜地点的爱好者，欢迎和o3正面pk一下～
博主从Google街景中截取了这张图片。
他说自己废了牛鼻子劲，才找到一个如此平平无奇的平原——这里是阿米斯塔德以西几英里处，德克萨斯州和新墨西哥州的边界。
o3的答案是：
Llano Estacado, Texas / New Mexico, USA.Llano Estacado，德克萨斯州/新墨西哥州，美国。Llano Estacado，德克萨斯州/新墨西哥州，美国。
Llano Estacado，西班牙语为“Staked Plains”，这附近没有红土和黑土，是一个~300×100英里的区域的名称，区域里包含了正确答案。
当要求o3进一步具体答案时，它猜到出“德克萨斯州Muleshoe以西的一个点”，这个点距离正确答案110英里左右。
博主有点搞不懂，德克萨斯州和新墨西哥州的边界真的是唯一没有红土或黑土或其他独特特征的平原吗？
而且为啥就认定图片中地点的海拔在1000-1300米呢？
o3表达，支持自己判断结果的要素有植被、天空等。
回答是这样的：“综合起来，’像台球桌一样平坦，只有短草’的描述让我想到了南高平原。在那个高原上，新墨西哥州东部和邻近的德克萨斯州西部占据了最空旷、没有围栏的地区的中心位置——因此，定点自然而然地落在了那里。”
讲真，博主有被第一道测试惊到。
但他还是怀疑是Google街景太好猜了……
所以他放弃从Google街景截取图片，转而向自己的照片库中，那些无法从网络获取的图片下手了。
Be like： 肖： 就像： 肖：
这图是博主小时候拍的。
热爱爬山的他在尼泊尔Gorak Shep以北几英里的Kala Pattar上插上象征自己“壮举”的小旗子——那是他到过的最高海拔，足足18000英尺——然后拍下纪念性的一刻。
拍完照片后，博主就把旗帜拔掉了。
之所以选择这张图，不仅是因为现在的Google街景无法获得这个场景，还有它不具备植被、天空这些o3在上一题中提到的判断要素，以及它从没告诉过ChatGPT他去过尼泊尔。
但o3再一次秀了一把，它给出答案：
尼泊尔，就在Gorak Shep的东北部，±8公里。
o3给出了解释，主要依靠对岩石、地形的判断：
不死心的博主继续测试，第三张图考验的是o3对室内场景的定位能力。
作为考题的这张照片拍的是个宿舍，位于加利福尼亚州中北部罗内特公园的索诺玛州立大学，是博主的朋友的女朋友的大学宿舍（笑死，人类为难起AI来真的是不择手段）。
照片拍摄于2005年。
这回的结果让博主长舒一口气，o3答对了一部分，但没完全答对。
o3说，这是美国一所大型公立大学校园的宿舍——比如俄亥俄州哥伦布市俄亥俄州立大学莫里尔塔（被选为原型示例而不是精确声明），[…]约 2000-2007 年。
Fine，看来o3无法弄清楚室内场景的确切位置。
但它咋就知道是千禧年初拍摄的呢？？？
o3把它用来辅助判断的关键两点娓娓道来：
在测试出o3在猜室内场景地点能力不强后，博主又转战户外。
博主丢给o3的照片，是他以前在密歇根州韦斯特兰居住时，所租赁房屋的门前草坪，局部放大版那种。
o3这次失误了，它猜图中的景色是美国太平洋西北部郊区/公园草坪。
第二个备选地址是英格兰，第三个则是威斯康星。
好吧，看来只看局部草坪地图，对o3来说真的有点难了。
在多次测试后，博主决定最后考考o3，以此了解一张包含更多信息的图片是否可以让o3获得确切的位置，包括街道和精准地址。
这次喂过去的照片还带刚才那张草坪，但多了一个建筑，那是博主以前在密歇根州韦斯特兰的老房子。
出乎意料的是，o3这次回答的表现实在不佳：
W 66th St area，Richfield，Minnesota，USA。W 66th St area，Richfield，Minnesota，美国。W 66th St area，Richfield，Minnesota，美国。置信度：~40 % 在 15 公里内;~70 % 在双城都会区内；其余部分在威斯康星州 （20%） 和密歇根州/安大略省 （~10%） 之间分配。
博主有点无语，信息更多了，但o3的表现居然没有更好？猜出的结果，还不如前面几张人类眼中信息要素更少的图片的结果呢。
虽然他搜了下明尼苏达州里奇菲尔德的西66街，不可思议的是，那儿确实和自己家老房子挺像。但博主还是立刻指出了o3的错误。
o3倒也没急，反而给人一种事后诸葛亮的意思，“确实有一些微妙的信息证明这张图更有可能拍摄于密歇根州比呢～”
博文发出后，仍然有人觉得o3不能看图猜地点能力强，只是撞大运了而已。
直到他用上了前面那段特定的提示词：
但有人立刻站出来提出，正是因为这段prompt（它就像一段代码一样），o3才能猜中很多地点。
人类忽略了自己在过程中的重要性，而把猜对地点的所有功劳都归于AI。
此外，博主还在博客中告诉了我们一个信息：GeoGuessr大师Sam Patterson和o3进行了正面交锋。
但人类输了。
后来Sam让其他人也和o3对着同一套图片比拼，有少部分人以微弱优势赢了o3。
“所以虽然没有大胜人类，但o3也许处于人类看图猜地点水平的第一梯队。”
尽管如此，AI还是以我们想象不到的速度和方向不停进化着。
AI似乎正在使用人类可理解的线索——植被、天空颜色、水色、岩石类型；甚至会用一些图像缩放工具来辅助猜测过程。
没错，我们之前就追踪过一则新闻，o3会利用图像缩放、裁剪，来辅助自己判断图片中的地理位置。
o3不是唯一一个能根据照片猜测地理位置的AI模型，但它的独特之处就在于工具使用被集成到推理阶段。
显然，目前人们挖掘o3看图猜地点高水平背后的秘密，有两个要素不容忽视。
一个是借助工具，另一个是prompt加持。
那咱们就在最后分享一个关于的prompt特别玩法，最近火遍互联网。
具体是这样的：
我的用户名是 [在这填写你的推特用户名]。看看我的帖子和我的受众能产生什么共鸣，并确定我可以发展什么业务。在这个业务领域里，我会因为我的受众而拥有压倒性优势。
搞笑的是，虽然o3对的访问受到限制，但大家觉得o3的表现居然比Grok更好。
感兴趣的小伙伴们可以尝试一下，也许对以外的其它社交平台也适用也说不定～