智能手机用户经常对自己的手机使用方式感到后悔，尤其是对社交媒体的使用。然而，由于社交媒体应用功能和用户意图的复杂性，要准确指出界面设计在哪些具体方面导致了令人后悔的使用行为是一项挑战。
我们开展了一项为期一周的研究，共有 17 名安卓手机用户参与。研究中采用了一种新方法：每 5 秒被动收集一次用户的屏幕截图，并利用多模态大语言模型对这些截图进行分析，从而以细致入微的方式了解参与者的使用行为。我们将这一数据与体验抽样法（experience sampling）、问卷调查以及访谈数据进行三角验证，发现用户的后悔情绪会根据其使用意图而有所不同，尤其是在非主动意图驱动下或使用社交媒体时更容易产生后悔情绪。
此外，不同类型的社交媒体活动引发的后悔感也不同；参与者最常对自己浏览算法推荐内容和评论的行为感到后悔。同时，当用户原本意图是进行直接沟通（如发消息或打电话）时，却频繁转向浏览社交媒体，这种行为的小幅增加也略微提升了他们的后悔程度。
我们的研究结果为设计师和政策制定者提供了有益指导，有助于改善用户的体验和自主性。