news 2026/4/3 4:31:19

spark读hive偶尔出现table not found

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
spark读hive偶尔出现table not found

1、问题发现:

在spark环境调试业务过程中,出现table not found问题,重跑之后改问题又消失,后面发现有一定概率出现该问题

2、问题定位:

spark环境中是通过hive-site连接hive hive.metastore,查看hive.metastore.uris配置,发现该配置为3个实例

<property>
<name>hive.metastore.uris</name>
<value>thrift://ip1:9083,thrift://ip2:9083,thrift://ip3:9083</value>
</property>

问题随机发生的原因,猜测可能是不同元数据实例之间数据不同步问题

3、问题分析

查看spark环境连的是哪个uri,多次测试后发现,连接到ip1:9083和ip3:9083时,会出现table not found。连接到ip2:9083时无问题。

spark.sql("show databases").show(false) # 查看hive metastore连接地址 netstat -tpn | grep pid | grep 9083

4、问题解决

临时使用ip2:9083,同步排查thrift://ip1:9083,thrift://ip2:9083,thrift://ip3:9083不同步的原因

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/1 1:06:29

辽宁省企业如何做信创产品认证?信创认证流程与费用详解

在信创产业快速发展的当下&#xff0c;信创产品认证已成为各科研企业证明自身技术实力与合规性的关键环节。对于辽宁省内信创产品认证企业而言&#xff0c;清晰了解并顺利通过信创产品认证&#xff0c;不仅是打开政府采购及关键行业市场的必要条件&#xff0c;更是提升信创产品…

作者头像 李华
网站建设 2026/4/1 13:19:55

LobeChat安全与权限管理实战解析

LobeChat 安全与权限管理实战解析 在 AI 聊天应用日益普及的今天&#xff0c;一个看似简单的对话界面背后&#xff0c;往往隐藏着复杂的安全挑战。当 LobeChat 这类开源框架被部署于企业内部、团队协作甚至多租户 SaaS 环境中时&#xff0c;如何确保用户数据不被越权访问&#…

作者头像 李华
网站建设 2026/4/2 10:42:26

CSDN 技术分享:浏览器指纹检测、识别与防护全流程解析

在互联网时代&#xff0c;大家都知道保护隐私很重要&#xff0c;但你是否听说过“浏览器指纹”&#xff1f;其实&#xff0c;它就是一种能在不使用 cookies 的情况下&#xff0c;识别你上网设备和浏览习惯的技术。 换句话说&#xff0c;即使你清空了浏览器缓存或切换了 IP&…

作者头像 李华
网站建设 2026/3/30 23:33:20

深入理解 git cherry-pick 的本质机制

深入理解 git cherry-pick&#xff1a;它不是合并&#xff0c;而是“补丁粘贴” 很多开发者在使用 git cherry-pick 时&#xff0c;会下意识地认为它和 git merge 类似&#xff0c;是一种“合并代码”的操作。 这是一个非常常见、但也非常危险的误解。 结论先行&#xff1a;gi…

作者头像 李华
网站建设 2026/3/29 19:51:20

Nano Banana Pro 如何重塑 AI 驱动的教育未来

在传统的教育和知识传播中&#xff0c;最大的挑战在于如何将抽象的概念转化为学生能够直观理解的具象化内容。复杂的科学原理、抽象的数学公式、以及历史事件的场景重现&#xff0c;往往受限于教材的印刷、视频制作的成本和教师的表达能力。 谷歌的 Nano Banana Pro&#xff0…

作者头像 李华
网站建设 2026/3/28 21:52:11

银狐远控一键编译调试与开发教程

特别申明&#xff1a; 本文内容仅限于用作技术交流&#xff0c;请勿使用本文介绍的技术做任何其他用途&#xff0c;否则后果自负&#xff0c;与本号无关。 最近由于工作需要&#xff0c;研究了一下银狐的源码&#xff0c;不得不说&#xff0c;虽然整套代码的风格不是那么优雅&…

作者头像 李华