sysbench prepare插入数...
 
通知
清除全部

sysbench prepare插入数据阶段报告high VMEM usage


kline
帖子: 1
Topic starter
初出茅庐
已加入: 4月 前

机器节点配置

1个master,2个数据节点,配置均为4核8GB,分配给gp的数据磁盘空间均为64GB

 

执行的命令:

sysbench --config-file=gp.conf oltp_point_select --threads=256 --tables=32 --table-size=100000000 prepare

执行一段时间后,开始断断续续地输出如下错误:

FATAL: PQexec() failed: 7 Canceling query because of high VMEM usage. Used: 1044MB, available 814MB, red zone: 7372MB (runaway_cleaner.c:202)
FATAL: failed query was: INSERT INTO sbtest14(k, c, pad) VALUES(53683890, '31374338602-70711437781-35421585804-27450381534-76710143258-00030537512-63852062883-66776529508-15427297454-13233774102', '15109961924-52017834408-25863216228-33343138435-55467463809'),(50061249, '44002754719-43903941333-76119073506-48747766525-30315314420-30642411565-00700678501-10173994016-40375524921-54839296658', '80678934693-44267760915-01999325341-78425851118-21505443931'),(50240937, '35424880348-33427247852-62305723975-75504503085-57936793009-91677312412-37888791887-54902492774-10616539803-10663313866', '38981001322-79221874751-41231576449-88422465859-25000035277'),(50245179, '50128480988-47504825793-47894860063-97635315383-70487872602-83492211454-33753899518-51611218839-01409518704-79900365832', '29899314127-35165610763-47260332007-37502977403-06111514470'),(68351279, '45470770963-97888988712-63540588249-79879712058-39647338740-06439692491-26882493887-58957107894-94912083752-45069930931', '02407823670-92932412752-73083813074-71317308254-30060536803'),(58951749, '40612159788-25745159184-91802204456-11177199500-39424320295-35410366578-55289471214-98932502834-17090906678-72858604565', '47369390801-56366686570-19203886631-15923029737-64401374144'),(50499598, '47769564068-73964427918-08006371504-14357310408-59880715441-80127508263-12862975375-49546770859-92816794155-56072023308', '70556443108-16601091065-78793548755-38099570935-00694837636'),(61395366, '86425795423-80168481872-69584727334-26142267884-24303659354-52208032474-04133110660-95416640905-17025315021-50144362235', '01585147559-42524317044-29639724439-76651375875-68132833174'),(49963086, '84237188729-39049717961-98410274806-00466476653-64599253300-80613317852-43277648647-96347070319-92009461085-12685197558', '20224346212-79161272337-39162421441-31879645561-87058709110'),(50115064, '06221033221-94752723253-11378708504-86149008489-55017960539-18830626800-52272943259-70817958961-37595168602-31732657739', '52183983399-95334953782-83213822278-93305512317-50549064941'),(50306492, '53737352104-98552233227-26005890657-04191440651-67556621855-51680299565-99386761021-30334861470-54348096369-58232815465', '37375072499-18625803603-20382307023-93535950437-71664752159'),(40736512, '72182118991-40176331773-22038143339-29027992018-95262691092-86896055343-78575198165-40462457279-52731105782-86781234931', '80851593896-36332901870-85620631160-74787550357-97154740502'),(50498507, '81331706370-46859747235-16577975389-88869286461-11016095312-68457678056-97081802823-37238610289-46306015329-10675907749', '35481717401-58945002807-50219941714-36124304765-21849451374'),(43829897, '20435665885-81426744429-19968417420-96222564736-85220412465-11888365665-12830355705-00589312445-18429145211-86693870496', '20005855992-19243170010-72769445866-69949849019-65153304641'),(52938836, '63519046573-16699167651-58941402063-92711033384-20294903154-82836078381-30667966832-43873084678-67640067514-85274031776', '31745470940-67332416424-64445923739-53362367357-39115868351'),(39509267, '32362402938-33126920363-39905634671-14212997854-65457102278-12093291750-66384979255-84071245770-25463702010-21801720473', '29521711091-09844377753-38811693410-46204578359-52548394292'),(50368000, '59099525814-42301252110-91516905961-54916832214-28683251843-63945344264-14234583574-49033442349-22810182989-30790829041', '32720732609-09070395820-99302694114-14118000286-84181553103'),(50668046, '56386751100-17651423411-63586221311-60477591048-52346917497-49320142903-76367231794-10215501687-89221720140-75847219974', '16050639249-16669767604-41020202572-72857684339-79351202257'),(36557517, '21765847691-16175018891-25991290260-89358173779-44127036087-28994961353-41957235395-50960763354-63281864527-30069714656', '40891218787-70350821934-01114561228-43025073668-19845283423'),(49843274, '52950575384-71666368490-45324570411-65412094055-78269701018-80205345507-48606529287-20105130592-99518641738-77395246627', '27320830372-95238376862-71945288604-18386626724-90408332573'),(50427713, '57110514891-15076389974-26052081649-60467584561-46994664008-78783667815-58417804242-534FATAL: `sysbench.cmdline.call_command' function failed: ./oltp_common.lua:230: db_bulk_insert_next() failed

1 Reply
小青梅
帖子: 49
Admin
青梅少侠
已加入: 11月 前

https://github.com/greenplum-db/gpdb/issues/11174

https://github.com/greenplum-db/gpdb/issues/10288

https://github.com/greenplum-db/gpdb/issues/10311

看到过类似的github issue

你现在可以:

1. 按照issue里工程师的建议: gpconfig -c 'optimizer_use_gpdb_allocators' -v off --skipvalidation

   看看还会不会。

2. 或者关闭orca再试试看

gpdb有两套优化器。

orca是cpp写的代码,一个分布式数据库的优化器

planner是基于postgres的优化器,改成了分布式版本以及加入了非常多gp自己的技术。

optimizer_use_gpdb_allocators是说分配内存时候orca的代码,是否用gpdb的内存分配器。

optimizer这个guc是用来控制选择planner还是orca的。

回复

关注微信公众号

Greenplum中文社区

Greenplum官方微信群

扫码加入我们的技术讨论,请备注“网站”