Commit 5f0b9cbc authored by Michael Salim's avatar Michael Salim
Browse files

SQLite insert benchmarks; TIMEOUT set ridiculously high!

parent 7dc5227f
......@@ -14,3 +14,4 @@ docs/_static/*
default_balsamdb
testdb
nohup.out
......@@ -8,8 +8,10 @@ import zmq
from django.db.utils import OperationalError
from concurrency.exceptions import RecordModifiedError
REQ_TIMEOUT = 30000 # 30 seconds
REQ_RETRY = 4
# These are ridiculously high to benchmark
# Should be more like 5-10 sec, 3-4 retry
REQ_TIMEOUT = 60000 # 60 seconds
REQ_RETRY = 56
class Client:
......
......@@ -20,7 +20,7 @@ from concurrency.exceptions import RecordModifiedError
logger = logging.getLogger('balsam.django_config.sqlite_server')
SERVER_PERIOD = 1000
SERVER_PERIOD = 2000
TERM_LINGER = 3 # wait 3 sec after final save() to exit
terminate = False
......
# BENCHMARK: test_concurrent_mpi_insert
# Host: thetamom1
# COBALT_PARTCORES: 64
# COBALT_ENDTIME: 1517592363
# COBALT_QUEUE: debug-cache-quad
# COBALT_PARTNAME: 3828,3835-3837
# COBALT_STARTTIME: 1517591763
# COBALT_JOBID: 182446
# COBALT_PARTSIZE: 4
# COBALT_JOBSIZE: 4
# COBALT_PROJECT: datascience
# Each rank simultaneously calls dag.add_job (num_ranks simultaneous insertions)
# num_nodes ranks_per_node num_ranks total_time_sec
# --------------------------------------------------------------
1 32 32 29.490
2 32 64 33.620
4 32 128 35.900
# BENCHMARK: test_concurrent_mpi_insert
# Host: thetamom3
# COBALT_PARTCORES: 64
# COBALT_ENDTIME: 1517596142
# COBALT_QUEUE: default
# COBALT_PARTNAME: 70-75,310-319,630,664-665,667-669,770-779,860-869,880-889,1040-1049,1262,1264-1269,1310-1319,1330-1337,1460-1469,1684-1689,1910-1925,2020-2029,2113,2117,2324,2411,2460-2461,2692,2694,2698,2750,2752-2759,2908,2970-2977,3020-3021,3025,3027,3035,3095,3124-3129,3141,3201,3273,3276,3283,3285-3289,3341,3402-3405,3407,3442-3445,3447-3449,3491,3610-3611,3669,3722,3729,3948-3949,3970,3973,3976-3977,3983,3988,4014,4050,4052-4053,4055-4056,4059,4089,4120-4125,4127-4128,4210-4212,4214,4216-4218,4230-4239,4302-4303,4306,4313,4327,4359,4361,4367,4553,4555,4557,4587,4590-4592,4595-4597
# COBALT_STARTTIME: 1517593442
# COBALT_JOBID: 182461
# COBALT_PARTSIZE: 256
# COBALT_JOBSIZE: 256
# COBALT_PROJECT: datascience
# Each rank simultaneously calls dag.add_job (num_ranks simultaneous insertions)
# At 64 nodes/2048 ranks, we made it all the way to 2046 successful saves, very painfully (server crashed and restarted many times)
# Two saves got lost; hence failed at 2048 concurrent saves. Reaches peak of about 9 insert per second
# num_nodes ranks_per_node num_ranks total_time_sec
# --------------------------------------------------------------
1 32 32 29.020
2 32 64 28.930
4 32 128 35.160
8 32 256 43.350
16 32 512 64.740
32 32 1024 114.590
Jobid: 182461
qsub --mode script -A datascience -n 256 -q default -t 45 -M msalim@anl.gov run_bench_insert.sh
Fri Feb 02 17:43:35 2018 +0000 (UTC) submitted with cwd set to: /gpfs/mira-home/msalim/hpc-edge-service/tests/benchmarks/scripts
jobid 182461 submitted from terminal /dev/pts/31
2018-02-02 17:44:28,169 INFO: Starting Resource_Prologue
2018-02-02 17:44:28,171 DEBUG: no enabling attribute found
2018-02-02 17:44:28,172 INFO: Resource_Prologue finished with exit code 0
Fri Feb 02 17:44:47 2018 +0000 (UTC)
Fri Feb 02 17:44:47 2018 +0000 (UTC) Command: '/gpfs/mira-home/msalim/hpc-edge-service/tests/benchmarks/scripts/run_bench_insert.sh'
Fri Feb 02 17:44:47 2018 +0000 (UTC)
Fri Feb 02 17:44:47 2018 +0000 (UTC) Environment:
Fri Feb 02 17:44:47 2018 +0000 (UTC) COBALT_PARTCORES=64
Fri Feb 02 17:44:47 2018 +0000 (UTC) SHELL=/bin/bash
Fri Feb 02 17:44:47 2018 +0000 (UTC) COBALT_PROJECT=datascience
Fri Feb 02 17:44:47 2018 +0000 (UTC) COBALT_PARTNAME=70-75,310-319,630,664-665,667-669,770-779,860-869,880-889,1040-1049,1262,1264-1269,1310-1319,1330-1337,1460-1469,1684-1689,1910-1925,2020-2029,2113,2117,2324,2411,2460-2461,2692,2694,2698,2750,2752-2759,2908,2970-2977,3020-3021,3025,3027,3035,3095,3124-3129,3141,3201,3273,3276,3283,3285-3289,3341,3402-3405,3407,3442-3445,3447-3449,3491,3610-3611,3669,3722,3729,3948-3949,3970,3973,3976-3977,3983,3988,4014,4050,4052-4053,4055-4056,4059,4089,4120-4125,4127-4128,4210-4212,4214,4216-4218,4230-4239,4302-4303,4306,4313,4327,4359,4361,4367,4553,4555,4557,4587,4590-4592,4595-4597
Fri Feb 02 17:44:47 2018 +0000 (UTC) COBALT_JOBID=182461
Fri Feb 02 17:44:47 2018 +0000 (UTC) COBALT_STARTTIME=1517593442
Fri Feb 02 17:44:47 2018 +0000 (UTC) LOGNAME=msalim
Fri Feb 02 17:44:47 2018 +0000 (UTC) USER=msalim
Fri Feb 02 17:44:47 2018 +0000 (UTC) COBALT_ENDTIME=1517596142
Fri Feb 02 17:44:47 2018 +0000 (UTC) COBALT_PARTSIZE=256
Fri Feb 02 17:44:47 2018 +0000 (UTC) HOME=/home/msalim
Fri Feb 02 17:44:47 2018 +0000 (UTC) COBALT_JOBSIZE=256
Fri Feb 02 17:44:47 2018 +0000 (UTC) COBALT_QUEUE=default
Fri Feb 02 17:44:47 2018 +0000 (UTC)
Fri Feb 02 17:44:47 2018 +0000 (UTC) Info: stdin received from /dev/null
Fri Feb 02 17:44:47 2018 +0000 (UTC) Info: stdout sent to /gpfs/mira-home/msalim/hpc-edge-service/tests/benchmarks/scripts/182461.output
Fri Feb 02 17:44:47 2018 +0000 (UTC) Info: stderr sent to /gpfs/mira-home/msalim/hpc-edge-service/tests/benchmarks/scripts/182461.error
Fri Feb 02 17:44:47 2018 +0000 (UTC)
Fri Feb 02 18:00:04 2018 +0000 (UTC) Info: task completed normally with an exit code of 0; initiating job cleanup and removal
+ source /home/msalim/.bash_profile
++ export PATH=/opt/xalt/bin:/soft/buildtools/trackdeps/bin:/soft/perftools/darshan/darshan-3.1.5/bin:/opt/modulefiles/nompirun/bin:/opt/cray/pe/mpt/7.7.0/gni/bin:/opt/cray/pe/perftools/7.0.0/bin:/opt/cray/pe/papi/5.5.1.4/bin:/opt/cray/rca/2.2.15-6.0.4.1_13.1__g46acb0f.ari/bin:/opt/cray/pe/craype/2.5.13/bin:/opt/intel/compilers_and_libraries_2018.0.128/linux/bin/intel64:/opt/intel/compilers_and_libraries_2018.0.128/linux/mpi/intel64/bin:/opt/intel/debugger_2017/gdb/intel64_mic/bin:/opt/cray/sysadm/2.4.119-6.0.4.0_14.2__gcab7125.ari/bin:/opt/cray/cfgutils/bin:/opt/cray/nodehealth/5.4.0-6.0.4.0_12.4__g3427370.ari/bin:/opt/cray/llm/21.3.446-6.0.4.0_20.1__gbe30105.ari/bin:/opt/cray/sdb/3.3.729-6.0.4.0_16.2__gb405b22.ari/bin:/opt/cray/nodestat/2.3.78-6.0.4.0_7.2__gbe57af8.ari/bin:/opt/cray/alps/6.4.2-6.0.4.1_3.1__gb8adc61.ari/sbin:/opt/cray/alps/6.4.2-6.0.4.1_3.1__gb8adc61.ari/bin:/opt/cray/pe/modules/3.2.10.6/bin:/home/msalim/bin:/usr/local/bin:/usr/bin:/bin:/usr/bin/X11:/usr/games:/dbhome/db2cat/sqllib/bin:/dbhome/db2cat/sqllib/adm:/dbhome/db2cat/sqllib/misc::/usr/lib/mit/bin:/usr/lib/mit/sbin:/opt/cray/pe/bin:/home/msalim/bin:/opt/intel/python/2017.0.035/intelpython35/bin:/home/msalim/bin:/opt/intel/python/2017.0.035/intelpython35/bin
++ PATH=/opt/xalt/bin:/soft/buildtools/trackdeps/bin:/soft/perftools/darshan/darshan-3.1.5/bin:/opt/modulefiles/nompirun/bin:/opt/cray/pe/mpt/7.7.0/gni/bin:/opt/cray/pe/perftools/7.0.0/bin:/opt/cray/pe/papi/5.5.1.4/bin:/opt/cray/rca/2.2.15-6.0.4.1_13.1__g46acb0f.ari/bin:/opt/cray/pe/craype/2.5.13/bin:/opt/intel/compilers_and_libraries_2018.0.128/linux/bin/intel64:/opt/intel/compilers_and_libraries_2018.0.128/linux/mpi/intel64/bin:/opt/intel/debugger_2017/gdb/intel64_mic/bin:/opt/cray/sysadm/2.4.119-6.0.4.0_14.2__gcab7125.ari/bin:/opt/cray/cfgutils/bin:/opt/cray/nodehealth/5.4.0-6.0.4.0_12.4__g3427370.ari/bin:/opt/cray/llm/21.3.446-6.0.4.0_20.1__gbe30105.ari/bin:/opt/cray/sdb/3.3.729-6.0.4.0_16.2__gb405b22.ari/bin:/opt/cray/nodestat/2.3.78-6.0.4.0_7.2__gbe57af8.ari/bin:/opt/cray/alps/6.4.2-6.0.4.1_3.1__gb8adc61.ari/sbin:/opt/cray/alps/6.4.2-6.0.4.1_3.1__gb8adc61.ari/bin:/opt/cray/pe/modules/3.2.10.6/bin:/home/msalim/bin:/usr/local/bin:/usr/bin:/bin:/usr/bin/X11:/usr/games:/dbhome/db2cat/sqllib/bin:/dbhome/db2cat/sqllib/adm:/dbhome/db2cat/sqllib/misc::/usr/lib/mit/bin:/usr/lib/mit/sbin:/opt/cray/pe/bin:/home/msalim/bin:/opt/intel/python/2017.0.035/intelpython35/bin:/home/msalim/bin:/opt/intel/python/2017.0.035/intelpython35/bin
++ export LD_LIBRARY_PATH=/home/msalim/.conda/envs/balsam/lib:/home/msalim/.conda/envs/balsam/lib:/soft/perftools/darshan/darshan-3.1.5/lib:/opt/intel/compilers_and_libraries_2018.0.128/linux/compiler/lib/intel64:/opt/intel/compilers_and_libraries_2018.0.128/linux/compiler/lib/intel64_lin:/opt/intel/compilers_and_libraries_2018.0.128/linux/mpi/intel64/lib:/opt/intel/compilers_and_libraries_2018.0.128/linux/mpi/mic/lib:/opt/intel/compilers_and_libraries_2018.0.128/linux/ipp/lib/intel64:/opt/intel/compilers_and_libraries_2018.0.128/linux/compiler/lib/intel64:/opt/intel/compilers_and_libraries_2018.0.128/linux/mkl/lib/intel64:/opt/intel/compilers_and_libraries_2018.0.128/linux/tbb/lib/intel64/gcc4.4:/opt/intel/debugger_2017/libipt/intel64/lib:/opt/intel/compilers_and_libraries_2018.0.128/linux/daal/lib/intel64_lin:/opt/intel/compilers_and_libraries_2018.0.128/linux/daal/../compiler/lib/intel64_lin:/opt/cray/nodehealth/5.4.0-6.0.4.0_12.4__g3427370.ari/lib64:/dbhome/db2cat/sqllib/lib64:/dbhome/db2cat/sqllib/lib64/gskit:/dbhome/db2cat/sqllib/lib32:
++ LD_LIBRARY_PATH=/home/msalim/.conda/envs/balsam/lib:/home/msalim/.conda/envs/balsam/lib:/soft/perftools/darshan/darshan-3.1.5/lib:/opt/intel/compilers_and_libraries_2018.0.128/linux/compiler/lib/intel64:/opt/intel/compilers_and_libraries_2018.0.128/linux/compiler/lib/intel64_lin:/opt/intel/compilers_and_libraries_2018.0.128/linux/mpi/intel64/lib:/opt/intel/compilers_and_libraries_2018.0.128/linux/mpi/mic/lib:/opt/intel/compilers_and_libraries_2018.0.128/linux/ipp/lib/intel64:/opt/intel/compilers_and_libraries_2018.0.128/linux/compiler/lib/intel64:/opt/intel/compilers_and_libraries_2018.0.128/linux/mkl/lib/intel64:/opt/intel/compilers_and_libraries_2018.0.128/linux/tbb/lib/intel64/gcc4.4:/opt/intel/debugger_2017/libipt/intel64/lib:/opt/intel/compilers_and_libraries_2018.0.128/linux/daal/lib/intel64_lin:/opt/intel/compilers_and_libraries_2018.0.128/linux/daal/../compiler/lib/intel64_lin:/opt/cray/nodehealth/5.4.0-6.0.4.0_12.4__g3427370.ari/lib64:/dbhome/db2cat/sqllib/lib64:/dbhome/db2cat/sqllib/lib64/gskit:/dbhome/db2cat/sqllib/lib32:
++ export TERM=xterm-256color
++ TERM=xterm-256color
+++ dircolors /home/msalim/.dircolors.256dark
++ eval 'LS_COLORS='\''no=00;38;5;244:rs=0:di=00;38;5;33:ln=00;38;5;37:mh=00:pi=48;5;230;38;5;136;01:so=48;5;230;38;5;136;01:do=48;5;230;38;5;136;01:bd=48;5;230;38;5;244;01:cd=48;5;230;38;5;244;01:or=48;5;235;38;5;160:su=48;5;160;38;5;230:sg=48;5;136;38;5;230:ca=30;41:tw=48;5;64;38;5;230:ow=48;5;235;38;5;33:st=48;5;33;38;5;230:ex=00;38;5;64:*.tar=00;38;5;61:*.tgz=00;38;5;61:*.arj=00;38;5;61:*.taz=00;38;5;61:*.lzh=00;38;5;61:*.lzma=00;38;5;61:*.tlz=00;38;5;61:*.txz=00;38;5;61:*.zip=00;38;5;61:*.z=00;38;5;61:*.Z=00;38;5;61:*.dz=00;38;5;61:*.gz=00;38;5;61:*.lz=00;38;5;61:*.xz=00;38;5;61:*.bz2=00;38;5;61:*.bz=00;38;5;61:*.tbz=00;38;5;61:*.tbz2=00;38;5;61:*.tz=00;38;5;61:*.deb=00;38;5;61:*.rpm=00;38;5;61:*.jar=00;38;5;61:*.rar=00;38;5;61:*.ace=00;38;5;61:*.zoo=00;38;5;61:*.cpio=00;38;5;61:*.7z=00;38;5;61:*.rz=00;38;5;61:*.apk=00;38;5;61:*.gem=00;38;5;61:*.jpg=00;38;5;136:*.JPG=00;38;5;136:*.jpeg=00;38;5;136:*.gif=00;38;5;136:*.bmp=00;38;5;136:*.pbm=00;38;5;136:*.pgm=00;38;5;136:*.ppm=00;38;5;136:*.tga=00;38;5;136:*.xbm=00;38;5;136:*.xpm=00;38;5;136:*.tif=00;38;5;136:*.tiff=00;38;5;136:*.png=00;38;5;136:*.PNG=00;38;5;136:*.svg=00;38;5;136:*.svgz=00;38;5;136:*.mng=00;38;5;136:*.pcx=00;38;5;136:*.dl=00;38;5;136:*.xcf=00;38;5;136:*.xwd=00;38;5;136:*.yuv=00;38;5;136:*.cgm=00;38;5;136:*.emf=00;38;5;136:*.eps=00;38;5;136:*.CR2=00;38;5;136:*.ico=00;38;5;136:*.tex=00;38;5;245:*.rdf=00;38;5;245:*.owl=00;38;5;245:*.n3=00;38;5;245:*.ttl=00;38;5;245:*.nt=00;38;5;245:*.torrent=00;38;5;245:*.xml=00;38;5;245:*Makefile=00;38;5;245:*Rakefile=00;38;5;245:*Dockerfile=00;38;5;245:*build.xml=00;38;5;245:*rc=00;38;5;245:*1=00;38;5;245:*.nfo=00;38;5;245:*README=00;38;5;245:*README.txt=00;38;5;245:*readme.txt=00;38;5;245:*.md=00;38;5;245:*README.markdown=00;38;5;245:*.ini=00;38;5;245:*.yml=00;38;5;245:*.cfg=00;38;5;245:*.conf=00;38;5;245:*.h=00;38;5;245:*.hpp=00;38;5;245:*.c=00;38;5;245:*.cpp=00;38;5;245:*.cxx=00;38;5;245:*.cc=00;38;5;245:*.objc=00;38;5;245:*.sqlite=00;38;5;245:*.go=00;38;5;245:*.sql=00;38;5;245:*.csv=00;38;5;245:*.log=00;38;5;240:*.bak=00;38;5;240:*.aux=00;38;5;240:*.lof=00;38;5;240:*.lol=00;38;5;240:*.lot=00;38;5;240:*.out=00;38;5;240:*.toc=00;38;5;240:*.bbl=00;38;5;240:*.blg=00;38;5;240:*~=00;38;5;240:*#=00;38;5;240:*.part=00;38;5;240:*.incomplete=00;38;5;240:*.swp=00;38;5;240:*.tmp=00;38;5;240:*.temp=00;38;5;240:*.o=00;38;5;240:*.pyc=00;38;5;240:*.class=00;38;5;240:*.cache=00;38;5;240:*.aac=00;38;5;166:*.au=00;38;5;166:*.flac=00;38;5;166:*.mid=00;38;5;166:*.midi=00;38;5;166:*.mka=00;38;5;166:*.mp3=00;38;5;166:*.mpc=00;38;5;166:*.ogg=00;38;5;166:*.opus=00;38;5;166:*.ra=00;38;5;166:*.wav=00;38;5;166:*.m4a=00;38;5;166:*.axa=00;38;5;166:*.oga=00;38;5;166:*.spx=00;38;5;166:*.xspf=00;38;5;166:*.mov=00;38;5;166:*.MOV=00;38;5;166:*.mpg=00;38;5;166:*.mpeg=00;38;5;166:*.m2v=00;38;5;166:*.mkv=00;38;5;166:*.ogm=00;38;5;166:*.mp4=00;38;5;166:*.m4v=00;38;5;166:*.mp4v=00;38;5;166:*.vob=00;38;5;166:*.qt=00;38;5;166:*.nuv=00;38;5;166:*.wmv=00;38;5;166:*.asf=00;38;5;166:*.rm=00;38;5;166:*.rmvb=00;38;5;166:*.flc=00;38;5;166:*.avi=00;38;5;166:*.fli=00;38;5;166:*.flv=00;38;5;166:*.gl=00;38;5;166:*.m2ts=00;38;5;166:*.divx=00;38;5;166:*.webm=00;38;5;166:*.axv=00;38;5;166:*.anx=00;38;5;166:*.ogv=00;38;5;166:*.ogx=00;38;5;166:'\'';' export LS_COLORS
+++ LS_COLORS='no=00;38;5;244:rs=0:di=00;38;5;33:ln=00;38;5;37:mh=00:pi=48;5;230;38;5;136;01:so=48;5;230;38;5;136;01:do=48;5;230;38;5;136;01:bd=48;5;230;38;5;244;01:cd=48;5;230;38;5;244;01:or=48;5;235;38;5;160:su=48;5;160;38;5;230:sg=48;5;136;38;5;230:ca=30;41:tw=48;5;64;38;5;230:ow=48;5;235;38;5;33:st=48;5;33;38;5;230:ex=00;38;5;64:*.tar=00;38;5;61:*.tgz=00;38;5;61:*.arj=00;38;5;61:*.taz=00;38;5;61:*.lzh=00;38;5;61:*.lzma=00;38;5;61:*.tlz=00;38;5;61:*.txz=00;38;5;61:*.zip=00;38;5;61:*.z=00;38;5;61:*.Z=00;38;5;61:*.dz=00;38;5;61:*.gz=00;38;5;61:*.lz=00;38;5;61:*.xz=00;38;5;61:*.bz2=00;38;5;61:*.bz=00;38;5;61:*.tbz=00;38;5;61:*.tbz2=00;38;5;61:*.tz=00;38;5;61:*.deb=00;38;5;61:*.rpm=00;38;5;61:*.jar=00;38;5;61:*.rar=00;38;5;61:*.ace=00;38;5;61:*.zoo=00;38;5;61:*.cpio=00;38;5;61:*.7z=00;38;5;61:*.rz=00;38;5;61:*.apk=00;38;5;61:*.gem=00;38;5;61:*.jpg=00;38;5;136:*.JPG=00;38;5;136:*.jpeg=00;38;5;136:*.gif=00;38;5;136:*.bmp=00;38;5;136:*.pbm=00;38;5;136:*.pgm=00;38;5;136:*.ppm=00;38;5;136:*.tga=00;38;5;136:*.xbm=00;38;5;136:*.xpm=00;38;5;136:*.tif=00;38;5;136:*.tiff=00;38;5;136:*.png=00;38;5;136:*.PNG=00;38;5;136:*.svg=00;38;5;136:*.svgz=00;38;5;136:*.mng=00;38;5;136:*.pcx=00;38;5;136:*.dl=00;38;5;136:*.xcf=00;38;5;136:*.xwd=00;38;5;136:*.yuv=00;38;5;136:*.cgm=00;38;5;136:*.emf=00;38;5;136:*.eps=00;38;5;136:*.CR2=00;38;5;136:*.ico=00;38;5;136:*.tex=00;38;5;245:*.rdf=00;38;5;245:*.owl=00;38;5;245:*.n3=00;38;5;245:*.ttl=00;38;5;245:*.nt=00;38;5;245:*.torrent=00;38;5;245:*.xml=00;38;5;245:*Makefile=00;38;5;245:*Rakefile=00;38;5;245:*Dockerfile=00;38;5;245:*build.xml=00;38;5;245:*rc=00;38;5;245:*1=00;38;5;245:*.nfo=00;38;5;245:*README=00;38;5;245:*README.txt=00;38;5;245:*readme.txt=00;38;5;245:*.md=00;38;5;245:*README.markdown=00;38;5;245:*.ini=00;38;5;245:*.yml=00;38;5;245:*.cfg=00;38;5;245:*.conf=00;38;5;245:*.h=00;38;5;245:*.hpp=00;38;5;245:*.c=00;38;5;245:*.cpp=00;38;5;245:*.cxx=00;38;5;245:*.cc=00;38;5;245:*.objc=00;38;5;245:*.sqlite=00;38;5;245:*.go=00;38;5;245:*.sql=00;38;5;245:*.csv=00;38;5;245:*.log=00;38;5;240:*.bak=00;38;5;240:*.aux=00;38;5;240:*.lof=00;38;5;240:*.lol=00;38;5;240:*.lot=00;38;5;240:*.out=00;38;5;240:*.toc=00;38;5;240:*.bbl=00;38;5;240:*.blg=00;38;5;240:*~=00;38;5;240:*#=00;38;5;240:*.part=00;38;5;240:*.incomplete=00;38;5;240:*.swp=00;38;5;240:*.tmp=00;38;5;240:*.temp=00;38;5;240:*.o=00;38;5;240:*.pyc=00;38;5;240:*.class=00;38;5;240:*.cache=00;38;5;240:*.aac=00;38;5;166:*.au=00;38;5;166:*.flac=00;38;5;166:*.mid=00;38;5;166:*.midi=00;38;5;166:*.mka=00;38;5;166:*.mp3=00;38;5;166:*.mpc=00;38;5;166:*.ogg=00;38;5;166:*.opus=00;38;5;166:*.ra=00;38;5;166:*.wav=00;38;5;166:*.m4a=00;38;5;166:*.axa=00;38;5;166:*.oga=00;38;5;166:*.spx=00;38;5;166:*.xspf=00;38;5;166:*.mov=00;38;5;166:*.MOV=00;38;5;166:*.mpg=00;38;5;166:*.mpeg=00;38;5;166:*.m2v=00;38;5;166:*.mkv=00;38;5;166:*.ogm=00;38;5;166:*.mp4=00;38;5;166:*.m4v=00;38;5;166:*.mp4v=00;38;5;166:*.vob=00;38;5;166:*.qt=00;38;5;166:*.nuv=00;38;5;166:*.wmv=00;38;5;166:*.asf=00;38;5;166:*.rm=00;38;5;166:*.rmvb=00;38;5;166:*.flc=00;38;5;166:*.avi=00;38;5;166:*.fli=00;38;5;166:*.flv=00;38;5;166:*.gl=00;38;5;166:*.m2ts=00;38;5;166:*.divx=00;38;5;166:*.webm=00;38;5;166:*.axv=00;38;5;166:*.anx=00;38;5;166:*.ogv=00;38;5;166:*.ogx=00;38;5;166:'
+++ export LS_COLORS
++ alias 'ls=ls --color'
++ alias 'grep=grep --color=always'
+ source activate balsam
++ [[ -n 4.3.42(1)-release ]]
++ _SCRIPT_LOCATION=/opt/intel/python/2017.0.035/intelpython35/bin/activate
++ _SHELL=bash
+++ dirname /opt/intel/python/2017.0.035/intelpython35/bin/activate
++ _CONDA_DIR=/opt/intel/python/2017.0.035/intelpython35/bin
++ '[' 1 -gt 1 ']'
++ case "$(uname -s)" in
+++ uname -s
++ EXT=
++ [[ -n 4.3.42(1)-release ]]
+++ basename /gpfs/mira-home/msalim/hpc-edge-service/tests/benchmarks/scripts/run_bench_insert.sh
++ [[ run_bench_insert.sh == \a\c\t\i\v\a\t\e ]]
++ '[' 1 -eq 0 ']'
++ args=balsam
++ /opt/intel/python/2017.0.035/intelpython35/bin/conda ..checkenv bash balsam
++ (( 0 != 0 ))
++ source /opt/intel/python/2017.0.035/intelpython35/bin/deactivate
+++ [[ -n 4.3.42(1)-release ]]
+++ _SCRIPT_LOCATION=/opt/intel/python/2017.0.035/intelpython35/bin/deactivate
+++ _SHELL=bash
++++ dirname /opt/intel/python/2017.0.035/intelpython35/bin/deactivate
+++ _CONDA_DIR=/opt/intel/python/2017.0.035/intelpython35/bin
+++ case "$(uname -s)" in
++++ uname -s
+++ EXT=
+++ [[ 1 > 0 ]]
+++ key=balsam
+++ case $key in
+++ shift
+++ [[ 0 > 0 ]]
+++ [[ -n 4.3.42(1)-release ]]
++++ basename /gpfs/mira-home/msalim/hpc-edge-service/tests/benchmarks/scripts/run_bench_insert.sh
+++ [[ run_bench_insert.sh == \d\e\a\c\t\i\v\a\t\e ]]
+++ [[ -z '' ]]
+++ [[ -n 4.3.42(1)-release ]]
++++ basename /gpfs/mira-home/msalim/hpc-edge-service/tests/benchmarks/scripts/run_bench_insert.sh
+++ [[ run_bench_insert.sh == \d\e\a\c\t\i\v\a\t\e ]]
+++ return 0
+++ /opt/intel/python/2017.0.035/intelpython35/bin/conda ..activate bash balsam
++ _NEW_PART=/home/msalim/.conda/envs/balsam/bin
++ (( 0 == 0 ))
++ export CONDA_PATH_BACKUP=/opt/xalt/bin:/soft/buildtools/trackdeps/bin:/soft/perftools/darshan/darshan-3.1.5/bin:/opt/modulefiles/nompirun/bin:/opt/cray/pe/mpt/7.7.0/gni/bin:/opt/cray/pe/perftools/7.0.0/bin:/opt/cray/pe/papi/5.5.1.4/bin:/opt/cray/rca/2.2.15-6.0.4.1_13.1__g46acb0f.ari/bin:/opt/cray/pe/craype/2.5.13/bin:/opt/intel/compilers_and_libraries_2018.0.128/linux/bin/intel64:/opt/intel/compilers_and_libraries_2018.0.128/linux/mpi/intel64/bin:/opt/intel/debugger_2017/gdb/intel64_mic/bin:/opt/cray/sysadm/2.4.119-6.0.4.0_14.2__gcab7125.ari/bin:/opt/cray/cfgutils/bin:/opt/cray/nodehealth/5.4.0-6.0.4.0_12.4__g3427370.ari/bin:/opt/cray/llm/21.3.446-6.0.4.0_20.1__gbe30105.ari/bin:/opt/cray/sdb/3.3.729-6.0.4.0_16.2__gb405b22.ari/bin:/opt/cray/nodestat/2.3.78-6.0.4.0_7.2__gbe57af8.ari/bin:/opt/cray/alps/6.4.2-6.0.4.1_3.1__gb8adc61.ari/sbin:/opt/cray/alps/6.4.2-6.0.4.1_3.1__gb8adc61.ari/bin:/opt/cray/pe/modules/3.2.10.6/bin:/home/msalim/bin:/usr/local/bin:/usr/bin:/bin:/usr/bin/X11:/usr/games:/dbhome/db2cat/sqllib/bin:/dbhome/db2cat/sqllib/adm:/dbhome/db2cat/sqllib/misc::/usr/lib/mit/bin:/usr/lib/mit/sbin:/opt/cray/pe/bin:/home/msalim/bin:/opt/intel/python/2017.0.035/intelpython35/bin:/home/msalim/bin:/opt/intel/python/2017.0.035/intelpython35/bin
++ CONDA_PATH_BACKUP=/opt/xalt/bin:/soft/buildtools/trackdeps/bin:/soft/perftools/darshan/darshan-3.1.5/bin:/opt/modulefiles/nompirun/bin:/opt/cray/pe/mpt/7.7.0/gni/bin:/opt/cray/pe/perftools/7.0.0/bin:/opt/cray/pe/papi/5.5.1.4/bin:/opt/cray/rca/2.2.15-6.0.4.1_13.1__g46acb0f.ari/bin:/opt/cray/pe/craype/2.5.13/bin:/opt/intel/compilers_and_libraries_2018.0.128/linux/bin/intel64:/opt/intel/compilers_and_libraries_2018.0.128/linux/mpi/intel64/bin:/opt/intel/debugger_2017/gdb/intel64_mic/bin:/opt/cray/sysadm/2.4.119-6.0.4.0_14.2__gcab7125.ari/bin:/opt/cray/cfgutils/bin:/opt/cray/nodehealth/5.4.0-6.0.4.0_12.4__g3427370.ari/bin:/opt/cray/llm/21.3.446-6.0.4.0_20.1__gbe30105.ari/bin:/opt/cray/sdb/3.3.729-6.0.4.0_16.2__gb405b22.ari/bin:/opt/cray/nodestat/2.3.78-6.0.4.0_7.2__gbe57af8.ari/bin:/opt/cray/alps/6.4.2-6.0.4.1_3.1__gb8adc61.ari/sbin:/opt/cray/alps/6.4.2-6.0.4.1_3.1__gb8adc61.ari/bin:/opt/cray/pe/modules/3.2.10.6/bin:/home/msalim/bin:/usr/local/bin:/usr/bin:/bin:/usr/bin/X11:/usr/games:/dbhome/db2cat/sqllib/bin:/dbhome/db2cat/sqllib/adm:/dbhome/db2cat/sqllib/misc::/usr/lib/mit/bin:/usr/lib/mit/sbin:/opt/cray/pe/bin:/home/msalim/bin:/opt/intel/python/2017.0.035/intelpython35/bin:/home/msalim/bin:/opt/intel/python/2017.0.035/intelpython35/bin
++ export CONDA_PS1_BACKUP=
++ CONDA_PS1_BACKUP=
++ export PATH=/home/msalim/.conda/envs/balsam/bin:/opt/xalt/bin:/soft/buildtools/trackdeps/bin:/soft/perftools/darshan/darshan-3.1.5/bin:/opt/modulefiles/nompirun/bin:/opt/cray/pe/mpt/7.7.0/gni/bin:/opt/cray/pe/perftools/7.0.0/bin:/opt/cray/pe/papi/5.5.1.4/bin:/opt/cray/rca/2.2.15-6.0.4.1_13.1__g46acb0f.ari/bin:/opt/cray/pe/craype/2.5.13/bin:/opt/intel/compilers_and_libraries_2018.0.128/linux/bin/intel64:/opt/intel/compilers_and_libraries_2018.0.128/linux/mpi/intel64/bin:/opt/intel/debugger_2017/gdb/intel64_mic/bin:/opt/cray/sysadm/2.4.119-6.0.4.0_14.2__gcab7125.ari/bin:/opt/cray/cfgutils/bin:/opt/cray/nodehealth/5.4.0-6.0.4.0_12.4__g3427370.ari/bin:/opt/cray/llm/21.3.446-6.0.4.0_20.1__gbe30105.ari/bin:/opt/cray/sdb/3.3.729-6.0.4.0_16.2__gb405b22.ari/bin:/opt/cray/nodestat/2.3.78-6.0.4.0_7.2__gbe57af8.ari/bin:/opt/cray/alps/6.4.2-6.0.4.1_3.1__gb8adc61.ari/sbin:/opt/cray/alps/6.4.2-6.0.4.1_3.1__gb8adc61.ari/bin:/opt/cray/pe/modules/3.2.10.6/bin:/home/msalim/bin:/usr/local/bin:/usr/bin:/bin:/usr/bin/X11:/usr/games:/dbhome/db2cat/sqllib/bin:/dbhome/db2cat/sqllib/adm:/dbhome/db2cat/sqllib/misc::/usr/lib/mit/bin:/usr/lib/mit/sbin:/opt/cray/pe/bin:/home/msalim/bin:/opt/intel/python/2017.0.035/intelpython35/bin:/home/msalim/bin:/opt/intel/python/2017.0.035/intelpython35/bin
++ PATH=/home/msalim/.conda/envs/balsam/bin:/opt/xalt/bin:/soft/buildtools/trackdeps/bin:/soft/perftools/darshan/darshan-3.1.5/bin:/opt/modulefiles/nompirun/bin:/opt/cray/pe/mpt/7.7.0/gni/bin:/opt/cray/pe/perftools/7.0.0/bin:/opt/cray/pe/papi/5.5.1.4/bin:/opt/cray/rca/2.2.15-6.0.4.1_13.1__g46acb0f.ari/bin:/opt/cray/pe/craype/2.5.13/bin:/opt/intel/compilers_and_libraries_2018.0.128/linux/bin/intel64:/opt/intel/compilers_and_libraries_2018.0.128/linux/mpi/intel64/bin:/opt/intel/debugger_2017/gdb/intel64_mic/bin:/opt/cray/sysadm/2.4.119-6.0.4.0_14.2__gcab7125.ari/bin:/opt/cray/cfgutils/bin:/opt/cray/nodehealth/5.4.0-6.0.4.0_12.4__g3427370.ari/bin:/opt/cray/llm/21.3.446-6.0.4.0_20.1__gbe30105.ari/bin:/opt/cray/sdb/3.3.729-6.0.4.0_16.2__gb405b22.ari/bin:/opt/cray/nodestat/2.3.78-6.0.4.0_7.2__gbe57af8.ari/bin:/opt/cray/alps/6.4.2-6.0.4.1_3.1__gb8adc61.ari/sbin:/opt/cray/alps/6.4.2-6.0.4.1_3.1__gb8adc61.ari/bin:/opt/cray/pe/modules/3.2.10.6/bin:/home/msalim/bin:/usr/local/bin:/usr/bin:/bin:/usr/bin/X11:/usr/games:/dbhome/db2cat/sqllib/bin:/dbhome/db2cat/sqllib/adm:/dbhome/db2cat/sqllib/misc::/usr/lib/mit/bin:/usr/lib/mit/sbin:/opt/cray/pe/bin:/home/msalim/bin:/opt/intel/python/2017.0.035/intelpython35/bin:/home/msalim/bin:/opt/intel/python/2017.0.035/intelpython35/bin
++ [[ '' == */* ]]
++ export CONDA_DEFAULT_ENV=balsam
++ CONDA_DEFAULT_ENV=balsam
++ firstpath=/home/msalim/.conda/envs/balsam/bin
+++ sed 's|/bin$||'
+++ echo /home/msalim/.conda/envs/balsam/bin
++ export CONDA_PREFIX=/home/msalim/.conda/envs/balsam
+++ /opt/intel/python/2017.0.035/intelpython35/bin/conda ..changeps1
++ '[' 1 = 1 ']'
+++ grep -q CONDA_DEFAULT_ENV
++ export 'PS1=(balsam) '
++ PS1='(balsam) '
++ _CONDA_D=/home/msalim/.conda/envs/balsam/etc/conda/activate.d
++ [[ -d /home/msalim/.conda/envs/balsam/etc/conda/activate.d ]]
++ unset CONDA_PATH
++ [[ -n 4.3.42(1)-release ]]
++ hash -r
+ cat /home/msalim/hpc-edge-service/testdb/dbwriter_address
+ rm /home/msalim/hpc-edge-service/testdb/log/balsam.log /home/msalim/hpc-edge-service/testdb/log/db.log /home/msalim/hpc-edge-service/testdb/log/django.log
+ export BALSAM_DB_PATH=/home/msalim/hpc-edge-service/testdb
+ BALSAM_DB_PATH=/home/msalim/hpc-edge-service/testdb
+ balsam-test tests.benchmarks.bench_insertion
test_concurrent_mpi_insert (tests.benchmarks.bench_insertion.TestInsertion)
Timing: many MPI ranks simultaneously call dag.add_job ... FAIL
======================================================================
FAIL: test_concurrent_mpi_insert (tests.benchmarks.bench_insertion.TestInsertion)
Timing: many MPI ranks simultaneously call dag.add_job
----------------------------------------------------------------------
Traceback (most recent call last):
File "/gpfs/mira-home/msalim/hpc-edge-service/tests/benchmarks/bench_insertion.py", line 78, in test_concurrent_mpi_insert
self.assertEqual(len(success), total_ranks)
AssertionError: 2046 != 2048
----------------------------------------------------------------------
Ran 1 test in 879.124s
FAILED (failures=1)
{"db_type": "sqlite3", "address": "tcp://thetalogin4:44379"}
\ No newline at end of file
#!/bin/bash -x
#COBALT -A datascience
#COBALT -n 4
#COBALT -q debug-cache-quad
#COBALT -t 10
#COBALT -n 256
#COBALT -q default
#COBALT -t 45
#COBALT -M msalim@anl.gov
#COBALT --cwd ~/hpc-edge-service
source ~/.bash_profile
source activate balsam
cat testdb/dbwriter_address
rm testdb/log/*.log
cat ~/hpc-edge-service/testdb/dbwriter_address
rm ~/hpc-edge-service/testdb/log/*.log
export BALSAM_DB_PATH=~/hpc-edge-service/testdb
......
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment