LSF Version 7.3 - Administering Platform LSF

Administering Platform LSF 9
Contents
Passing Arguments on the Command Line . . . . . . . . . . . . . . . . . . . . . . . . . . . 492
Job Array Dependencies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493
Monitoring Job Arrays . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493
Individual job status . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 494
Specific job status . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 495
Controlling Job Arrays . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 495
Requeuing a Job Array . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 496
Job Array Job Slot Limit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 497
32 Running Parallel Jobs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 499
Contents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 499
How LSF Runs Parallel Jobs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 499
Preparing Your Environment to Submit Parallel Jobs to LSF . . . . . . . . . . . . . . . . 500
Submitting Parallel Jobs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 500
Starting Parallel Tasks with LSF Utilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 501
Job Slot Limits For Parallel Jobs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 502
Specifying a Minimum and Maximum Number of Processors . . . . . . . . . . . . . . . 502
Specifying a First Execution Host . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 503
Controlling Processor Allocation Across Hosts . . . . . . . . . . . . . . . . . . . . . . . . . 504
Running Parallel Processes on Homogeneous Hosts . . . . . . . . . . . . . . . . . . . . . 507
Limiting the Number of Processors Allocated . . . . . . . . . . . . . . . . . . . . . . . . . 508
Reserving Processors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 511
Reserving Memory for Pending Parallel Jobs . . . . . . . . . . . . . . . . . . . . . . . . . . 512
Backfill Scheduling: Allowing Jobs to Use Reserved Job Slots . . . . . . . . . . . . . . . 513
Parallel Fairshare . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 522
How Deadline Constraint Scheduling Works For Parallel Jobs . . . . . . . . . . . . . . . 523
Optimized Preemption of Parallel Jobs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 523
33 Submitting Jobs Using JSDL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 525
Contents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 525
Why Use JSDL? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 525
Using JSDL Files with LSF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 525
Collecting resource values using elim.jsdl . . . . . . . . . . . . . . . . . . . . . . . . . . . 534
Part V: Controlling Job Execution
34 Runtime Resource Usage Limits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 539
Contents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 539
About Resource Usage Limits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 539
Specifying Resource Usage Limits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 543
Supported Resource Usage Limits and Syntax . . . . . . . . . . . . . . . . . . . . . . . . . 545
Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 550
CPU Time and Run Time Normalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 551
PAM resource limits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 552