James Brooke naquit le 29 avril 1803 et grandit en Inde, à Bénarès. Il était le cinquième enfant de Thomas Brooke, fonctionnaire de l'Honorable Compagnie des Indes orientales et juge à la Cour suprême. Ses contemporains disent de Thomas que ce n'est "pas vraiment une flèche", qu'il va "droit au but" et qu'il est "vieux jeu" - autant d'euphémismes, sans doute, pour décrire quelqu'un de manifestement terne et sans imagination.