岑世英作為當地收藏界的協會會長，他不僅癡迷各類古董收藏鑒賞，同時也十分喜愛讀書、藏書。在岑世英的家中用于存放各朝代書籍的書柜超過十個，他的藏書量超過一萬冊。根據岑世英介紹，他自幼喜好看書更多還是緣于家族的熏陶。

    由于出生于書香世家，岑世英十分注重對于家族史料的收集。岑世英特意把媒體關于自己的伯父岑光樾“獻身教育的末代翰林”及“半路出家的大歷史學家岑仲勉”的專訪報道報紙剪下來。他認為，自己的伯父與作為世界和平促進會理事的父親岑公萬一樣都是獻身于國家事業的文化人，因此自己作為后備應該要記住他們，跟要學習他們從書中求學的精神。根據岑世英的介紹，自己的父親及伯父們都是非常喜歡看書的。因此，岑世英也是傳承了上一代人的這種刻苦專研的精神。他表示，自己讀書不僅是可以增長見識，同時也有利于自己研究鑒賞古董獲取相關的知識。而在岑世英珍藏的書籍中，就有一套是“恩科會試墨卷”。該套墨卷清晰地記載著自己的伯父岑光樾字敏仲，為光緒壬午年五月吉日生于廣東廣州府順德縣籍，為已亥科考第一名。

    每逢得閑之時，岑世英除了會翻閱一下自己珍藏的一些古籍善本及各種資料書籍進行清理與鑒賞之外，他也很喜歡獨自一人跑到三樓的書房去翻閱，去遨游書中的文海。岑世英認為，書籍不僅是文字的海洋，更是裝有黃金的房子。