小叶黄杨枝叶茂密，四季常青，夜色亮绿，且有许多花叶、斑叶变种，是美丽的观叶树种。园林中常用作绿篱及背景种植材料，亦可丛植草地边缘或列植于园路两旁;若加以修建成型，更适合用于规则式对称配植。在上海、杭州一带常将其修剪成圆球形或半球形，用于花坛中心或对植于门旁。同时，亦是基础种植 、绿化和工厂绿化及会场装饰等。
小叶黄杨为常绿乔木，冠幅可达5～8米，叶革质，正面呈深绿色，背面为浅绿色，在严寒的冬天叶色碧绿，无落叶现象。该树叶有卵形或长椭圆形，长5～6厘米，宽4～5厘米，叶缘呈浅波状，叶柄长1厘米左右。花浅黄色，直径为0．1～1厘米，蒴果近球形，有4浅沟，直径1～2厘米，果嫩时呈浅绿色，向阳面为褐红色，种子近圆球形，11月份成熟，成熟时果皮自动开裂，橙红色追赶种皮的种子暴露出来，满树红果绿叶，远看近观，颇有情趣，景色怡人。