龙场驿地处偏僻的贵州西北部，隶属于朝廷派遣的宣慰司管辖范围。万山丛棘中，蛇虺成堆，魍魉昼见，瘴疠蛊毒，真可谓是苦不可言。尤其是当地夷人使用的语言又如鴂舌（如不明鸟的语言）难辨。据说言语相通者大都是来自中土的亡命之徒。他们居无宫室，只有累土为窟，然后在其中住宿下来。这是当时的文献记载情况。
王阳明初至此地，便开始教当地人伐取范木为墼，架木作房梁，刈草当屋顶，然后建成屋宇。周围的人都纷纷仿效他们。于是这个地方开始出现了真正的栖息之所。后来由于王阳明所居地方湫隘卑湿，当地人就另外为王阳明伐木构室，建造出了更为宽敞的住宿场所。于是就先后有了寅宾堂、何陋轩、君子亭、玩易窝等建筑。这些建筑后来统称龙冈书院。王阳明先生还在龙冈书院的周围种植上桧竹，莳种上芬芌鲜艳的卉药。为了苦中作乐，他还写了一首诗记录当时的窘况和心路历程，如下：
草庵不及肩，
旅倦体方适。
开棘自成篱，
土阶漫无级；
迎风亦萧疏，
漏雨易补缉。
灵濑响朝湍，
深林凝暮色。
群僚环聚讯，
语庞意颇质。
鹿豕且同游，
兹类犹人属。
污樽映瓦豆，
尽醉不知夕。
缅怀黄唐化，
略称茅茨迹。
（原题为《初至龙场无所止结草庵居之》）
王阳明整日在山林间吟诗颂咏，并渐渐地学会了当地的方言，还教当地人礼义孝悌，很多其他地方的夷人特地跑过来听讲。王阳明悉心开导，毫无倦怠之色。在龙场的这段时间，王阳明还作了一首咏诵竹子的诗作《猗猗》，表达了自己的精神信仰：
猗猗涧边竹，
青青岩畔松。
直干历冰雪，
密密留清风。
自期永相托，
云壑无违踪。
如何两分植，
憔悴叹西东。
人事多翻覆，
有如道上蓬。
惟应岁寒意，
随处还当同。
过了一段时间，王阳明收到家信，信中提到敌党刘瑾已经知道王阳明没死，而且也知道了王阳明父子在南都（今南京）的事情，正在想办法继续报复王阳明。不久刘瑾一党矫旨命令龙山公王华致仕还乡。
自此，王阳明孝亲之念更加强烈了。
