在土石方抬得差不多了后，荣智健的工作又转向了建厂房、装机器。
这也是巨大的工程，他又开始每天和青年民工抬路轨、扛机器。
当厂房和机器活完成得差不多时，荣智健才开始做一些“技术性”工作。
但是，这个技术性的工作并不是调试仪表、测试水位之类，而是扛着75公斤重的烧焊氧气瓶上山进行烧焊，或在高空安装高压电缆。
在凉山这一期间，荣智健吃的是四川人叫做红苕的山芋，对于一直习惯吃米饭的荣智健来说，真是难以下咽。
工作、生活无比艰苦，周围人的冷漠、心灵无比寂寞，荣智健觉得前路茫茫，惟一使他值得庆幸的是倒没有什么人对他进行揪斗。
在最艰难的时期，荣智健历经磨难，但是没有屈服，他咬紧牙关坚持着，硬挺着。
然而，正是在这样的岁月里，他开始真正地思考着社会，思考着人生，思考着如何去做人和处世。
荣智健后来曾经回忆说：“说是做技术工作，实际上却是很艰苦的体力劳动：抬路轨、大石头、背75公斤重的烧焊氧气瓶上山下山、高空安装高压电缆……日常吃的是四川人叫做红苕的地瓜（即山芋）。
我们是知识分子接受教育，又在审查中，头一年基本上失去了自由，起居劳动都是有人看管。”
而在荣智健背氧气瓶上山的时候，他的父亲——曾经贵为纺织工业部副部长的荣毅仁则正在北京的工商联大院里打扫厕所。