天地万物（包括人在内）都是由“气”构成，“气”是一种统一的物质元素。“气”有“阴气”和“阳气”，有“有形”和“无形”，人、物的生都是“元气”的凝结，死灭则复归元气，这是个自然发生的过程。由“气”这个物质性的元素出发，《论衡》指出：“天乃玉石之类”的无知的东西，万物的生长是“自然之化”。天地、万物和人，都是由同一的充塞于宇宙中的气形成，而且是在运动的过程中形成，所以，“外若有为，内实自然”。而人与天地、万物不同的是“知饥知寒”，“见五谷可食之，取而食之；见丝麻可衣，取而衣之”。所以，人和五谷不是上天有意创造出来的，而是“气”的“自然之化”。《论衡》书首先从宇宙观上否定了“天人感应”的“天”，还世界的物质性面貌。不过，《论衡》书中所描述的宇宙观，是一种自然主义的宇宙观：“天地合气，物偶自生也”，“及其成与不熟，偶自然也”（《论衡·物势》篇）。所以，这种宇宙观只能是人能利用自然，辅助“自然之化”，但终究不得不听命于自然力的支配。这是古代唯物主义的最大缺陷。
　　“天人感应”的“天”既造出了人，那么第二点就要降下帝王来统治人，因此就要把君权神化。他们提出了一种“符瑞”说，即把一些想像的和自然的事物，如龙、麒麟、凤凰、雨露、嘉禾、芝草等等，称之谓帝王的“受命之符”。如：夏的祖先是其母吃了一种叫做“薏苡”的草生下的，商的祖先是其母吞吃了燕子的蛋而生的，汉高帝刘邦是其母在野地里和龙交合而生，东汉光武帝刘秀是生而室内有光等等。《论衡》书针对这种荒唐之言指出：“薏苡”、“燕卵”根本不能生人，龙与人也不是同类，“不相与合者，异类故也”。“天地之间，异类之物相与交接，未之有也”，“何则？异类殊性，情欲不相得也”（《论衡·奇怪》篇）。所以，要同类的东西才能交合。人都是由父母生的，帝王亦不例外，所谓“圣人更禀气于天”，乃是“虚妄之言”，不足相信。既然天、人、物三者不是同类，不能相合，那么与“符瑞”也就毫不相干了。