イヌガヤは、林の中のやや湿った林床に比較的よく出現する雌雄異株の針葉樹です。いくつかの図鑑では、樹高10m、胸高直径30cmに達するとありますが、ふつうはそれほど高くなく、せいぜい5mぐらいだと思います。木が若いときは、細い幹に同じほどの太さの枝が輪生し、中心のないアンバランスな樹形となって、いかにも目陰で育った林床の植物という印象を与えます。葉は、幹にはらせん状につきますが、枝には枝の両側に2列につき、モミやカヤに似ています。また、雌木には、カヤに似た丸い種子が実り、褐色に熟します。
イヌガヤの葉は先端がとがっており、先が二つに分かれているモミとは明らかに遣います。一方、カヤの葉の先端はイヌガヤ同様とがっていますが、表面に光沢があって硬く、葉の先端は針のように鋭くて、さわるととても痛いのに対し、イヌガヤの葉は柔らかく、さわっても痛くありません。一般にカヤに比べて葉はかなり大きく、裏面には中肋をはさんで2本の白い気孔帯が目立ち、裏面が緑色のカヤとはすぐ区別できます（右写真：奈良春日山原始林 2004.10.1)。
深津正著「植物和名語源新考」によれば、イヌガヤもカヤも、昔は「カへ」とよばれたそうです。ただし、いまのイヌガヤは加閉、カヤは加倍と書き、倍は閉の通俗化された字とされていました。そして、のちに加倍がカヤに転じ、イヌガヤは古い、由緒ある加閉を引き継いだものの、いつのまにかイヌガヤと呼ばれるようにり、カへは廃語となりました。
このことから、昔はイヌガヤが大変重要視されたことがうかがえますが、これはこの木の実からとれる油（閉美（実）油、へみゆ）が冬にも凍らず、また、悪臭が出るものの光が明るいため、屋外灯火用としてとても優れていたからだといわれます。これに対し、カヤの実は栢実または榧実として薬用や食用に利用されましたが、油を灯火用にすることはなかったそうです。
なお、イヌガヤには「チョウセンマキ」という枝葉の形が全く違ったものになる園芸品種があります。