Should I be able to use the .Net Terrarium in Terrarium Mode behind a firewall?

Checkout the FAQ.

The .NET Terrarium will run if you are behind a network address translator and it will be able to connect to the discovery server but it will not be able to receive creatures from other peers. This is because the peers cannot directly access a machine that is behind a NAT without making a configuration change to the NAT.

To make the necessary configuration change, right click on the Terrarium screen and select "Game Settings.", click on the "Server" tab on the screen that comes up and check "Enable Nat/Firewall support". You need to modify the NAT device to map the TCP port 50000 on the device to port 50000 on the machine that is running the .NET Terrarium. The steps involved in mapping the port will vary depending on what type of NAT is being used. Check your NAT device documentation for information on how to map ports from the NAT to a private internal machine.

For more information on network address translators, see the NAT Terminology and Considerations RFC. 
http://www.windowsforms.net/Terrarium/docs/InitialSetup/faq.aspx#3_4

Yes definitely.  I commonly run the Terrarium client in Terrarium mode on my laptop without even a network connection.  The new version update check (5th led) will of course fail in standalone mode.  It has been awhile since the version update check worked at all, but it seemed like that might have still worked behind a firewall.  The problem with firewalls are that they prevent you from connecting with other Terrarium client peers.

This is with the previous Terrarium client - not the lastest version which doesn't seem to function at all.