小说林社是常熟人曾朴与同人徐念慈、丁芝孙等人创办，约1904年在上海棋盘街创立，曾朴任总理，徐念慈任编辑。曾朴于1902至1903年之间在上海经营丝业，亏损很大，失败后参与了丁祖荫创办的《女子世界》编辑工作，并负责实际编务。在此过程中，曾朴对小说市场有了深入的了解，认识到小说的重要性，他的儿子曾虚白编辑的《曾孟朴年谱》中提到当时创办出版社的原因：“先生真切地认识了小说在文学上的特殊地位，因此想要打破当时一般学者轻视小说的心理，纠集同志，创立一家书店，专以发行小说为目的，就命名叫小说林。”他本人也曾这样谈到他创办小说林社的背景：“那时社会上的一般的心理，轻蔑小说的态度确是减了，对着外国文学的整个系统，仍然一片模糊。我就纠结了几个朋友，合资创办了小说林和宏文馆书店。”
小说林社规模较小，后来逐渐扩大规模，“经营了一年之后，国人提高了社会上欣赏小说的兴趣，于是重新集股，扩大组织，在棋盘街设发行所，收买派克路福海里吴斯千所创办的东亚印书馆为印刷所，并另于对门赁屋，辟为编辑部，广罗人才，作大量小说的生产。”在创办后的三四年时间内，小说林社出版大概有12类小说，其中包括侦探小说、言情小说、家庭小说、神怪小说、社会小说、滑稽小说、冒险小说等，类型丰富多样。而且创刊了《小说林》杂志，发行了“小说林丛书”和“小本小说”两集。所出版小说数量的总数是晚清时期较多的，排在商务印书馆之后，排名第二，成为我国第一家主要翻译出版小说为主的近代化出版机构。
《小说林》杂志1907年创刊，徐念慈在《小说林缘起》中谈到这一刊物的出版发行情况：…小说林’之于新小说，既已著译并刊，二十余月，成书者四五十册，购者纷至，重印至四五版。而又必择尤甄录，定期刊行此月报者，殆欲神其熏、浸、刺、提（说详《新小说》一号）之用，而毋徒费时间，使嗜小说癖者之终不满意云尔。”由此可以看出《小说林》杂志出版后收到读者的欢迎和认可，翻译小说和出版小说并重，发行量大达到重印四五版。
在小说来稿的类别选择上，小说林社并不局限在某些特定的种类，在小树林社刊登的广告《募集小说》中，声明广泛地征集“各种著译家庭、社会、教育、科学、理想、侦探、军事小说，篇幅不论长短，此举不论文言、白话，格式不论章回、笔记、传奇。”广告刊登后收到大量来稿，包天笑回忆说当时曾被曾朴请到小说林编译所帮忙修改审阅稿子。这种繁荣景象并没能长期维持下去，小说林社在1907年增设了宏文馆，所编工具书与市场脱节，因为销路少成本高，导致资金周转不灵，最终辍业。
小说林社所出书籍大部分集中在1904年到1908年。此前此后也有少量小说出版。据资料显示，1903年及出版有《俄国情史》和《十五小豪杰》两本书。1908年小说林社停办之后，以3000元的价格把存书盘给了有正书局。《新西游记》1909年出版，1910年《噫有情》出版，仍署名为小说林社。这些存书以不同的方式出版：“有正书局创办的《小说时报》上经常刊出以’上海小说林・有正书局’名义发售各种小说的广告，其中绝大部分是小说林的书。由小说林发行的‘小本小说’也己出到了第3集23种，而由时报馆发行的《阿难小传》、《环球旅行》等十数种小说，则仅题“有正书局各种小说书籍目录”，以示区别。这种情况大约一直延续到民初。”
小说林社的小说出版总量大约在150种到169种之间，其中1905至1907年三年小说数量最多，陈大康《中国近代小说编年》中收录，1905年小说林社出版小说有40种，1906年有41种，1907年为46种，小说林社出版小说总数为169种。刘永文所编的《晚清小说目录》中，除了重版书，小说林社出版约有150种小说。包括翻译小说127种，创作小说23种，翻译小说所占比重为总数的85%。可见小说林社对外国小说的译介非常重视。
围绕在小说林社周围有不少翻译家，其中有周桂笙、徐念慈等人。周桂笙别署知新室主人，精通英语和法语。曾在《新小说》上发表小说，并于1906年与吴沃尧创办了《月月小说》这一有影响力的文学杂志，倡议组织译书交通公会。如伍光建、吴祷、方庆舟、包天笑等人。周桂笙翻译的西洋小说以侦探小说为多，其中有名的有《毒蛇圈》、《妒妇谋夫案》、《福尔摩斯再生案》等，一定程度上助长了当时武侠小说的泛滥，其中篇目多选自《伊索寓言》和《一千零一夜》。另外，他也翻译了《新庵五种》、《新庵九种》等短篇小说集。
徐念慈别号觉我，也署名为东海觉我，是曾朴的同乡好友，精通英文和日文，擅长写作，从事过教育。他是小说林社的主办人之一，之后负责编辑《小说林》杂志，开始翻译和创作小说。他不仅翻译小说很有名，同时也很注重小说理论研究，发表了不少有预见性和影响力的小说评论文章。杨世骥在《文苑谈往》中评价他：
“光宣之际，徐念慈的翻译小说在当时也非常盛行。我们可以这么理解，徐念慈先生和周桂笙的小说则开辟了翻译小说的先河。笔者记得徐念慈先生字彦士别号是叫觉我，乃是讲述常熟人士。其实，从时间上来看，徐念慈和曾朴共同发行的一本杂志名为《小说林》这本杂志的开办时间只是短短的几年时间。究其原因，当时翻译工作还没有正式的登上大雅之堂，对于当时的杂志来说，能否引起读者的兴趣远比援助是否具备深层次的文学价值更重要。特别值得一提的是，他们当时翻译的小说用的纯粹白话和文言相结合的方式。在他们的观点里，他们有意识的具体对所翻译小说的体裁进行了保留，这也是当时小说翻译工作的一个创新，这种方式也被后世的翻译界所逐步借鉴并得以保留。当时，这两位著名人士也留下了不学好翻译小说的名著，像是英国西蒙扭加武所著的《黑行星》、日本神川春浪所著的《美人妆》和《新舞台》等等，这些小说在当时都非常的盛行。
另外，徐念慈在小说评论方面也颇有建树。他写的《余之小说观》，分别从小说与人生；著作小说与翻泽小说小说之形式小说之题名；小说之趋向；文言小说与白话小说；小说之定价；小说今后之改良等八个方面论述了自己对当时小说翻译与创作的观点。
小说林社虽存世时间不长，但在翻译小说和小说评论等方面都做出了很多贡献。这些翻译小说推动了译书风气的变化，新小说已从最初注重开启民智、改良社会的功用，逐渐走向关注小说本身的叙事技巧和美学价值。在这一点上，小说林社比当时其他出版社走的更远。