问题简写一：在设置robots.txt文件时，到底哪些是不想被抓取的页面?
问：这个问题我一直不解，可能是因为我不会设置robots.txt文件的原因。其他人都说可以用robots去屏蔽不想被搜索引擎抓取的页面，但我很迷糊，到底哪些是不想被抓取的页面，都有哪些呢?求黄老师告知，我也希望自己能够提升这块的操作能力。
答：看了你的问题后，其实之前就发现不少企业网站和个人网站都没有设置robots.txt文件，也了解了下，部分原因是因为他们不懂怎么去设置robotsl.txt文件，当然也和他们不愿意学习所造成的一部分因素。那么，我这里简单的说下吧：
①：网站程序安装后自带的数据文件夹，例如隐私数据、用户信息、管理后台页面等，可以看些帝国CMS自带的robots文件默认设置，你也可以看下DZ论坛的。如图：
②：屏蔽掉动态URL，这个是我们最经常做的，如果我们做了伪静态以后，不希望动态URL被抓取，就可以对动态URL做屏蔽抓取。
③：网站改版或出于某种原因突然删除很多页面造成大量死链，这个时候会对网站造成很大的影响，很多站长第一反应就是找到死链并删除，那么这里就可以通过robots去屏蔽这些死链，理论上来说百度不会突然发现网站上有太多的死链，或者两者同时进行。当然，站长最好把自己站内的死链处理干净。
问题简写二：网站内容怎么做才是最好的，有什么建议吗?
问：黄老师，我在内容建设这个环境比较薄弱，每次都因为写文章耗费我半天的时间，有的时候文章一天都写不出来，而且很多时候写出来的文章其质量不是很好。我现在也在不断的学习写作，我想问下网站内容怎么做最佳，在这块有什么建议吗?
答：网站内容建设这块其实很多企业的SEO人员都很难下手，我遇到很多都是如此，他们难于写文章，甚至是不知道怎么做内容建设。当然，我也会稍微的给他们一些简单的技巧。我下面简单的说下，希望对你和大家有帮助：
①：像写作文一样去写原创软文，其实我们都写过作文，写作文的时候也不知道有软文这回事，而且也不存在关键词堆砌现象。所以，大家也可以以后试下，可以尝试下这个方式。
②：想要做好网站内容建设，你需要深入了解这个行业。所谓“不入虎穴焉得虎子”其实就是这个道理。很多人都在大量的挖掘长尾关键词，但最后因为不了解这个行业而对现有的关键词无从下手。所以，了解这个行业是你的第一站。
③：原创是最基本的，这个不用说了，尤其是新站做原创很重要。那么转载呢?你也不要多去想了，尽量能原创就原创。
④：千万不要以伪原创为出发点，其实很多人都在做伪原创。就比如我今天和一个做菜谱网站的站长交流，他总说网站不收录内容或收录的很少，其实一看网站里的文章就发现了，内容几乎都是复制或掐头去尾修改，这样肯定不行。长期做的话百度对你网站的信任度越来越少，而且现在百度的星火计划也在实施中。
